JIS X 9305-2:2021 情報技術―ユーザインタフェース―音声命令―第２部：構築及び試験 | ページ 2

           4
X 9305-2 : 2021 (ISO/IEC 30122-2 : 2017)
j) 評価のための異なる試験に関連付けることができる盲目及び視覚障害の発話者
5.4.3 試験用音声命令
  試験に使用する音声命令は,次のいずれかの群から選択することが望ましい。
a) 頻繁に使用される音声命令
b) システムの仕様にとって重要な音声命令
c) 音声認識エンジンにとって認識することが困難であると推定される音声命令
d) 無作為に選んだ音声命令
  試験に使用する音声命令は,上記4群から選んだ少なくとも10個でなければならない。可能な限り多
いことが望ましい。
5.4.4 試験条件
  音声認識エンジンは,実際の使用条件で試験することが望ましい。
  例 カーナビゲーションの試験で,運転中と同じSN比(信号対雑音比)の条件で実施
5.4.5 試験手順
  発話者は音声命令を発話する。その音声命令を,直接又は一旦録音し,音声認識エンジンに提供する。
  試験は,一人の発話者につき,一つの音声命令について,異なる条件で複数回行わなければならない。
5.4.6 結果
  試験の結果から,次の評価指標を求めることが可能である。
  評価結果を報告する際には,発話者の人数,環境などの試験条件を含めることが望ましい。
  文認識率は,式(1)によって決定する。
                        P=A/S×100 %       (1)
                       ここで,        P :  文認識率
                                        A :  正しく認識した文の個数
                                        S :  試験に用いた文の総数
  単語認識率は,式(2)によって決定する。
                        Q=B/W×100 %        (2)
                       ここで,        Q :  単語認識率
                                        B :  正しく認識した単語の個数
                                        W :  試験に用いた単語の総数
  単語正解精度は,式(3)によって決定する。
                        R=(B−E)/W×100 %        (3)
                       ここで,        R :  単語正解精度
                                        B :  正しく認識した単語の個数
                                        E :  誤って挿入された単語の個数
                                        W :  試験に用いた単語の総数

――――― [JIS X 9305-2 pdf 6] ―――――

                                                                                             5
                                                            X 9305-2 : 2021 (ISO/IEC 30122-2 : 2017)
  ここで,“誤って挿入された単語の個数”は,試験の発話には含まれていないにもかかわらず,認識され
た単語の個数である。

――――― [JIS X 9305-2 pdf 7] ―――――

           6
X 9305-2 : 2021 (ISO/IEC 30122-2 : 2017)
                                          参考文献
  JIS X 0701:2005 情報及びドキュメンテーション−用語
    注記 対応国際規格では,ISO 5127:2001,Information and documentation−Vocabularyを記載している。
  ISO 8253-3:2012,Acoustics−Audiometric test methods−Part 3: Speech audiometry
  ISO 24615-1:2014,Language resource management−Syntactic annotation framework (SynAF)−Part 1: Syntactic
      model
  ISO/IEC 2382:2015,Information technology−Vocabulary
  ISO 9241-14,Ergonomic requirements for office work with visual display terminals (VDTs)−Part 14: Menu
      dialogues
  ISO 9241-15:1997,Ergonomic requirements for office work with visual display terminals (VDTs)−Part 15:
      Command dialogues
  ISO 9241-110,Ergonomics of human-system interaction−Part 110: Interaction principles
  ISO 9241-143,Ergonomics of human-system interaction−Part 143: Forms
  ISO 24613,Language resource management−Lexical markup framework (LMF)
  ISO 24614-1,Language resource management−Word segmentation of written texts−Part 1: Basic concepts and
      general principles
  ISO 24615-1:2014,Language resource management−Syntactic annotation framework (SynAF)−Part 1: Syntactic
      model
  JIS X 9305-1 情報技術−ユーザインタフェース−音声命令−第1部 : 枠組及び総則
    注記 対応国際規格では,ISO/IEC 30122-1,Information technology−User interfaces−Voice commands
          −Part 1: Framework and general guidanceを記載している。
  IPSJ-TS 0011:2005 カーナビ用音声入力の性能評価のためのガイドライン
  JEITA IT-4003:2005 日本語音声認識用読み記号
  JEITA IT-4005:2008 音声認識エンジン性能評価方法のガイドライン
  JEITA IT-4007:2012 音声認識応用システムのための音声コマンド設計ガイドライン