この規格ページの目次
14
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
c) 実行された本人及び偽者の比較数。
d) 本人被験者について,入手可能な場合は,サンプル特徴の登録と取得との間で経過した時間の分布。
e) 試験結果の不確実性,及び不確実性を推定した基礎及び公式。
誤合致率と誤非合致率との関係は(誤受入率と誤拒否率との関係同様),照合精度特性(ROC)曲線又は検
出エラートレードオフ(DET)曲線の形で表してもよい。これらの率に到達するために用いられた被験者の
数及びトランザクションの数は算出しなければならない。
注記 比較スコアを返すシステムとは対照的に合致又は非合致の判断を返すシステムでは,性能は
ROC又はDET上の操作が行われる単一での点で報告してもよい。
照合システムに対して,試験責任者は次の事項を算出することが望ましい。
a) 本人被験者及び偽者被験者に関する比較スコアの分布。
b) 異なる人口統計グループに対する照合結果,異なる環境条件に関連する照合結果,又はコーパスの他
の論理セグメントに対する照合結果。
6.3.4 識別の評価尺度
すべての識別評価について,試験責任者は試験結果の不確実性,及び不確実性を推定した基礎及び公式
を報告しなければならない。
登録者限定識別評価について,試験責任者は次の事柄を報告しなければならない。
a) 累積識別精度特性 (CMC)
b) 実行された探索回数
登録者非限定識別評価について,試験責任者は次の事柄を報告しなければならない。
c) 誤受入識別率(FPIR)及び対応する誤拒否識別率 (FNIR)[できればいき(閾)値の範囲で]。
d) データ分割法が用いられる場合は,データ分割誤り率及び(平均)絞込み率。
識別システムについて,試験責任者は次の事柄を報告しなければならない。
e) 異なる人口統計グループに対する識別結果,異なる環境条件に関連する識別結果,又はコーパスの他
の論理セグメントに対する識別結果。
6.3.5 登録失敗及び取得失敗を含む一般化誤り率
6.3.5.1 一般的な事項
対になった(誤合致率及び誤非合致率の)値の集合など,オフライン試験の直接的な出力は,取得失敗
及び登録失敗の測定値と組み合わせなければならない。
注記1 低品質のサンプルを取り除く処理を行うことによってシステムの誤受入精度及び誤拒否性能
の改良が可能になるため,性能の最終供述を生成するために測定された誤合致率及び誤非合
致率は,取得失敗率及び生体情報登録失敗率と組み合わせる必要がある。
FTE(生体情報登録失敗率)とFTA(取得失敗率)とがゼロのときには,注意することが望ましい。こ
の場合,単一試行のトランザクションのGFAR(一般化誤受入率)及びGFRR(一般化誤拒否率)は,FMR
(誤合致率)及びFNMR(誤非合致率)と同じであり,計算する必要はない。FTE又はFTAがゼロでなけ
れば,GFAR及びGFRRを計算し,FMR及びFNMRと区別することが望ましい。
注記2 ある試験では,取得失敗又は登録失敗の結果をもたらすサンプルは,さらなる研究のために
サプライヤに開放してもよい。
注記3 比較スコアを返すシステムに対して合致又は非合致の判断を返すシステムにとって,性能は
ROC又はDET上の単一で操作される点として報告してもよい。
注記4 非常に多くの登録失敗又は取得失敗を許すことによって,試験対象の実装が,低いGFAR値
――――― [JIS X 8101-2 pdf 16] ―――――
15
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
を達成することがある。しかし,そのときは,GFRRが増加する。
6.3.5.2 単一試行のトランザクション
試験対象となる各実装に対して,試験責任者は,単一試行のトランザクションに対する一般化誤受入率
(GFAR)及び単一試行のトランザクションに対する一般化誤拒否率 (GFRR)を決定しなければならない。
一つのトランザクションが単一の試行から構成されている場合は,一般化誤受入率を取得され,かつ,あ
る固定したいき(閾)値tについて合致した偽者の割合として計算してもよい。
GFAR(t)=(1−FTA) FMR(t)(1−FTE)
同様に,一般化誤拒否率は,a)使用中取得できなかったか,b)取得できたが登録できなかったか,又は,
c)登録でき取得もできたが,固定されたいき(閾)値tについて,誤って拒否されたかのいずれかであっ
た本人利用者の割合である。
GERR(t)=FTA+(1−FTA) FTE+(1−FTA)(1−FTE) NMR(t)
GFAR及びGFRRに関する上記の公式は,n=1という特殊なケースでだけ成立する。ここで,nはトラ
ンザクション中に許される試行の回数である。
注記1 ある個人を登録しなくてもよいことになっている場合には,異なった公式が必要となること
がある。
注記2 生体情報登録失敗率(FTE)及び取得失敗(FTA)を明確に計測することを避けるには,すべての
照合比較で比較成績が返されるように仕様を定めればよい。この仕様において,装置提供者
は,登録失敗又は取得失敗であったという状況を内部的に記録し,そのような生体参照デー
タが1対1比較で使われたときには,十分に低い値を比較成績として返す。この方法によっ
てDET特徴において登録失敗と取得失敗とを正しく含むことになる。
注記3 GFAR及びGFRRは,次のようにしても決定することができる。
− (受入及び拒否に関係なく)失敗した偽者トランザクションと,登録が失敗した個人に対する偽者ト
ランザクションとを偽者トランザクションの総数の中に含める。
− (受入及び拒否に関係なく)失敗した本人トランザクションと,登録が失敗した個人に対する本人ト
ランザクションとを本人トランザクションの総数の中に含める。
− (受入及び拒否に関係なく)失敗した本人トランザクションと,誤拒否として登録が失敗した個人の
本人トランザクションとを数える。
6.3.5.3 複数試行トランザクション
複数の試行からなるトランザクションの場合,GFAR及びGFRRの計算はより複雑になる。そのような
試験の公式は,(一般的に求めることは困難なので)試験固有の状況に基づいて求めることが望ましい。
6.3.6 スループット性能
6.3.6.1 一般的な事項
試験機関は,スループットの測定を試験対象の実装に適した方法で行ってよい。
試験で測定しようとする性能の側面がトランザクションに要する時間である場合,試験責任者は試験対
象となる実装に即して,トランザクション時間を測定する方法を規定しなければならない。
注記1 理想的にはすべての登録操作及び比較操作に要した処理時間を測定することが望ましい。
注記2 オフライン試験では,計算に関するスループットだけが評価される。例えば,登録の場合に
は登録処理全体の中で,画像解析及びバイオメトリック参照データの生成フェーズだけが獲
得され,人間工学的でトランザクションの側面でもある(例えば,センサの上に指を置く,
眼鏡を外すなど)人間の行動に関する時間は無視される。したがって,テクノロジ試験にお
――――― [JIS X 8101-2 pdf 17] ―――――
16
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
いて測定される登録操作のスループット量(例えば,0.1秒/件)は,運用上のスループット
量の下限を与える。
6.3.6.2 スループット性能の報告
スループットを要約する統計量が算出される場合,平均値を報告しなければならない。要約する他の統
計量としては次の値を報告してもよい。
a) 最小値
b) 最大値
c) 中央値
d) 標準偏差
注記 もし(特に識別試行で)異なるサイズの母集団が登録されたならば,例えば,O(N),O(N2)など,
生成される母集団のサイズに機能的に依存した査定を許容する時間に関する十分な情報を報告
することが望ましい。
6.3.6.3 比較性能及びスループット性能の報告
スループット性能は,テクノロジ評価において重要である。なぜならば,一般的に,認識誤りは,スル
ープットを減少させると減らすことができるからである。多くのバイオメトリックシステムでは,決定い
き(閾)値を変更すると,本人認証が成功するまでに提示が必要となるサンプル数が増減し,スループッ
トに影響する。このような場合,性能に関する完全な宣言は,付加的な第三の軸であるスループット率を
追加したDET特徴であろう。これによって配置者(バイオメトリック認証装置を実際に使われる現場に展
開する者)は,運用上の適したポイントを選択可能となる。
6.3.6.4 バイオメトリック参照データの生成及びサンプル特徴抽出のタイミングの測定
一部のシステムでは,バイオメトリック参照データの生成の過程と照合及び識別の過程とで,異なった
サンプル及びアルゴリズム処理手順を使うことがある。したがって,バイオメトリック参照データの生成
の時間特性と特徴抽出の時間特性とは,別個に報告することが望ましい。
6.3.6.5 スループット及び認識エラー率の同時測定
スループットの測定は,認識エラー率と同じ試験中に行うことが望ましく,また,統計的に評価するこ
とが望ましい。
6.3.6.6 偽者利用者及び本人利用者の試行のスループット
現実的な運用に即した評価を行うという原則に基づき,利用者当たりのスループットは,偽者利用者及
び本人利用者の試行の両方について測定することが望ましい。また,統計的評価は別個に報告することが
望ましい。
6.3.6.7 登録後の後処理にかかるオーバヘッド
識別試行では試験者は,母集団が登録された後で,登録後の後処理(fixing)にかかるオーバヘッドに出会
うかもしれないことを認識しておくことが望ましい。ここにおける後処理とは,システムにおいて,典型
的には,より良い性能を得るために,登録の最後に起動される,特徴ベクトルの分離のような何らかの処
理のことを意味する。
6.3.6.8 登録に関する一意性の探索
実世界で母集団の登録では,新規候補の各登録者の一意性を確認するための探索的確認計算を行うこと
が多い。この計算コストは母集団数がNであった場合O(N2)で評価される。テクノロジ試験の場合には,
事前に一意性が確認されているために登録コストはO(N)である。
試験責任者は1対N一意性の決定が登録処理の構成要素であるかどうか決定することが望ましい。これ
――――― [JIS X 8101-2 pdf 18] ―――――
17
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
は登録データベースのサイズの増加に伴う登録時間の測定を通して確かめてもよい。そのような振る舞い
が実施されるに当たって観察されるか分かっている場合,試験責任者はそれ相応に結果を報告することが
望ましい。定められた登録時間から一意性を決定するのに必要な時間を分離するためには,試験の設計は,
重複検出の機能が作動しないように実施することが必要になることがある。
注記 何も登録されていない状況からデータベースを構築するときに行われる登録試験も実施され得
る。
6.3.6.9 ハードウェア
評価がソフトウェアだけに関するものであり,幾つかの実装が比較される場合,スループットの測定は,
定められたハードウェア及び定められた実行環境で実施し,システムについては,スループット時間の試
験の実施のたびごとに再スタートさせてもよい。
注記 ここで実行環境は,あらかじめ定められたオペレーティングシステム,あらかじめ定められた
コンパイルとリンクとのセットアップ,あらかじめ定められた登録簿に載っている(I/O,CPU
などの)重要な資源を消費しないようなバックグラウンドプロセスなどを含む。
6.4 報告方法
6.4.1 一般的な事項
評価の結果は,試験報告書の中で示されなければならない。
試験報告書の中には,評価の結果及び全体的な試験過程を文書化しなければならない。また,6.16.3
に列挙されているすべての要求事項が文書化されなければならない。ある要求事項が不要であるか,記述
不可能である場合には,要求事項が不要であること,記述不可能であることを明記しなければならない。
例1 試験対象のバイオメトリックシステムが,複数回の試行又はトランザクションによる合致を許
していない場合,複数回の試行レベル及びトランザクションレベルについての報告は無意味で
ある。このような場合,報告書は“複数回の取組みレベルでの性能を報告する要求は適用対象
外である。”と報告する。
ある要求事項が,入手不能な情報のために述べられない場合,その報告書は,適用可能なデータが不明
であることを説明しなければならない。その報告書は,そのデータが不明な理由も説明しなければならな
い。
例2 機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合,試験報告書
にはプライバシーの問題から人口統計情報が記録されない旨を報告する。
報告書は,読者の区分に応じて,異なった日程で公開してもよい。
6.4.2 システム情報
6.4.2.1 仕様
試験の対象となるバイオメトリックシステムについて,試験責任者は次のような製品情報を報告しなけ
ればならない。
a) 取得装置について : 製造者,モデル,バージョン,可能な場合はファームウェア。取得装置の中心的
取得構成要素が,指紋センサの周辺装置への組込みの場合など,サードパーティの装置内に統合され
る場合,中心的取得構成要素の製造者,モデル,バージョン,ファームウェアについて報告しなけれ
ばならない。
b) 比較アルゴリズムについて : プロバイダ,バージョン,改訂番号。
c) それを通じて各システムが試験されたプラットフォームの仕様。プラットフォーム,OS,処理能力,
メモリ,製造者,データベースのタイプ,データベースのサイズ,モデルなど,他に報告の必要な事
――――― [JIS X 8101-2 pdf 19] ―――――
18
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
項があればこれらに制限するものではない。
6.4.3 データ収集過程
試験責任者は,データ収集に関連する次の情報を報告しなければならない。
a) 各性能要素についてのデータ記録の方法。そのシステムによって記録されていないものも含む。
b) 性能にかかわるデータ収集の検査及び確認のプロセス。そのシステムによって記録されていないもの
も含む。
試験責任者は,スクリーンショットか複製かは問わず,表及び実験記録などのデータ収集要素の例を提
出しなければならない。
6.4.3.1 構造
試験の対象となるバイオメトリックシステムについて,試験責任者は次の要素を報告しなければならな
い。
a) バイオメトリックデータの取得,処理及び保管の構造
b) システム各構成要素間のデータの流れ
6.4.3.2 出力
試験の対象となる生体認証システムについて,試験責任者は次のそれぞれについて報告しなければなら
ない。
a) そのシステムが報告を行う出力のタイプ。これは,比較スコア,受入・拒否の判断,候補リスト,登
録品質スコア,サンプル品質スコアが含まれるが,これらに限定されない。
b) 比較スコア : システムが報告可能な比較スコアの範囲及びそのとき装置提供者が設定したいき(閾)
値。
c) 登録品質スコア : システムが報告可能な登録品質スコアの範囲及びそのとき装置提供者が設定したい
き(閾)値。
d) サンプル品質スコア : システムが報告可能なサンプル品質スコアの範囲及びそのとき装置提供者が設
定したいき(閾)値。
e) それを通じてシステムから出力が提供される方法
6.4.3.3 実装方法
試験の対象となる各バイオメトリックシステムについて,試験責任者は,次のそれぞれに対応するシス
テム実装情報を報告しなければならない。
a) バイオメトリックシステム及びプラットフォームシステムの取得方法
b) システム実装へのサプライヤの関与のレベル
6.4.4 情報開示
6.4.4.1 対外的な報告
試験計画は,どの入力サンプル,中間的結果,出力結果がどのようなスケジュールで非提供者のだれに
入手可能となるかを開示しなければならない。
注記1 試験には秘密裏に行われるものもあるし,非公式のものもあるし,全面的に公開のものもあ
る。
注記2 全面的に公開可能な試験の場合には,出版物の名称及びサプライヤ,連絡先,利用規約,生
データ,バイオメトリック参照データ,生の比較スコア,トランザクション時間の記録,異
常なシステム挙動,誤り率,最終結果などが公開される。
注記3 比較試験は商業的に微妙な問題を引き起こす可能性がある。したがって,開示される結果が
――――― [JIS X 8101-2 pdf 20] ―――――
次のページ PDF 21
JIS X 8101-2:2010の引用国際規格 ISO 一覧
- ISO/IEC 19795-2:2007(IDT)
JIS X 8101-2:2010の国際規格 ICS 分類一覧
- 35 : 情報技術.事務機械 > 35.040 : 文字セット及び符号化
JIS X 8101-2:2010の関連規格と引用規格一覧
- 規格番号
- 規格名称
- JISX8101-1:2010
- 情報技術―バイオメトリック性能試験及び報告―第1部:原則及び枠組み