この規格ページの目次
4
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
4.4 精度評価尺度
4.4.1
収集時不適合率 (failure at source rate)
テクノロジ評価に使用するために,手動又は自動でバイオメトリックデータを集めているときにコーパ
スから廃棄されるサンプルの割合。
例 顔データ収集において収集された画像の一部は,画像中の顔の欠落によって廃棄されることがあ
り得る。
5 テクノロジ評価及びシナリオ評価の大要
この規格は,2種類の評価手順,すなわち,テクノロジ評価及びシナリオ評価を規定する。試験報告で
は,その報告がテクノロジ評価から生じたものか,シナリオ評価から生じたものか,又はテクノロジ評価
とシナリオ評価との両者の側面を併せもつ評価から生じたものかを示さなければならない。
テクノロジ評価は,既存の又は特別に収集されたサンプルのコーパスを使用することによる,同一のバ
イオメトリックモダリティにつき一つ以上のアルゴリズムのオフライン評価である。テクノロジ試験の有
用性は,人間とセンサとの間の取得の相互作用と認識処理との分離に由来し,その利点には次のようなも
のが含まれる。
− 完全な相互比較試験を実施する能力。テクノロジ評価では,全被験者を,他のどのメンバの身元情報
を要求する者(すなわち,偽者)とすることもできる。これによって,N人につき一人ではなく,N2
人につき一人の割合での誤合致率(FMR)を推定してもよい。
− 予備試験を実施する能力。テクノロジ評価は,リアルタイム出力要求のない状態で実施することが可
能であり,この点で研究・開発に最適である。例えば,アルゴリズムの改善の効果,作動レベル・構
成など実行時のパラメタの変更,又は異なる画像データベースについて,本質的に,閉じたループの
改善サイクルで測定することができる。
− 複数実体試験及び複数アルゴリズム試験を実施する能力。テクノロジ評価は,共通の試験手順,イン
タフェース,及び測定基準を用いることで,複数例システム(例えば,顔の三つの面)及び複数アル
ゴリズム(例えば,サプライヤA及びサプライヤB)の性能,又はそれらの組合せに関する反復可能
な評価を実施する可能性を与える。
− テクノロジ試験は,コーパスが適切なサンプルデータを含んでいる場合,人間とセンサとの間のイン
タフェースに伴って起こるすべてのモジュールを試験できる可能性がある。そこには,次のものも含
まれる。品質管理及びフィードバックモジュール,信号処理モジュール,(マルチモーダル又は複数実
体バイオメトリックスに対する)画像統合モジュール,特徴抽出及び正規化モジュール,特徴レベル
統合モジュール,比較スコア計算及び統合モジュール,スコア正規化モジュール。
− 人間とセンサとの相互作用には,非決定的な側面があって真の反復可能性に対する妨げとなる。これ
が比較可能な製品試験を複雑にする。性能測定の1要素として,この相互作用を除去することによっ
て,反復可能な試験が可能となる。このオフラインプロセスは,ほとんどコストがかからず,永久に
反復することができる。
− サンプルデータが入手可能な場合,性能は,長年の間に取得されたサンプルを活用して,非常に大規
模な対象母集団について測定することが可能である。
注記1 オフライン登録及び比較スコアの計算のためのサンプルデータベースを収集すると,任意
のトランザクションで,どのようなサンプル及び入力試行を使用するかの選択余地が広が
――――― [JIS X 8101-2 pdf 6] ―――――
5
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
る。
注記2 テクノロジ評価は,後のオフライントランザクションのために,データ記憶装置を常に必
要とする。しかし,シナリオ評価では,オンライントランザクションは,試験者にとって
より単純になり得る。通常の作法で作動しているシステムでは,サンプルの保管は推奨さ
れるが必す(須)ではないからである。
シナリオ評価は,プロトタイプ又はシミュレート対象アプリケーションの全体で実施される,システム
性能のオンライン評価である。シナリオ試験の有用性は,登録及び認識処理に関連して人間とセンサとの
取得相互作用を含むことによるもので,その利点には次のようなものが含まれる。
− 被験者を登録・認識するためのシステムの能力に関する追加的な入力試行及びトランザクションの影
響を測る能力。
− 提示及びサンプル取得期間を含めた,登録及び認識の試みのスループットの結果を収集する能力。
注記3 オンライン評価では,記憶装置の要求仕様を抑えるため,又は限定的なケースにおいて現
実世界システムの操作に忠実に保証するために,試験責任者はバイオメトリックサンプル
を保持しないようにすることもある。しかし,オンライン試験におけるサンプルの保持は,
検査のため,及びその次のオフライン分析を可能にするために推奨される。
注記4 バイオメトリックシステムの試験には,入力画像又は信号の収集過程が含まれる。その収
集物は,登録用のバイオメトリック参照データ生成及び後の試行における比較スコアの計
算のために使用される。収集された画像・信号は,そのまま,オンライン登録,照合又は
識別試行に使用することもできるし,後のオフライン登録,照合及び識別に使用するため
に格納しておいてもよい。
テクノロジ評価とシナリオ評価との相違に関する情報は,表2に示す。
表2−テクノロジ評価とシナリオ評価との違い
テクノロジ評価 シナリオ評価
試験の対象となるもの バイオメトリックシステム。
バイオメトリックの構成要素(比較又は
抽出のアルゴリズム)。
試験の目的 シミュレート対象アプリケーションのシ
標準化されたコーパスに関する各アルゴ
リズムの性能測定。 ステム全体を使った性能測定。
(分類のための参照情報とし 提示されたサンプルでの,システムによ
データサンプルとサンプル源との間の既
てバイオメトリックデータに る判定と独立に記録された情報源との既
知の関係。この関係は,データ収集誤り
与える)正解 知の関係。この関係は,データ収集誤り
と合併されたデータセットの共通部分に
よって影響を受けることがある。 及び試験責任者の望まない振る舞いを被
験者が行ったときに,試験責任者が記録
に失敗することによって影響を受けるこ
とがある。
試験責任者によって管理され 試験中は適用不能。 管理されている(被験者の行動が独立変
る被験者の行動 数でない場合)。
バイオメトリックデータが記録されてい
る場合は管理されていることが知らされ
るが,そうでない場合は管理されていな
いとみなされる。
被験者が入力試行の結果に関 受けていない。 受けている。
するリアルタイムのフィード
バックを受けている。
――――― [JIS X 8101-2 pdf 7] ―――――
6
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
表2−テクノロジ評価とシナリオ評価との違い(続き)
テクノロジ評価 シナリオ評価
結果の反復可能性 反復可能 おおむね反復可能(試験環境条件及びヒ
ューマンファクタ変数が管理されている
場合)。
物理的環境の管理 管理され,かつ,記録されている又はそ
バイオメトリックデータの記録時に管理
のいずれか。
されていることが分かることが多いが,
そうでない場合は管理されていなかった
とみなされる。
記録される被験者の相互作用 試験中の適用は不可能。 記録される。
バイオメトリックデータが記録されてい
る場合は,記録が可能。
報告される典型的な結果 バイオメトリックシステムの相対的な頑
バイオメトリックシステムを構成する要
健性。
素の相対的な頑健性又は各構成要素(例
えば,比較アルゴリズム又は抽出アルゴ
リズム)の版数。 本質的な性能要素の決定結果。
本質的な性能要素の決定結果。 シミュレートされた性能に対する尺度。
典型的な尺度 ほとんどの誤り率が該当する。 予測される利用者間のスループット。
誤合致率(FMR),誤非合致率(FNMR)
利用者間のスループットは,該当しない。
取得失敗率(FTA),生体情報登録失敗率
多くの被験者集団を集めるのが困難な,
(FTE)
大規模識別システムの性能尺度に適した
もの。 GFAR(6.3.5参照), GFRR(6.3.5参照)
制約 機器がそろい運転中のシステム。
適切な試験データベース,このデータベ
ースは,例えば,一つ以上のセンサを使
って集められたものでもよく,身元情報
は知られていても,いなくてもよい。
被験者母集団 記録される。 リアルタイムの参加。
注記5 この表中の記載事項は主な相違点であって,ある場合には例外が存在することもある。
6 テクノロジ評価
6.1 試験の設計
6.1.1 目標
評価は目的とする対象アプリケーションのためのシステムへの生体情報登録,取得,及び比較機能を評
価するために設計しなければならない。
6.1.2 アプリケーションとの適合性
当該試験が,特定のアプリケーション又はそれらを代表する概念の性能を評価することを意図する場合,
評価試験は,その機能(入力から出力まで)と運用形態(例えば,登録,照合過程)とを十分に模擬する
ように設計,実施しなければならない。
例 現実の応用シーンで登録のときに複数の登録画像が収集できる場合には,テクノロジ試験はその
過程を模擬できるように設計することが望ましい。
試験の目的のためには,可能であれば比較試行ごとに比較スコアを返すように実施することが望ましい。
――――― [JIS X 8101-2 pdf 8] ―――――
7
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
6.1.3 適切な性能測定法の決定
試験責任者は,6.3に列挙されているものに加えて,どの性能尺度がそれらの評価に適用可能かを決定し
なければならない。
試験は,すべての必要な評価尺度を確実に測定できるように設計しなければならない。
試験責任者は,テクノロジ試験で行う比較関連項目のタイプを(一つ以上)決定し,報告しなければな
らない。比較のタイプは,次のうちから一つ以上を指定しなければならない。
a) 照合
b) 登録者非限定識別
c) 登録者限定識別
試験責任者は,テクノロジ試験で行う一つ以上の比較関連項目のタイプについて,それらを選択した合
理的根拠を明示しなければならない。評価での比較関連項目のタイプは,問題のアルゴリズムに適用可能
なものでなければならない。そうすれば,特定のタイプの比較[例えば,ウォッチリスト(watchlist)識別]
だけを遂行するように設計されたシステムが,適切なタイプの結果を生成するように試験される。
注記1 誤り率算出のための公式は,この規格群の第1部の箇条8(分析)に示されている。
注記2 対応国際規格では,“Clause 7”としているが,内容を検討の上,修正した。
6.1.4 実装時の優先事項
試験計画は,バイオメトリック認識システムの機能を実装する方法を指示するようなものであってはな
らない。バイオメトリック認識システムの機能をどのような方法で達成するかは,実装する側が責任をも
つことである。
注記 オフライン試験を実施するためには,生体認証装置の試験項目(what)と試験方法(how)とを分離
することが,基本的に重要である。最初に試験実行者と装置供給者との責任範囲を明確化する
必要がある。試験の対象となる装置は可能な限り,単に入力サンプルに対して結果を返すだけ
の基本機能をもったブラックボックスとみなす必要がある。装置の中で特殊な現象が起こって
いることは十分あり得るが,多くの場合,試験実行者には関係ないとみなすほうがよい。この
ことによって任意のバイオメトリックサンプルの試験が容易になる。
例1 指紋が1 000 dpi で採取されており,試験装置がその半分の解像度だけで処理すると分かってい
る場合,試験者はa)(ダウンサンプリングが特定の認識装置の性能に与える影響は自明なもの
ではないので)ダウンサンプリングは行わず,b)装置供給者に対して内部でダウンサンプリン
グするように要請することが望ましい。
例2 複数の姿勢の違う顔画像が入力された場合,1)最も良い画像を選択する,2)すべての画像を統
合する,3)ステレオアルゴリズムで3次元モデルを合成する,などの方法が考えられるが,ど
の方法を用いるかは,バイオメトリックシステム又はバイオメトリック装置が決定する。
例3 多くの自動指紋識別システム(automated fingerprint identification system,AFIS)機械(すなわち,複数
の指紋の記録を識別する機械)では何らかの基準(最も簡単には,例えばHenryの分類)によ
ってデータベースを分割し,利用者又は偽者のサンプルと同じカテゴリと考えられるデータベ
ースの一部だけを探索するデータベース分割(binning)法を実装しており,そのために処理の高
速化が図られるが,精度の低下を招く可能性はある。この速度と認識精度とのトレードオフは
供給者によって設定されるデータベース分割(binning)法の内部パラメタによって決まるので,
それぞれの設定ごとに,すべてのデータを使って,試験を繰り返す必要がある。
――――― [JIS X 8101-2 pdf 9] ―――――
8
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
例4 認識システムでの複数の指の指紋の利用を示すことを模索する研究においては,試験者は個々
の指ごとのサンプルを,装置を通した後で,スコアレベルでの融合を実行することは望ましく
なく,その代わり,すべての指画像を一つのサンプル(例えば,米国規格協会ANSI米国標準
技術局NISTのレコード,又はISO/IEC 19794-2で規定される共通バイオメトリック交換フォ
ーマットフレームワークCBEFF)として構成し,バイオメトリック装置にその内部で融合を実
行させることが望ましい。CBEFFでの包含される実体に関するより詳しい情報は,ISO/IEC
19794-2参照。ANSI-NISTのレコードに関する情報は,ANSI/NIST-ITL 1-2000 NIST 特別刊行物
500-245参照。
6.1.5 装置提供者への情報公開方針
試験者は試験を開始する前にa)装置が設定され,出荷され,インストールされる前,及びb)実行のとき
に,どの情報を装置提供者に公開するかについての決定方針を策定しなければならない。
6.1.6 識別と照合との試行の交換不能性
1対多の識別探索の結果得られた比較スコアは,正当な根拠なしに照合試行の結果として提示してはな
らない。
注記1 運用上の現実性の尊重を基本方針とした場合,現実の入力試行から得られた結果(すなわち,
棄却又は受入れ)だけに対して評価が行われる。照合システムは,利用者が自分であること
を主張した試行の結果で評価される。1対多探索がすべての候補者リストを生成する場合で
さえも,候補者リストは原子的(分割不可能)だと考える。すなわち,候補者リストを,N
回の(精度検証計算に用いられる)照合試行の結果としてみなさない。
注記2 単一の識別試行とN回の1対1照合とが異なる場合がある。なぜならば照合は,利用者サン
プルと,コホート正規化(cohort-normalization)として知られている手続に従って追加された,
隠れたサンプルとを比較することで改良が可能であるからである。この方法によって,利用
者ごとに適切ないき(閾)値を定めることでFARを減少させるように比較スコアを調整する。
この方法にも性能とスループットとのトレードオフが存在する。その原因は,1対1照合で
追加される比較は,1対Mの処理増を招くからである。ただし,Mは,(コホート正規化手
順に従って一定の集団ごとにその集団内の複数の人のデータから求められる)代表サンプル
作成時に参照するバイオメトリックデータ集合の大きさである。
注記3 コホート正規化は,装置内部で選択した登録部分集団を使うものであり,装置内部の固有処
理である。
6.1.7 モデルに関する承認書
実世界のサンプルを用いた試験に代えて又はこれに加えて,近似的なモデル又は識別性能を予測するモ
デルを報告する場合には,利用可能なデータを使って可能な限りモデルを検証し,かつ,すべて文書化さ
れなければならない。
6.1.8 データ使用の順序
試験計画においては,試験データの使用の順序を定義しなければならない。この順序は,想定されるア
プリケーションに対して適切に定義しなければならない。実装に当たっては,この順序を遵守しなければ
ならない。
注記1 トランザクションは,通常,1回ごとに分けて実行される。したがって,実装に際しては1
回のトランザクションがすべて終了してから次のトランザクションが始まるように留意しな
ければならない。
――――― [JIS X 8101-2 pdf 10] ―――――
次のページ PDF 11
JIS X 8101-2:2010の引用国際規格 ISO 一覧
- ISO/IEC 19795-2:2007(IDT)
JIS X 8101-2:2010の国際規格 ICS 分類一覧
- 35 : 情報技術.事務機械 > 35.040 : 文字セット及び符号化
JIS X 8101-2:2010の関連規格と引用規格一覧
- 規格番号
- 規格名称
- JISX8101-1:2010
- 情報技術―バイオメトリック性能試験及び報告―第1部:原則及び枠組み