この規格ページの目次
9
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
注記2 多くのバイオメトリックアプリケーションは,本人利用者の場合,事前の登録に引き続いて,
複数の個人が順に,かつ,個人ごとにバイオメトリックシステム又はバイオメトリック装置
を使うことを要件としている。
注記3 識別タスクの中には,逐次的に実行されないものもある。例えば,密室のすべての人間の識
別をバッチ処理で行う場合は,線形割当て問題に帰着することによって,全体的最適解を得
ることができる。
6.1.9 試験の準備手順
6.1.9.1 インストール及び正常動作の確認
試験実施機関は,手順に従って,ハードウェア及びソフトウェアがインストールされ,適切に設定され
ていることを保障しなければならず,かつ,そのシステムが正しく操作されているかどうかを確認しなけ
ればならない。
注記 インストール,設定及びシステム動作の確認に,供給者が加わってもよい。
6.1.9.2 データの準備
データの準備では,被験者の身元を示す情報及び通常アプリケーションによっては利用できない(性別,
年齢などの)関連するメタデータを削除しなければならない。そうしなければ,装置提供者が,削除され
ていない情報を用いて身元を推定する隠し機能を用意しておくことによって,試験で不当に有利な結果を
得ることがある。
6.1.10 一般的な実行の順序
テクノロジ試験の実行の順序に関する包括的な事項を次に示す。
− 登録サンプルは,バイオメトリック参照データに変換される。これらを一列の集まりとして格納して
もよい。
− 識別サンプル及び照合サンプルは,サンプル特徴に変換される。
− 照合試行では,サンプル特徴とバイオメトリック参照データとを直接比較する。
− 登録者限定識別試行では,利用者の身元情報を得ることを目標として,登録された母集団を探索する。
− 登録者非限定識別試行では,登録されたデータベースを探索し,結果として,
− 一つ以上の身元情報を出力するか,又は,
− 登録されたデータベース内に被験者が見つからない場合は,見つからないことを出力する。
注記1 上記の機能は,アプリケーション プログラム インタフェース(APIと呼ぶこともある。)の
レベルで実施されているか,スクリプトのレベルで制御可能な実行形式になっていてもよい。
注記2 附属書Aに,テクノロジ試験の具体的な試験実行順序が記述されている。
6.2 適切な試験コーパスの編成
6.2.1 一般的な事項
テクノロジ評価は,一つ以上のバイオメトリック アルゴリズムの,登録及び比較の性能を評価するため
に設計される。テクノロジ試験は,試験責任者が提出すべきデータの種別に応じて計画される。
6.2.2 登録の一意性
すべてのコーパスサンプルが,実在の人間と対応していることが望ましい。評価の設計に当たっては,
意図せずに,一人の人物から複数のサンプルを,まるでそれらが異なる個人であるかのように,登録する
ことはしないほうがよい。すべての登録項目が異なる個人に対応していることを前提とする試験において
は,試験機関は,この前提を満たすために実施した過程について報告しなければならない。
――――― [JIS X 8101-2 pdf 11] ―――――
10
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
個々人がコーパス内に複数の識別子をもつことが可能な場合,それらのコーパスは,もし実行可能なら
ば,そうした実体と調和するように“掃除”してもよい。さもなければ,その試験は,それぞれの識別子
が異なる個人と一致しているという前提に基づいて進めるのがよい。
注記1 バイオメトリックシステムは,個人を一意に特定することを目標にしている。個々人につい
て,一つ以上の画像又は信号を用いることが可能な場合には登録として,比較のプロセスで
はそれらのデータを一つのものとして扱うことが望ましい。
注記2 (一つ以上のモダリティで)個々人から二つ以上のサンプルを用いる識別システムにおいて,
登録が独立していることを仮定することは,次の理由のために行わない。
識別においては登録されたサンプルを探索し,候補リストを作成することが行われる。複
数のサンプルが独立に登録されている場合,最大限の基準を使用した各利用者サンプルのス
コアレベルの融合が必要である。なぜならば,最大のスコアのエントリが勝るためである。
たとえ,一人当たりのサンプル数がすべての人々について同じであっても,その実施を反対
する。なぜならば,最良と考えられる方法で,各サンプルを組み合わせることが供給者の責
任だからである。
誤りの評価尺度は登録された母集団の数Nに依存するので,Nが独立した個々人の数と一
致しない場合,Nは妥当な数字とみなされない。
注記3 被験者ごとに複数に(分けられて)登録されたバイオメトリック参照データの効果を明らか
にしようとする評価は,試験の計画と試験の報告とで文書化するので,ここでは扱わない。
6.2.3 データ取得の再現
試験責任者が設定する試験母集団へのアクセスレベルに基づき,被験者は複数回の訪問を含む試験手順
で複数回のデータを提供してもよい。トランザクションと訪問の回数とは,バイオメトリック参照データ
の老化効果を,おおまかに測定するために最大化することができる。ただし,この回数は,習熟化の効果
によっても影響されることがある。
6.2.4 被験者の識別
試験責任者は,被験者の識別のための情報を報告しなければならない。そのために,少なくとも次の項
目を報告する。
a) 被験者を識別するために用いられる識別子のタイプ
例 生体情報を提供した個人を一意に識別する情報,性能評価に必要な個人情報(性別,年齢)に
対して一意に対応付けることができる任意の身元情報など。各生体情報にはこれらを表す記号
列,数字などが割り当てられる。
b) 収集された個人データの量及びタイプ
6.2.5 非バイオメトリック情報の供給
コーパスの中で活用可能な場合,配置されたシステムに通常活用可能なメタデータを,試験中のシステ
ムに提供しなければならない。試験の報告書には,試験中のシステムに活用可能であったメタデータ変数
の名称及びタイプを記載しなければならない。
例 報告書には,センサの具体的な情報(例えば,カメラのセッティング),環境(例えば,温度及び
湿度),被験者の具体的な情報(例えば,性別,年齢,見かけ,服装),又はその他かかわりのあ
る情報が含まれる。
注記 テクノロジ試験においては,実世界におけるバイオメトリック操作の複数の側面を考慮できな
いが,評価の設計においてこうした実世界におけるバイオメトリック操作の複数の側面を不必
――――― [JIS X 8101-2 pdf 12] ―――――
11
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
要に排除しないほうがよい。
6.2.6 コーパスの代表性
コーパス中のデータが試験の目標又はアプリケーションの関心事に適するように考慮して評価を設計し
なければならず,かつ,その旨を報告書に記載しなければならない。
試験機関の監督又は制御の下でデータが収集される場合,順化,訓練,習熟,ガイダンスなど試験責任
者と被験者との相互作用に関連した情報は,記録されなければならない。
注記1 現場に展開されたシステムの性能を予測して,評価する目的にテクノロジ評価を行うことは,
利用者有用である。こうした評価では,試験で使用するデータは同じフォーマットで,かつ,
同じ品質で取得することが可能である場合にだけ成立する。
注記2 理想的にはデータは異なるモダリティに関するデータも同等な習熟,順化,ガイダンスのレ
ベルで収集する。
6.2.7 汚染されていないコーパス
コーパスは,次のような場合,多少なりとも“汚染されている”とみなされる。
a) 実装提供者がコーパスの所有権をもっていたことがある。
b) 実装提供者が,コーパスの収集又は処理に用いられる装置を提供している場合,とりわけ,この行為
がサンプルの排除を行うなど,コーパスの性質又は品質に影響を与えている場合。
c) 試験の対象となるシステムが,かつてそのコーパスを使用して試験され,調整されたことがある場合。
汚染されているコーパスの使用が避けられない場合,この事実を試験報告書に記載しなければならない。
関係する一つ以上のサプライヤがそれを所有したことがある場合,サンプルデータは評価に際して使用
しないほうがよい。比較試験では,そうしたデータは使用しないほうがよい。(全体でも一部でも)この試
験コーパスを用いたシステムの事前の試験・調整は,試験報告書に記載しなければならない。
注記1 この項目は,試験者がサンプルデータに関する何らかの不正を行うことによって,見かけ上
の性能向上を装うことを防ぐ意味で重要である。
注記2 一般的に再利用が禁止されているからといって,サンプルを少々変更させるだけでは不十分
である。もし以前に試験したサンプルであることが何らかの方法で識別可能であれば,不正
が行われる可能性がある。
6.2.8 コーパスの廃棄
もし試験下にある一つ以上のシステムが,あるサンプルを用いて以前の試験で測定した性能に基づいて
調整されているならば,評価においてそのデータを用いないほうがよい。
注記1 これは,めったに用いられたことのないデータを使用することによって容易に達成できる。
注記2 これは,暗に収集活動を追加しなければならないことを指し示しており,その点で高くつく
ことがある。
6.2.9 コーパスの整合化
整合化とは,試験の目的に適さないデータを除去するために,被験者データを選抜することをいう。
整合化は被験者が確かに実在すること,そのデータが正しいフォーマットで記述されていること,正し
い実体が収集されていること,又は(正誤判定に用いる)正解の誤りが識別されていることのチェックを
含んでもよい。
試験責任者は,被験者のデータが妥当なものであるかどうかを報告しなければならない。データが妥当
な場合,試験責任者はデータの確認のときに適用した方法を詳しく説明しなければならない。データの除
去の割合と基準とについて報告しなければならない。
――――― [JIS X 8101-2 pdf 13] ―――――
12
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
例1 データベースの品質は,被験者のデータから品質の悪いものを除去することによって制御でき
る。
例2 顔認識技術の試験では,顔が示されていないデータ(例えば,全く顔が見えないか全体が身体
であるような),及び指紋認識技術の試験で指紋が示されていないデータ(例えば,掌紋のデー
タ)は排除されることが多い。
注記1 一部のバイオメトリックデータは,他のタイプのものより比較的簡単に整合化できるので,
データの整合化を行うことは性能の結果にバイアスをかけるおそれ(可能性)がある。
注記2 コーパスの整合化で削除されたデータは,収集時不適合として捨て去られたものとは区別さ
れる。除去されたデータが不整合によるためと考えるのがよいのか,又は収集時不適合によ
るためと考えるのがよいのかという点について,ときには判断が必要となる場合がある。
6.2.10 コーパスの収集環境
データ収集中の環境条件は,公知のものでもよいし,特に規定するものでもよい。環境条件を特に規定
してデータを収集するということは,通常,公知の基盤的な環境条件を考慮した上で,特に規定する環境
条件下で性能を測定することである。このような環境条件の制御を,バイオメトリックの性能に影響を与
えることが知られている又は影響を与えると思われる温度,照明,湿度などについて行ってもよい。
次のように評価下のモダリティに関連する環境要因,コーパス取得時の環境要因について入手可能な情
報は明確に記載することが望ましい。
− 温度
− 屋外にあるもの
− 照明 タイプ,方向,強度を含む
注記 タイプとは,太陽光,蛍光灯などの照明の種類のことである。
− 周囲の雑音
− 振動
試験責任者はこうした情報が入手不能な場合は,その旨を報告書に記載しなければならない。
注記 性能に影響を与える環境要因に関する情報については,この規格群の第1部のC.2.6(環境の影
響)参照。
6.2.11 収集時不適合
オフライン試験では,保存されているバイオメトリックサンプルを使用するが,そのサンプルはこの試
験の中でバイオメトリックシステムによって集められたものでも,そうでないものでもよい。試験報告書
では,データが試験で使用される前の段階で,どのように処理されたかに関する情報をすべて開示しなけ
ればならない。特に,サンプルが手動で廃棄されている場合又は自動バイオメトリックシステムの使用に
よって廃棄されている場合は,収集時不適合率(FAS)を報告しなければならない。
注記1 FASの値は,試験対象システムによって異なるバイオメトリックセンサ又は画像品質評価ア
ルゴリズムに関連することがある。
注記2 例えば,ある画像サンプルが全く空白であると分かった場合,もしそれが少数の遺産的
(legacy)なサンプルならばFASに数えないことが合法的であり,もしそれが空白サンプルの出
現を想定した試験を行うアプリケーションで定常的に生じるサンプルならば当然FASに含め
なければならないので,裁定を仰ぐことが必要となる。
――――― [JIS X 8101-2 pdf 14] ―――――
13
X 8101-2 : 2010 (ISO/IEC 19795-2 : 2007)
6.3 性能測定
6.3.1 登録
オフライン試験においては登録失敗率(FTE),すなわち,コーパス中の指定された登録サンプルが実装に
よって拒否された,被験者の割合を記録しなければならない。また,登録失敗として公表する基準も明記
しなければならない。
注記1 テクノロジ試験で測定される登録失敗は,実際の取得において起こり得る失敗の種類の一部
に過ぎない。
注記2 登録失敗は,各システムにおいて様々な理由で宣言されることがある。よく見られる理由は,
画像又は信号の品質の低さによって,システムが必要な信号の検出に失敗したというもので
ある(システムは画像若しくは信号を検出又は処理する固有の能力によって,及びある品質
受容基準によって構成されている。)。
注記3 システムは,登録失敗を増やすほど,より良い比較性能を達成できる。登録失敗と誤非合致
率とを結合した一般化誤拒否率(GFRR)を使えば,このようなトレードオフの問題はなくなる。
試験責任者は,登録を成功させるために要求されるサンプルの最低数と許容されるサンプルの最大数と
を具体的に示さなければならない。
試験される各バイオメトリックシステムについて,試験責任者は次を計算することが望ましい。
a) 可能であれば,登録時の品質スコアの分布
b) 異なる人口統計グループに対する,異なる環境条件に関連する,又はコーパスの他の論理セグメント
に対する登録失敗
注記1 試験に影響を与える因子の生体部位ごとの条件については,附属書JAに詳細に記述されて
いる。
注記2 指紋における指の損傷などによって,被験者そのものが測定対象になり得ない場合がある。
附属書JAでは,これらの被験者を取り除いた装置の使用可能な被験者の比率を“対応率”
という概念で規定している。
6.3.2 取得失敗
オフライン試験において,画像,信号の品質などの理由によって,取得及び位置決めにシステムが失敗
した照合又は識別試行の比率を記録しなければならない。この値は取得失敗率(FTA)と呼ばれる。
注記1 取得失敗率は,登録フェーズの生体情報登録失敗率の比較フェーズにおける対応物である。
6.3.1の注記1及び注記2にも同様に当てはまる。
注記2 取得失敗は,誤合致率とともに誤受入率の算出に使用しなければならない。
注記3 テクノロジ試験では,FTAは典型的にはエンコード又は比較の構成要素として公表され,試
行の処理失敗に属す。
試験責任者は,サンプル特徴を生成するために要求されるサンプルの最低数と許容されるサンプルの最
大数とを具体的に示さなければならない。
FTAを計算する公式は,この規格群の第1部に見い出すことができる。
6.3.3 照合尺度
試験された各照合システムに対して,試験責任者は次の項目を計算しなければならない。
a) 誤合致率(FMR)及び誤非合致率(FNMR)。
b) 誤拒否率(FRR)及び誤受入率(FAR)。ただし,試験設計方針が,誤受入率及び誤拒否率のそれぞれが誤
合致率及び誤非合致率と一致するようにしていない場合。
――――― [JIS X 8101-2 pdf 15] ―――――
次のページ PDF 16
JIS X 8101-2:2010の引用国際規格 ISO 一覧
- ISO/IEC 19795-2:2007(IDT)
JIS X 8101-2:2010の国際規格 ICS 分類一覧
- 35 : 情報技術.事務機械 > 35.040 : 文字セット及び符号化
JIS X 8101-2:2010の関連規格と引用規格一覧
- 規格番号
- 規格名称
- JISX8101-1:2010
- 情報技術―バイオメトリック性能試験及び報告―第1部:原則及び枠組み