JIS X 8101-1:2010 情報技術―バイオメトリック性能試験及び報告―第１部：原則及び枠組み | ページ 5

                                                                                             17
                                                            X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
d) ベンダーのソフトウェア開発者用キット (Software Developers Kit, SDK) は,入手できるか。本人照合
    得点及び偽者照合得点のオフライン生成は,次の事項をするためにSDKのソフトウェアモジュールを
    使用する必要がある。
  1) 生体情報登録サンプルから生体情報登録テンプレートを作成する。
  2) 試験サンプルからサンプル特徴を抽出する。
  3) サンプル特徴とテンプレートとの間の照合得点を生成する。オフラインコードで作り出す照合得点
      は,本物のシステムが作り出すものと等しいことが望ましい。これには,パラメタの調整が必要に
      なることもある。
e) 試験のためにシステムの修正が必要となるか。必要となる修正は,システムの性能特性を変えてしま
    うか。
f)  システムは,(他人の情報に影響しない)独立したテンプレートを作成するようになっているか。ある
    人物を登録することによって他人のテンプレートが影響を受ける場合には,偽者トランザクションを
    収集又は作成するための正しい手順は,異なる(7.6.2.6及び7.6.3.2参照)。
g) システムは,照合がうまく行った後にテンプレートを学習させるアルゴリズムを用いているか。そう
    なっている場合は,テンプレートの学習は性能を測定する前にどれくらいにしておくのが望ましいか
    について考慮しなければならない。また,偽者試験がテンプレートに悪影響を与える可能性があるか
    どうかについても考慮しなければならない(7.4.4及び7.6.1.4参照)。
h) 対象アプリケーションに対する推奨画像品質及び比較判定いき(閾)値はどうなっているか。これら
    の設定値は,提示サンプルの品質及び誤り率に影響を与える。
i)  期待される概算誤り率は分かっているか。この情報は,試験規模が適切であるか否かを判定するのに
    役立つはずである(B.1参照)。
j)  この形式のシステムに対して性能に影響を与える要因は何か。これらの要因は,制御されなければな
    らない(6.4参照)。
k) 性能は,生体情報登録データベースの規模に依存するか。識別システムのほとんどが規模依存になっ
    ているだけでなく,照合システムの場合でも,グループ登録を実行する照合システム及び1対多検索
    を照合処理の中に組み込んだ照合システムといった幾つかの照合システムでは規模依存になっている。
      注記 シナリオ試験及び運用試験では,最適な性能のための装置及び環境の調整[品質いき(閾)
            値及び判定いき(閾)値を含む。]は,どれもデータ収集に先立って行われる必要がある。品
            質評価をより厳密にすると,誤合致及び誤非合致をより小さくすることができるが,取得失
            敗率はより高くなり得る。比較結果が利用者に提示される場合には,判定いき(閾)値もま
            た適切に設定する必要がある。正又は負のフィードバックが,利用者の行動に影響を与える
            からである。最適な環境及び設定間のトレードオフに関する情報をベンダーから入手できる
            こともある。

6.4 性能に影響を与える要因の制御

6.4.1  バイオメトリックシステムの性能評価結果は,アプリケーション,環境及び母集団に強く依存する。
附属書Cは,バイオメトリックシステムの性能に影響を与えることが分かっている,利用者要因,アプリ
ケーション要因,及び環境・システム要因の一覧を記載している。これらの要因をいかに制御するかは,
データ収集に先立って決定しなければならない。
6.4.2  測定性能に影響を与える要因は,次に示す4個の制御可能性クラスのうち1個に,明示的又は暗示
的に分けられなければならない。

――――― [JIS X 8101-1 pdf 21] ―――――

18
X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
a) それらが及ぼす影響を観察することができるように,(独立変数として)実験構造の中に組み込まれた
    要因
b) 実験条件の一部となるように制御された要因(評価をしている間は不変)
c) 実験を通して無作為化される要因(個別には無視できないが,総体としては互いに影響を打ち消し合
    う要因)
d) ごくわずかな影響しか及ぼさないと判断される要因。この要因は無視される。この最後の分類がなけ
    れば,実験は不必要に複雑になると思われる。
  この分類を行うためには,どの要因が最も重要であるか及びどの要因が無視しても安全であるかを判定
するために,システムの予備試験が必要になることもある。どの要因を制御すべきかを判定するときに,
内部妥当性(製品間の実際の性能差と試験結果との整合性。すなわち,性能の相違は,研究で記録した独
立変数だけによるものである。)のニーズと外部妥当性(試験した製品の実働時性能と試験結果との整合性。
すなわち,結果は,対象アプリケーションにおける性能を正確に表したものである。)のニーズとの間に矛
盾が起きる可能性がある。
    例 2個のシステムの性能を比較する場合を想定する。このとき,生体情報登録監督者の技能又は個
        人特性が性能に影響を与えるかどうかが懸念される場合,この要因を制御する上で可能な方法に
        は,次のものがある。
        a) システム間での性能差異の測定と同じように,監督者が異なった場合の性能差異測定試験を
            計画する。
        b) ただ一人の監督者を用いるか,又は実験を通して監督者・被験者間の相互作用が可能な限り
            一貫するよう気を付ける。
        c) 生体情報登録の入力試行をすべての監督者間に無作為に割り当て,それによって系統的な偏
            りを避ける。
        d) 生体情報登録監督者間の差異がシステム間の差異と比べて小さいという事前の証拠がある場
            合,その実験では,この要因を無視してもよい。
6.4.3  テクノロジ試験では,試験が評価するシステムにとって難し過ぎず,かつ,易し過ぎないことを確
かめた上で,ある一般的なアプリケーション及び母集団を想定してもよい。
6.4.4  シナリオ試験では,現実的な環境を代表する利用者でバイオメトリックシステムを試験できるよう
にするため,実際のアプリケーション及び母集団を特定しモデル化するのが望ましい。
6.4.5  運用試験では,環境及び母集団は,試験責任者による制御はほとんど受けず,本来の状態のままで
確定される。
6.4.6  試験を計画するときに特に重要なことは,生体情報登録と照合データ・識別データの収集との間の
時間間隔である。一般に,時間間隔が長くなればなるほど,“テンプレートエージング”といわれる現象に
よってサンプルをテンプレートと合致させることがだんだん難しくなる。これは,バイオメトリックパタ
ーン,その提示,及びセンサの時間関連変化によって引き起こされる誤り率の上昇のことである。したが
って,本人トランザクションデータの収集は,対象アプリケーションに見合った間隔で生体情報登録と時
間的に分けなければならない。この間隔が分からない場合は,時間間隔は,できる限り長くするのが望ま
しい。大体の目安としては,少なくともその身体部分が外傷から回復する一般的な時間程度はサンプルを
分離させることである。
    例 指紋では,2週間3週間で十分であろう。眼の構造はより早く回復すると思われ,ほんの2日又
        は3日だけの間隔でよい。調髪は身体構造の外傷の一種と考えると,顔画像は,おそらく1か月

――――― [JIS X 8101-1 pdf 22] ―――――

                                                                                             19
                                                            X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
        又は2か月間分離することが望ましい。
    注記 (照合得点を向上させる)利用者の習熟又は(照合得点を悪化させる)テンプレートエージン
          グを試験するために計画された特別な試験では,長期にわたる複数のサンプルが必要とされる。
          テンプレートエージング及び習熟が,異なった既知の時間スケールで起こらない場合には,反
          対に作用するそれらの効果を別々に抽出する方法はない。

6.5 被験者選定

6.5.1  生体情報登録機能及びトランザクション機能は両方とも,入力信号又は画像を必要とする。これら
のサンプルは,試験母集団又は被験者集団からのものが望ましい。人工的に生成したサンプル又は特徴(実
際のデータの修正によって造ったものを含む。)を使う必要がある場合は,そのような使用を報告し,その
正当性を証明しなければならない。また,その生成法及び(その生成法が)適切であると考える上で根拠
とした仮説を記述しなければならない。合成データに対する結果と非合成データに対する結果とは,別々
に報告しなければならない。また,合成データと非合成データとを混合したデータに対する結果は,その
混合の詳細を報告しなければならない。
    注記 人工的に生成した画像の使用は,テクノロジ評価における内部妥当性を改善する。性能に影響
          するすべての独立変数を制御することができるからである。しかしながら,外部妥当性が引き
          下げられるおそれがある。コーパスは,その生成に使われたものと同じ方法でバイオメトリッ
          ク画像をモデル化するシステムに関して偏りを生じさせる可能性も高い。
6.5.2  被験者集団には,試験するバイオメトリックシステムを開発又は調整するために,生体特徴を以前
に使ったことのある人々が含まれていてはならない。
6.5.3  被験者集団は,その性能を試験結果から予測する対象アプリケーションの被験者集団と人口統計的
に類似しているのが望ましい。このようになるのは,対象アプリケーションを使う見込みの利用者から被
験者を無作為に選定した場合である。そうでない場合は,ボランティアに頼らざるを得なくなる。
    注記 ボランティアを人口統計に類似させるように再サンプリングする,加重平均によって人口統計
          に近い結果に再構成する,などが行われる。
6.5.4  被験者集団をボランティアから募集することは,試験を偏らせるおそれがある。例えば,定常的に
使用する人であるか又は肉体的にハンディのある人であるかを問わず,特異な特徴をもった人々は,サン
プル母集団では十分に代表されていない可能性がある。バイオメトリック技術の利用に強固に反対する
人々は,進んでは試験に参加しそうにない。被験者集団ができる限り代表的であり,既知の問題事例を十
分に代表しないことがないようにするためには,ボランティアから不均等に選定しなければならないこと
もある。バイオメトリックシステム性能に影響を及ぼす人口統計的要因に関する現行の理解は,余りに貧
弱すぎて,対象母集団に対する近似は,常に試験予測値を制限する主要問題となる。
6.5.5  生体情報登録及び試験は,通常,対象アプリケーションのいかんによって,何日,何週間,何箇月
又は何年も離れた別のセッションで実施される。この全期間にわたって安定した構成員をもった被験者集
団は,見つけるのが困難であり,何人かの被験者が生体情報登録と試験との間に脱落すると思ったほうが
よい。
6.5.6  利用者が自ら進んで生体情報を提示する(明示的提示)対象アプリケーションでは,被験者集団の
行動が対象アプリケーションを使用するときの行動に従うようにするために,適切に指導及び動機付けす
るのが望ましい。被験者が決まりきった試験に退屈してくると,彼らは,変わった試みをしたくなるか又
はだんだん注意散漫になる。そのような可能性は,回避しなければならない。
6.5.7  利用者が意識しない間に生体情報を取得する(非明示的提示)対象アプリケーションでは,被験者

――――― [JIS X 8101-1 pdf 23] ―――――

20
X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
は,理想的にいえば,サンプルの取り込みが起こっている瞬間に,あたかもそれに気が付いていないかの
ように振る舞うことが望ましい。これは,長期間にわたってデータを受動的に取り込むこと,及びRFID
タグを使うことで被験者が入力しなくとも正しい身元情報を得られるようにすることによって達成できる
可能性がある。
6.5.8  可能であれば,被験者は,必要となるデータ収集手順についてすべて知っており,原データの使わ
れ方及び頒布の仕方について承知しており,必要となるセッションの回数及びセッションの持続時間につ
いて知らされていることが望ましい。データ使用の有無にかかわらず,被験者集団の身元は公表しないほ
うがよい。各被験者がこれらの問題を了解していることを認める同意書に署名してもらうのが望ましく,
試験責任者は,それを内密に保存しなければならない。
    注記 利用者が意識しない識別システムにおける運用試験のような形式の試験では,被験者への通知
          は現実的でない場合がある。又は,通知することで被験者の行動が変化し,それゆえ収集した
          結果が無効になる場合もある。

6.6 試験規模

6.6.1  一般的な事項
  被験者数,実施した入力試行の回数(及び,適用できる場合は,一人当たりの使用した指,手又は目の
数)で表される評価の規模は,誤り率がいかに正確に測定されるかに影響を及ぼす。試験が大規模になれ
ばなるほど,試験結果の精度が向上する可能性が高い。所定の精度水準を得るために必要となる入力試行
回数の下限を規定するために,(B.1に示した)3の法則及び30の法則といった法則が使われることもある。
しかしながら,これらの法則は楽観的に過ぎない。なぜならば,ここでは誤り率は単一の変動性源による
と仮定しているが,一般に生体認証ではこの仮定は成立しないからである。一人当たり10組,100人から
得た生体情報の登録−試験サンプル対は,一人当たり一組,1 000人から得た生体情報の登録−試験サンプ
ル対と統計的に同等ではなく,結果に同水準の確実性を与えない。
    注記 試験規模が増えるにつれて,推定値の分散は減ってくるが,スケール因子は変動の原因に依存
          する。例えば,1/(入力試行回数)の代わりに1/(被験者数)としてスケーリングされた分散
          成分が与えられた場合,利用者は異なる誤り率を得るかもしれない[16]。この影響は,附属書B
          の中で詳細に示す。
6.6.2  利用者一人当たり複数のトランザクションの収集
6.6.2.1  評価では,被験者ごとに複数のトランザクションを収集してもよい。利用者ごとに幾つかのトラ
ンザクションを収集したほうがよい状況には,次のものがある。
a) 経時変化,習熟及びその他の系統的変動の影響に関する試験
b) テンプレート更新を用いたシステムの試験
c) 利用者ごとに異なる個々の誤り率の範囲に関する試験
d) 試験前にトランザクションの完全な定義付けをしなかったとき,例えば,トランザクション当たりの
    入力試行の回数によって,性能がいかに変化するかを判定するため。
      注記 仮に,被験者集団を調達し生体情報登録する費用と労力とを考慮に入れる必要がないと仮定
            するならば,理想的な試験としては,それぞれがただ1回のトランザクションを行う多くの
            被験者を使えばよいことがあるだろう。これによってトランザクション間の独立性が備わる。
            しかしながら,現実の世界では,新しい被験者を探して生体情報登録するよりも,既に生体
            情報登録した者を戻す方が極めて容易である。さらに,入力試行がなされるときはいつでも,
            わずかな労力をかけるだけで,同時に幾つかの追加の入力試行を収集することができる。そ

――――― [JIS X 8101-1 pdf 24] ―――――

                                                                                             21
                                                            X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
            のような複数のトランザクションは,幾つかの相関関係を示す。それにもかかわらず,少な
            い被験者について一人当たり複数のトランザクションを用いる試験の方が,同じ費用で行う,
            それよりは多少多い被験者について一人当たり1回だけのトランザクションを用いるよりも,
            より確実な試験結果が得られる場合が多い。
6.6.2.2  被験者一人につき収集する試験トランザクションの回数及び頻度は,対象アプリケーションに即
していることが望ましい。トランザクションパターンの変更が誤り率に大きな影響を及ぼさないのであれ
ば,試験計画でこれを変えてもよい。
    注記 利用者一人当たりの入力試行の回数及びパターンを変更することは,利用者の行動に影響し,
          その結果,次のように,測定される誤り率に対して十分に大きな影響を与える可能性がある。
          まず,装置に対する慣れ親しみの増加又は認証結果のフィードバックによって,継続的な入力
          試行に伴って利用者の行動が変化することがある。例えば,利用者が行う最初の入力試行は,
          その後に続く入力試行よりも高い失敗率になる可能性がある。結果として,観測される誤非合
          致率は,試験規約によって定義された利用者ごとの入力試行のパターンに依存する。一般に,
          誤り率は,対象となる母集団に対する平均だけでなく,利用者が行うことが妥当な入力試行の
          種類も平均して測定される。複数の入力試行で平均することが,この場合の助けとなるが,利
          用者一人当たりの入力試行の回数及びパターンの変更は,このことの妥当性を損なうからであ
          る。
    例 利用者が装置又はバイオメトリックアプリケーションに不慣れであることが望ましい試験におい
        ては,複数のトランザクションを使用することは,不適切である。
6.6.3  試験規模
  試験精度を判定する上では,試験を受ける人数の方が,入力試行の合計回数よりも重要である。
a) 被験者集団は,できる限り大きくなければならない。実行可能性の基準は,被験者集団の募集及び追
    跡の費用となることが多い。
b) 入力試行の合計回数が3の法則又は30の法則の適切な方が要求する回数を超えるように,被験者一人
    につき十分なサンプルを収集しなければならない。これらの複数サンプルを異なった日に,又は異な
    った指,目若しくは手から,収集することができ(追加したサンプルが依然として通常の使用を代表
    していれば)1),そうすることは,同一人物によるサンプル間の従属性を減らすのに役立つはずである。
c) データを収集・分析した後,性能評価尺度の不確実性を推定して,試験が十分な大きさであったか否
    かを判定しなければならない。
      注記 収穫逓減の法則が当てはまる。すなわち,被験者集団の規模及び試験数を大きくしていくこ
            とで誤差が減っていくが,ある段階に達すると,使用環境又は被験者選定の偏りから生じる
            誤差の影響の方が強くなり,規模を大きくすることによる精度に対する効果が小さくなって
            いく。
      注1) 例えば,小指の使用は,おそらく指紋システムの通常の使用を代表しているものではなく,
            結果として生じる誤り率は異なったものになる[17]。同様に,左手の鏡映像は,右手用の掌形
            システムでの通常のデータを代表するものではない。

6.7 複数試験

6.7.1  データ収集の費用は非常に高いので,1回のデータ収集努力で複数の試験を実施するのが望ましい
といえる。テクノロジ評価は,これを見込んでいる。画像標準が存在しているバイオメトリック装置[指
紋[18],顔[19],こう(虹)彩[20]及び声[21]]の場合は,複数ベンダーからのパターンマッチングアルゴ

――――― [JIS X 8101-1 pdf 25] ―――――

次のページ PDF 26