JIS X 8101-1:2010 情報技術―バイオメトリック性能試験及び報告―第１部：原則及び枠組み | ページ 10

42
X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
                                          附属書A
                                          (参考)
                                   評価種別による違い
                                             表A.1
                             テクノロジ                 シナリオ                  運用
評価対象             バイオメトリック要素(照合又バイオメトリックシステムバイオメトリックシステム
                     は抽出アルゴリズム)
(正誤判定に用いる) 既知,データ収集エラー被験者既知,データ収集エラー被データが本人のものか偽者
正解                 及び併合データセットの分割  験者及び試験者による不要のものかを立証するために
                     点                          な被験者振る舞いに気付き利用可能な管理及び器具類
                                                 拒否。                  による。
試験運用責任者による 試験中は適用外。バイオメトリ管理されている(利用者振非管理
利用者振る舞い制御   ックデータ記録時には管理さ  る舞いが変数でなければ)。
                     れているか,又は非管理である
                     ことが考慮されている。
入力試行結果のリアル なし                        あり                    あり
タイムフィードバック
結果の再現性         再現性あり(同一コーパスの場擬似的な再現性あり(試験再現性なし。
                     合)。                      シナリオ及び管理された集
                                                 団)。
物理環境の管理       バイオメトリックデータ記録  管理若しくは記録又は両方管理されていない。記録さ
                     時には管理されているか,又はなされている。          れることが望ましい。
                     非管理であることが考慮され
                     ている。
利用者相互作用の記録 試験中は適用外。バイオメトリ記録されている。        登録時には記録されてい
                     ックデータ記録時には記録さ                          る。照合又は識別時には記
                     れている。                                          録される場合もある。
典型的な報告結果     バイオメトリックコンポーネ  バイオメトリックシステム運用環境での性能測定
                     ント又はコンポーネント版数  の比較,重要な性能要素の
                     の比較(例,照合,抽出アルゴ結果,シミュレート性能測
                     リズム又はセンサ),重要な性定。
                     能要素の結果。
典型的な尺度         ほとんどの性能尺度(全体スル予測スループット,FMR, スループット,信頼性のあ
                     ープット以外),ほとんどの誤FNMR,FTA,FTE,FAR,   る運用時のFAR及びFRR
                     り率,多くの被験者集団を集めFRR。                   の試験(正誤判定に用いる)
                     るのが困難な大規模な識別シ                          は,正解についての何らか
                     ステム性能評価に有効。                              の知識が必要。
制約事項             適切な試験コーパス,例,一つ運用可能な機器を備えたシ運用可能な機器を備えたシ
                     以上のセンサを使って集めら  ステム。                ステム,典型的には判定率
                     れている,その本人性は既知か                        だけ有効。
                     又は未知か。
試験集団             記録されている。            実操作                  実操作
注記 ある事例では,この表中の事項に対する例外があるかもしれないが,ここでは主流なもの,基本的な特性及び
     区別を示す。

――――― [JIS X 8101-1 pdf 46] ―――――

                                                                                             43
                                                            X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
                                           附属書B
                                          (参考)
                                  試験規模及び不確実性
B.1   互いに独立で同一の分布に従う比較を仮定した信頼区間及び試験規模
B.1.1 3の法則
  3の法則[22],[28][30]は,“互いに独立で同一の分布に従う,与えられた数Nの比較に対して統計的に
立証可能な最低の誤り率は幾つか”という問いに答える。この値は,N回の試行で全く偶然に誤りがゼロ
である確率が,(例えば)5 %になる誤り率pである。このことは95 %の信頼水準に対して,
                        p   3/N
を与える。
    例 誤りを返さない300の独立したサンプルからなる試験では,95 %の信頼で1 %以下の誤り率であ
        るということができる。
    注記1 90 %の信頼水準に対しては,p  2/Nである。
    注記2 もし本人入力試行ごとに異なった利用者を用い,かつ,すべての偽者入力試行において同一
            の利用者が2回以上出現しないならば,互いに独立で同一の分布に従う (independent
            identically distributed, i.i.d.) 入力試行の仮定が,成り立つといってもよい。n人の被験者では,
            n回の本人入力試行及びn/2回の偽者入力試行が存在する。しかしながら,すべての提示され
            たサンプル特徴及び生体情報登録テンプレートの間での相互比較は,はるかに多くの偽者入
            力試行を作り出し,[24]によれば,入力試行間の従属関係にもかかわらず,より小さな不確
            実性を得る。それゆえ,おそらく運用試験の場合を除いて,i.i.d.の仮定を得るために利用者
            ごとに1回の入力試行に制限したデータに,利点はほとんど存在しない。
B.1.2 30の法則
  30の法則は,次のことを表す。真の誤り率が観測された誤り率の±30 %以内にあることが90 %の信頼
であるためには,少なくとも30の誤りがあるはずである[13]。したがって,例えば3 000の独立した本人
試行中に30の誤非合致誤りがあった場合,90 %の信頼で,真の誤り率が0.7 %と1.3 %との間に存在する
ということが可能である。法則は,独立試行を仮定した二項分布から直接導かれ,評価のための性能予測
を検討することに適用される。
    例 性能目標が誤非合致率1 %及び誤合致率0.1 %である場合を考える。この法則は,3 000本人入力
        試行及び30 000偽者入力試行を示唆する。このとき,これらの試行が独立であるという重要な仮
        定に注意する。このことは,3 000人の生体情報登録者及び30 000人の偽者を必要とする。代替
        案は,被験者のより小さい集合を再利用することによって独立性には妥協して,統計的有意性の
        損失を覚悟することである。
    注記 法則は,異なった比率の誤り範囲に対しても一般化される。例えば,真の誤り率が観測された
          誤り率の±10 %以内にあることが90 %の信頼であるためには,少なくとも260の誤りが必要と
          される。真の誤り率が観測された誤り率の±50 %以内にあることが90 %の信頼であるためには,
          少なくとも11の誤りが必要とされる。
B.1.3 主張される誤り率を保証するための比較数
B.1.3.1 主張される誤り率を保証するために必要とされる統計的に独立な比較数を,図B.1に示す。例え

――――― [JIS X 8101-1 pdf 47] ―――――

44
X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
ば,N回の独立した偽者比較において誤合致がないことは,3/Nと主張される誤合致率を95 %の信頼で保
証し,一方,30の誤りは41/Nの誤合致率であるという主張を保証する。
        40/N
         40/N
        30/N
         30/N
                            supported
                     Claim 支持域
                   me d
       主張される誤り率
             teCl ai
        20/N
         20/N
     ErrorRa
                                                 非支持域
                                          Claim not  supported
        10/N
         10/N
                                                                     rejected
                                                               Claim棄却域
          0/N
        0/N
            0/N
             0/N        5/N
                        5/N        10/N
                                    10/N       15/N
                                               15/N        20/N
                                                           20/N       25/N
                                                                      25/N        30/N
                                                                                  30/N
                                   N独立比較による観測された誤り率
                         Error Rate Observed in N Independent Comparisons
  注記 主張される誤り率が1 %以下ならば,この図は合理的な近似を与える。
         図B.1−N独立比較による誤り率主張の採択(又は棄却)に対する95 %信頼決定区間
B.1.3.2 総計的に独立であることを保証するために,すべての比較における偽者及び偽装の対象となった
テンプレートは,別のものであり,かつ,対象母集団から無作為及び一様に選択される必要がある。この
方法は,N回の独立な比較に対して2N人のボランティアが必要であることから,低い誤合致率に対して
効率的でない。
B.1.3.3 統計的に独立であることを保証できないが,代替となる相互比較法が,しばしば採用される。P
人に対して,それぞれの(非順序)対に対する入力試行とテンプレートとの相互比較は,低い相関度を示
すこともある。これらのP(P−1)/2回の誤合致入力試行の相関関係は,同じ数の完全に独立な比較と比べ
て,FMRの主張を保証する信頼水準を引き下げる。
B.2   試験規模の関数としての性能評価尺度の分散
  試験規模が大きくなるにつれて,推定値の分散は減るが,その程度は変動の原因に依存する。
a) 被験者それぞれが,複数の本人入力試行を行う場合,観測される誤非合致率の分散は,次に起因する
    成分をもつ。
  − 被験者の変動。1/(被験者数)と同程度。
  − 前の項で説明できない本人入力試行の変動。1/(入力試行数)と同程度。
b) 被験者が複数の入力試行を行い,利用者の別の集合からの生体情報登録テンプレートに対するこれら
    の本人入力試行の相互比較によって,偽者入力試行がオフラインで生成される場合,観測される誤合
    致率の分散は,次に起因する成分をもつ。

――――― [JIS X 8101-1 pdf 48] ―――――

                                                                                             45
                                                            X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
  − 被験者の変動。1/(偽者被験者数)のスケール。
  − 偽装の対象となったテンプレートの変動。1/(偽装の対象となったテンプレート数)のスケール。
  − (被験者の変動によって説明されるもの以外の)本人サンプルの変動。1/(本人入力試行数)のスケ
      ール。
  − 生成された偽者入力試行の残差変動。1/(偽者入力試行数)のスケール。
    注記 ドジントンその他[16]は,バイオメトリックシステムには“goats(ヤギ)”,“lambs(子羊)”,
          及び“wolves(狼)”がいる可能性があることを示している。goats(ヤギ)は,母集団全体のも
          のよりも著しく高い個別の誤非合致率をもち,lambs(子羊)は,誤合致の不均衡な配分を被る
          テンプレートをもつ者であり,一方wolves(狼)は,誤合致を与えることに特に成功するサン
          プルをもつ者である。このことは,次のことを意味する。誤非合致率に対しては,被験者の分
          散成分がゼロでなく,誤合致率に対しては,被験者及びテンプレートの分散成分がゼロでない。
B.3   性能評価尺度の分散の推定
B.3.1 一般的な事項
  ここでは,性能評価尺度の分散を推定する式と方法とが与えられる。分散は,不確実性の統計的尺度で
あり,信頼区間などを推定する場合に使用できる。これらの式の適用性は,マッチング誤りの分布につい
ての次の仮定に依存する。
  − 被験者集団は,対象母集団を代表している。これは,例えば被験者が,対象母集団から無作為に抽
      出された場合である。
  − 異なった被験者による入力試行は,独立している。このことは,常に正しいとは限らない。利用者
      の行動は,他の人が何をするかを見ることによって影響される。しかしながら,被験者間の相関関
      係は,一人の被験者による一連の入力試行における相関関係と比べて,軽微であることが多い。
  − 入力試行は,いき(閾)値から独立している。そうでなければ,データ収集に使われたいき(閾)
      値以外では,誤り率に対する推定に偏りが生じる可能性がある。
  − 誤り率は,母集団内部で変化する。異なった被験者は,異なった個々の誤非合致率をもち,異なっ
      た被験者のペアは,異なった個々の誤合致率をもち得る。
  − 観測された誤りの数が,小さすぎない。観測された誤りが一つもない場合には,式はゼロ分散を与
      えるが,このときには3の法則を適用して正当性の検証を行う。
B.3.2 観測された誤非合致率の分散
B.3.2.1 誤非合致率−被験者一人につき1回の入力試行
  被験者それぞれが,1回の入力試行を行う場合
                               n
                            1   ia
                         p
                                    (B.1)
                            ni1
                               1(
                               p    )
                                    p
                        V p             (B.2)
                                n  1
                      ここに,      n :  生体情報登録された被験者数
                                    ai :  i番目の被験者の誤非合致数 (=0,1)
                                    p :  観測された誤非合致率
                                 V     :  観測された誤非合致率の推定分散

――――― [JIS X 8101-1 pdf 49] ―――――

46
X 8101-1 : 2010 (ISO/IEC 19795-1 : 2006)
    注記1 この推定法は,標準的な統計学の教科書に記述されている(例,[31])。
    注記2 これらの式は,ときに被験者が数回の入力試行を行う場合に対して誤って適用されてきた。
            被験者数nを入力試行数に置き換えることは,一般的に妥当ではない。
    注記2A 同一の被験者の入力試行には高い相関があり,独立性の仮定が破られる。
    注記3 これらの式は,被験者一人につき1回の入力試行があるときの取得失敗率及び生体情報登録
            失敗率の分散を推定する場合にも適合する。
B.3.2.2 誤非合致率−被験者一人につき複数回の入力試行
  被験者それぞれが,同一の回数で複数入力試行を行う場合,適切な推定は,次の式で与えられる[31]。
                                n
                             1    ia
                         p
                                      (B.3)
                            mn i 1
                                          n
                                1     1
                        V p                ai2  2
                                                p    (B.4)
                               n  1  m2n i 1
                      ここに,      n :  生体情報登録された被験者数
                                    m :  被験者それぞれが行った入力試行数
                                    ai :  i番目の被験者の誤非合致数(=0,...,m)
                                    p :  観測された誤非合致率
                                 V     :  観測された誤非合致率の推定分散
    注記1 m=1のとき,推定は式(B.1)及び式(B.2)と同じになる。
    注記2 これらの式は,被験者一人につき複数回の入力試行があるときの取得失敗率の分散を推定す
            る場合にも適合する。
B.3.2.3 誤非合致率−被験者一人当たりの回数が等しくない入力試行
  被験者一人当たりの入力試行数が変動するときがある。必要とされる入力試行数を達成できない被験者
がいる場合があり得る。取得失敗も,入力試行が誤非合致率の計算から失われている原因になる可能性が
ある。行われた入力試行数と個々の異なった成功率との間に相関関係がないとき,適切な式は次のように
なる。
                             n
                               ai
                             i1
                         p
                             n     (B.5)
                               mi
                             i1
                                n        n         n
                                 ai2  
                                     2p    aimi 2
                                                p    mi2
                        V p    i1       i1
                                                2
                                                   i1
                                                          (B.6)
                                           n
                                     n  1
                                             mi
                                      n    i1
                      ここに,       n :  生体情報登録された被験者数
                                    mi :  i番目の被験者が行った入力試行数
                                    ai :  i番目の被験者の誤非合致数
                                    p :  観測された誤非合致率
                                 V     :  観測された誤非合致率の推定分散
    注記1 ([31]からの)分散に対するこの式は,使いやすい形式を与える近似式である。
    注記2 すべてのmiが等しいときには,式(B.3)及び式(B.4)と同じ推定が得られる。
    注記3 ときには被験者の使用頻度が異なることは,成功率が異なることと相関関係がある。例えば,

――――― [JIS X 8101-1 pdf 50] ―――――

次のページ PDF 51