この規格 プレビューページの目次
※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
3 用語と定義
このドキュメントの目的のために、ISO/IEC 2382-37 および以下に記載されている用語と定義が適用されます。
ISO および IEC は、次のアドレスで標準化に使用する用語データベースを維持しています。
3.1
被験者
評価の一環として登録または比較する生体認証データを持つ個人
3.2
テストクルー
評価に利用される一連の 被験者（3.1）
3.3
ターゲット層
パフォーマンスが評価されているアプリケーションの生体認証データ主体のセット
3.4
テスト組織
テストが実施される機能エンティティ。
3.5
実験者
テストの定義、設計、分析を担当する個人
3.6
テスト管理者
テストを実施する個人
例：
登録を実施するか、検証または 識別取引を監督するスタッフ (3.10) 。
3.7
テストオブザーバー
個々のテストデータの記録または テストクルーの監視 (3.2)
3.8
登録試行
捕獲対象の生体認証参照を生成することを目的とした一連の 1 つまたは複数の捕獲試行のシーケンス
注記 1:登録の試行には、特定の回数のキャプチャ試行が必要になる場合があり (たとえば、設定された期間内にセンサーに指を 3 回別々に配置する)、そこから最高品質のサンプルが選択されてさらに処理されます。
3.9
入会手続き
捕獲対象の生体認証参照を生成することを目的とした、1 回または複数回の 登録試行 (3.8)
注記 1:登録の試行が失敗した場合、試行が成功するか登録が断念されるまで、同じ登録トランザクション内でさらに登録の試行を実行できます。
3.10
本人確認取引
単一の個人に起因するバイオメトリック参照識別子を見つけて返すための、1回以上のキャプチャ試行とバイオメトリック検索のシーケンス
3.11
チャネル効果
サンプリング、ノイズ、およびセンサーと伝送チャネルの周波数応答特性による生体サンプルの変動
3.12
プレゼンテーション効果
バイオメトリック特性がセンサーに提示される方法によるバイオメトリック サンプルの変動
例：
顔認識では、これにはポーズ角度が含まれる場合があります。フィンガープリンティング、指の回転、肌の水分に。多くの場合、基本的なバイオメトリック特性の変化とプレゼンテーション効果の違いは明確ではありません (たとえば、顔認識における顔の表情や話者認証システムにおけるピッチの変化など)
3.13
技術評価
既存の、または特別に収集されたサンプルのコーパスを使用した、同じ生体認証モダリティの 1 つまたは複数のアルゴリズムの オフライン (3.17) 評価。
3.14
シナリオ評価
テストクルー（3.2） を使用して、プロトタイプまたはシミュレートされたアプリケーションでエンドツーエンドのシステムパフォーマンスを測定する評価。
3.15
運用評価
特定の 対象集団（3.3） を使用して、特定のアプリケーション環境における生体認証システムの性能を測定する評価。
3.16
オンライン
バイオメトリック取得プロセスの直後のバイオメトリック登録または比較の実行に関する
3.17
オフライン
バイオメトリック登録の実行、またはバイオメトリック取得プロセスに続く保存されたバイオメトリック データの比較およびバイオメトリック取得プロセスから切り離された処理に関するもの
注記 1:オフライン登録用の画像またはシグナルのコーパスを収集し、比較スコアを計算することにより、トランザクションで使用するプローブおよび参照画像をより詳細に制御できます。
3.18
閉集合検定
テスト クルー（3.2） が、登録データベースで参照を持っていることが知られている個人のみで構成されるテスト。
注記1クローズドセット検定は，識別システムの性能を 累積一致特性プロット (3.29) で示すための特定のタイプの検定である。
3.19
取得の失敗
バイオメトリクスの比較に適したバイオメトリクスの特徴を生成するためのバイオメトリクスのキャプチャおよび特徴抽出プロセスの失敗
3.20
本人拒否率
FRR
誤って拒否された真の生体認証請求による検証トランザクションの割合
3.21
他人受入率
遠い
誤って受け入れられた偽の生体認証請求による検証トランザクションの割合
3.22
偽陰性同定率
FNIR
FNIR( N , R , T )
サブジェクトの正しい参照識別子が返されたものの中にないシステムに登録された捕獲サブジェクトによる特定の一連の 識別トランザクション(3.10) の割合。
注記1偽陰性識別率は， N，登録者の数，及び ランク(3.24) Rまでの候補者のみで，候補者スコアがしきい値Tが候補リストに返されます。
3.23
偽陽性識別率
FPIR
FPIR( N, T )
参照識別子が返されるシステムに登録されていない捕獲対象による 識別トランザクション (3.10) の割合
注記 1:偽陽性識別率は、 N, 登録者の数、および識別プロセスのパラメータの関数として表すことができます。この場合、しきい値Tよりも高い候補スコアを持つ候補のみが候補リストに返されます。
注記 2:スコアにしきい値を適用せずに常に一定数の候補者を返すシステムの場合、FPIR は意味のある指標ではありません。
3.24
ランク
類似度スコアの降順に並べられた候補リスト内の候補の位置
3.25
真陽性同定率
TPIR
TPIR( N, R, T )
システムに登録された捕獲対象による 識別トランザクション（3.10） のうち、対象の正しい識別子が返されたものに含まれる割合。
注記1真陽性識別率は， N，登録者の数，及び ランク(3.24) Rまでの候補者のみで，候補者スコアがしきい値Tが候補リストに返されます。
注記2: TPIR( N, R, T ) = 1 – FPIR( N, R, T )
3.26
選択性
SEL( N 、 R, T )
非交配 識別トランザクション (3.10) でしきい値Tを超えて返された候補の平均数
注記1選択性は， N，エンローリーの数，及び ランク(3.24) Rまでの候補者のみが候補者にTれる識別プロセスのパラメータの関数として表すことができる。リスト。
注記 2R = Nの場合、SEL( N , R , T ) はデータベース全体に対して測定されます。
3.27
計算負荷
固有操作の数、実行時間、およびメモリ要件を含む、生体認証システムにおける単一のトランザクション (または一連のトランザクション) の総計算量
注記1:計算負荷は、生体認証システムが動作しているハードウェアに依存します。
3.28
検出エラーのトレードオフ
DET
弁別閾値が変化するときのバイナリ分類システムの偽陰性と偽陽性のエラー間の関係
注記 1 DET は DET 表または DET プロットとして表すことができる。
注記 2:受信者動作特性 (ROC) 曲線は、このドキュメントの前の版で使用されていました。 ROC は DET と統合されます。
3.29
累積一致特性プロット
CMC プロット
Rの関数として 真陽性同定率 (3.25) TPIR( N, R, 0) をプロットした閉集合同定試験における交配探索の結果のグラフ表示。
3.30
事前選択アルゴリズム
登録データベースの識別検索で行う必要がある比較の数を減らすアルゴリズム
3.31
事前選択エラー
<事前選択アルゴリズム> 対応するサブジェクト識別子が事前選択された候補のサブセットにない場合に発生するエラー
注記1:ビニング事前選択では、データ主体の登録参照と、同じバイオメトリック特性からの後続のサンプルが異なるパーティションに配置されると、事前選択エラーが発生します。
3.32
浸透率
<事前選択アルゴリズム> 事前選択された参照の総数の平均割合
参考文献
| [1] | ISO/IEC TR 24722, 情報技術 - バイオメトリクス - マルチモーダルおよびその他のマルチバイオメトリック フュージョン |
| [2] | Hennessy JL, Patterson DA, Computer Architecture: A Quantitative Approach, 第 2 版、Morgan Kaufman, サンフランシスコ、1996 年。 |
| [3] | Doddington G, Liggett W, Martin A, Przybocki M, Reynolds D 羊、ヤギ、子羊、オオカミ: NIST 1998 スピーカー認識評価におけるスピーカー パフォーマンスの統計分析。 ICSLP, 1998 年 11 月。 |
| [4] | Wayman JL, 自動指紋識別システムのマルチフィンガー浸透率と ROC 変動。国立生体認証試験センター、1999 年 5 月。 |
| [5] | Wayman JL, 生体認証デバイスの技術テストと評価。 Biometrics: Personal identification in networked social, Jain AK et al. 編, Kluwer, 2000, 345-368. |
| [6] | Godfrey J, Graff D, Martin A 話者の認識と検証のための公開データベース。自動話者認識、識別および検証に関する ESCA ワークショップ、1994 年。 |
| [7] | ISO/IEC 29794-1, 情報技術 — 生体認証サンプルの品質 — 1: フレームワーク |
| [8] | ISO/IEC 29794-4, 情報技術 — 生体認証サンプルの品質 — 4：指画像データ |
| [9] | ISO/IEC 29794-5, 情報技術 — 生体認証サンプルの品質 — 5：顔画像データ |
| [10] | ISO/IEC 29794-6, 情報技術 — 生体認証サンプルの品質 — 6：虹彩画像データ |
| [11] | Wayman JL, 生体認証データの信頼区間とテスト サイズの推定。 IEEE AutoID 会議の議事録、1999 年。 |
| [12] | Newman HH, Freeman FN, Holzinger JK, Twins, Chicago University Press, 1937. [26]で引用されている一卵性双生児間の指紋の類似性に関する結果 (表 10.20.1) |
| [13] | Daugman J, Downing C 人間の虹彩パターンのエピジェネティックなランダム性、複雑さ、および特異性。王立協会生物科学議事録、2001, 268, 1737-174 |
| [14] | Jain AK, Prabhakar S, Pankanti S, 一卵性双生児の指紋の類似性について。パターン認識、2002 年、35, (11)、2653-266 |
| [15] | Jain A.、Bolle R.、Pankanti S.、Introduction to biometrics, in: Jain A.、Bolle R.、Pankanti S.、Biometrics: Personal Identification in Networked Society, Kluwer Academic Publishers, 1999, pp.1-4 |
| [16] | Fitzmaurice GM, Laird NM, Ware JH, Applied Longitudinal Analysis, 第 2 版、2011 年 8 月。 |
| [17] | Best-Rowden L, Jain AK, 自動顔認識の縦断的研究、IEEE Trans Pattern Analysis Machine Intelligence, 2017 年 1 月。 |
| [18] | Arnold M.、Busch C.、Ihmor H. 著「Investigating performance and impacts on Fingerprint Recognition Systems」、Proceedings from the six IEEE Systems, Man and Cybernetics (SMC): Information Assurance Workshop, ページ 1-7, IEEE Computer Society, 2005 年 6 月、ニューヨーク州ウェストポイント |
| [19] | Libert J, Grantham J, Bandini B, Wood S, Garris M, Ko K, Byers F, Watson C. Guidance for Evaluating Contactless Fingerprint Acquisition Devices, NIST SP 500-305 |
| [20] | Martin A, Doddington G, Kamm T, Ordowski M, Przybocki M. 検出タスク パフォーマンスの評価における DET 曲線。 pro Eurospeech '97, ロードス、ギリシャ、1997 年 9 月、Vol. 4, pp. 1895-1898 |
| [21] | Louis TA, 成功が観察されなかった後の二項パラメータの信頼区間。アメリカ統計学者、1981 年、35, (3)、15 |
| [22] | Hanley JA, Lippman-Hand A.、何も問題がなければ、すべて大丈夫ですか?ゼロ分子の解釈。アメリカ医師会ジャーナル、1983年、249, (13)、1743-174 |
| [23] | Jovanovic BD, Levy PS, 3 のルールを見てください。アメリカの統計学者、1997 年、51, (2)、137-13 |
| [24] | Doddington GR, Przybocki MA, Martin AF, Reynolds DA, NIST スピーカー認識評価: 概要方法論、システム、結果、視点。音声通信、2000 年、31, (2-3)、225-25 |
| [25] | Schuckers M, Hawley A, Livingstone K, Mramba N, バイオメトリック識別デバイスの照合性能を評価するための統計的手法の比較: 予備レポート、人間識別のためのバイオメトリック技術 5404, 144-156, 200 |
| [26] | Snedecor GW, Cochran WG, 統計手法、アイオワ州立大学出版局、1967 年 (第 6 版) |
| [27] | Schuckers M.、生体認証における計算方法、Springer London, 2010 年。 |
| [28] | Efron B, Tibshirani RJ, ブートストラップの紹介、Chapman and Hall, 1997 年。 |
| [29] | Diegert KV, 生体認証識別子のパフォーマンス特性の推定。バイオメトリクス コンソーシアム会議の議事録、サンノゼ、カリフォルニア州、1996 年 6 月。 |
| [30] | Bolle RM, Ratha N, K, Pankanti, S . ブートストラップを使用した生体認証システムのパフォーマンス分析における信頼区間測定。 2001 年 12 月、ハワイ、コンピューター ビジョンにおける実証的評価手法に関するワークショップの議事録。 |
| [31] | Phillips JP, Grother P, Michaels RJ, Blackburn DM, Tabassi E, Bone M, 顔認識ベンダー テスト 2002: 評価レポート、NISTIR 6965, 2003 年 3 月。 |
| [32] | Maltoni D et al.、指紋認識のハンドブック、Springer, 2003 年。 |
| [33] | ルミニ A, マイオ D.、マルトーニ D.、指紋検索のための連続的分類と排他的分類、パターン認識レター、Vol.18, No.10, pp.1027-1034, 199 |
| [34] | Uchida K, Kamei T, Mizoguchi M, Temma T, Fingerprint Card Classification with Statistical Feature Integration, Proceedings of the 14th International Conference on Pattern Recognition, Brisbane, Australia, pp.1833-1839, August 1998. |
| [35] | Cappelli R, Maio D, The State of the Art in Fingerprint Classification, in Ratha N, Bolle R, (Eds.) Automatic Fingerprint Recognition, Chapter 9, pp.183-205. |
| [36] | Kamei T.、大規模データベースの固有特徴を使用した指紋の事前選択、 Ratha, N. およびBolle , R. (編)、自動指紋認識、第 13 章、pp.263-28 |
| [37] | NIST, マルチモーダル情報グループ ツール1 . |
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO/IEC 2382-37 and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
3.1
test subject
individual whose biometric data is intended to be enrolled or compared as part of the evaluation
3.2
test crew
set of test subjects (3.1) utilized in an evaluation
3.3
target population
set of biometric data subjects of the application for which performance is being evaluated
3.4
test organization
functional entity under whose auspices the test is conducted
3.5
experimenter
individual responsible for defining, designing and analysing the test
3.6
test administrator
individual performing the testing
EXAMPLE:
Staff conducting enrolments or overseeing verification or identification transactions (3.10) .
3.7
test observer
individual recording test data or monitoring the test crew (3.2)
3.8
enrolment attempt
sequence of one or more capture attempts with the aim of producing a biometric reference for a capture subject
Note 1 to entry: An enrolment attempt can require a specific number of capture attempts (e.g. three separate placements of a finger on a sensor within a set period), from which the highest quality sample(s) is/are selected for further processing.
3.9
enrolment transaction
one or more enrolment attempts (3.8) with the aim of producing a biometric reference for a capture subject
Note 1 to entry: If an enrolment attempt fails, further enrolment attempts can be performed within the same enrolment transaction until an attempt succeeds or enrolment is given up.
3.10
identification transaction
sequence of one or more capture attempts and biometric searches to find and return the biometric reference identifier(s) attributable to a single individual
3.11
channel effect
variation of the biometric sample due to sampling, noise and frequency response characteristics of the sensor and transmission channel
3.12
presentation effect
variation of the biometric sample due to the way that biometric characteristics are presented to the sensor
EXAMPLE:
In facial recognition, this can include pose angle; in fingerprinting, finger rotation and skin moisture. In many cases, the distinction between changes in the fundamental biometric characteristic and the presentation effects are unclear (e.g. facial expression in facial recognition or pitch change in speaker verification systems).
3.13
technology evaluation
offline (3.17) evaluation of one or more algorithms for the same biometric modality using a pre-existing or especially-collected corpus of samples
3.14
scenario evaluation
evaluation that measures end-to-end system performance in a prototype or simulated application with a test crew (3.2)
3.15
operational evaluation
evaluation that measures the performance of a biometric system in a specific application environment using a specific target population (3.3)
3.16
online
pertaining to execution of biometric enrolment or comparison directly following the biometric acquisition process
3.17
offline
pertaining to execution of biometric enrolment or comparison of stored biometric data subsequent to and disconnected from the biometric acquisition process
Note 1 to entry: Collecting a corpus of images or signals for offline enrolment and calculation of comparison scores allows greater control over which probe and reference images are to be used in any transaction.
3.18
closed-set test
test in which the test crew (3.2) comprises only individuals known to have a reference in the enrolment database
Note 1 to entry: Closed-set tests are a specific type of test for showing performance of identification systems in terms of a cumulative match characteristic plot (3.29) .
3.19
failure to acquire
failure of the biometric capture and feature extraction processes to produce biometric features suitable for biometric comparison
3.20
false reject rate
FRR
proportion of verification transactions with true biometric claims erroneously rejected
3.21
false accept rate
FAR
proportion of verification transactions with false biometric claims erroneously accepted
3.22
false-negative identification rate
FNIR
FNIR(N, R, T)
proportion of a specified set of identification transactions (3.10) by capture subjects enrolled in the system for which the subject’s correct reference identifier is not among those returned
Note 1 to entry: The false-negative identification rate can be expressed as a function of N, the number of enrolees, and of parameters of the identification process where only candidates up to rank (3.24) R, and with a candidate score greater than threshold T are returned to the candidate list.
3.23
false-positive identification rate
FPIR
FPIR(N, T)
proportion of identification transactions (3.10) by capture subjects not enrolled in the system for which a reference identifier is returned
Note 1 to entry: The false-positive identification rate can be expressed as a function of N, the number of enrolees, and parameters of the identification process where only candidates with a candidate score greater than threshold T are returned to the candidate list.
Note 2 to entry: For systems that always return a fixed number of candidates without applying a threshold on scores, FPIR is not a meaningful metric.
3.24
rank
position of a candidate in a candidate list ordered by descending similarity score
3.25
true-positive identification rate
TPIR
TPIR(N, R, T)
proportion of identification transactions (3.10) by capture subjects enrolled in the system for which the subject’s correct identifier is among those returned
Note 1 to entry: The true-positive identification rate can be expressed as a function of N, the number of enrolees, and of parameters of the identification process where only candidates up to rank (3.24) R, and with a candidate score greater than threshold T are returned to the candidate list.
Note 2 to entry: TPIR(N, R, T) = 1 – FPIR(N, R, T).
3.26
selectivity
SEL(N, R, T)
average number of candidates returned above threshold T in a non-mated identification transaction (3.10)
Note 1 to entry: Selectivity can be expressed as a function of N, the number of enrolees, and of parameters of the identification process where only candidates up to rank (3.24) R and with candidate score greater than threshold T are returned on the candidate list.
Note 2 to entry: When R = N, SEL(N, R, T) is measured against the entire database.
3.27
computational workload
total computational effort of a single transaction (or set of transactions) in a biometric system, including number of intrinsic operations, execution time and memory requirements
Note 1 to entry: Computational workload is dependent on the hardware on which the biometric system is operating.
3.28
detection error trade-off
DET
relationship between false-negative and false-positive errors of a binary classification system as the discrimination threshold varies
Note 1 to entry: The DET can be represented as a DET table or as a DET plot.
Note 2 to entry: The receiver operating characteristic (ROC) curve was used in the previous edition of this document. The ROC is unified with the DET.
3.29
cumulative match characteristic plot
CMC plot
graphical presentation of results of mated searches in a closed-set identification test, plotting the true-positive identification rate (3.25) , TPIR(N, R, 0), as a function of R
3.30
pre-selection algorithm
algorithm to reduce the number of comparisons that need to be made in an identification search of the enrolment database
3.31
pre-selection error
<pre-selection algorithm> error that occurs when the corresponding subject identifier is not in the pre-selected subset of candidates
Note 1 to entry: In binning pre-selection, pre-selection errors occur when the data subject’s enrolment reference and a subsequent sample from the same biometric characteristic are placed in different partitions.
3.32
penetration rate
<pre-selection algorithm> average proportion of the total number of references that are pre-selected
Bibliography
| [1] | ISO/IEC TR 24722, Information technology — Biometrics — Multimodal and other multibiometric fusion |
| [2] | Hennessy J.L., Patterson D.A., Computer Architecture: A Quantitative Approach, 2nd ed., Morgan Kaufman, San Francisco, 1996. |
| [3] | Doddington G., Liggett W., Martin A., Przybocki M., Reynolds D., Sheep, goats, lambs and wolves: A statistical analysis of speaker performance in the NIST 1998 speaker recognition evaluation. ICSLP, November 1998. |
| [4] | Wayman J.L., Multi-finger penetration rate and ROC variability for automatic fingerprint identification systems. National Biometric Test Center, May 1999. |
| [5] | Wayman J.L., Technical testing and evaluation of biometric identification devices. Biometrics: Personal identification in networked society, edited by Jain A.K. et al., Kluwer, 2000, 345-368. |
| [6] | Godfrey J., Graff D., Martin A., Public databases for speaker recognition and verification. ESCA Workshop on Automatic Speaker Recognition, Identification and Verification, 1994. |
| [7] | ISO/IEC 29794-1, Information technology — Biometric sample quality — 1: Framework |
| [8] | ISO/IEC 29794-4, Information technology — Biometric sample quality — 4: Finger image data |
| [9] | ISO/IEC 29794-5, Information technology — Biometric sample quality — 5: Face image data |
| [10] | ISO/IEC 29794-6, Information technology — Biometric sample quality — 6: Iris image data |
| [11] | Wayman J.L., Confidence interval and test size estimation for biometric data. Proceedings of the IEEE AutoID Conference, 1999. |
| [12] | Newman H.H., Freeman F.N., Holzinger J.K., Twins, Chicago University Press, 1937. Results on fingerprint similarity between identical twins cited in [26](table 10.20.1). |
| [13] | Daugman J., Downing C., Epigenetic randomness, complexity, and singularity of human iris patterns. Proceeding of the Royal Society Biological Sciences, 2001, 268, 1737-1740. |
| [14] | Jain A.K., Prabhakar S., Pankanti S., On the similarity of identical twin fingerprints. Pattern Recognition, 2002, 35(11), 2653-2663. |
| [15] | Jain A., Bolle R., Pankanti S., Introduction to biometrics, in: Jain A., Bolle R., Pankanti S., Biometrics: Personal Identification in Networked Society, Kluwer Academic Publishers, 1999, pp.1-42. |
| [16] | Fitzmaurice G.M., Laird N.M., Ware J.H., Applied Longitudinal Analysis, 2nd Edition, August 2011. |
| [17] | Best-Rowden L., Jain A.K., Longitudinal Study of Automatic Face Recognition, IEEE Trans Pattern Analysis Machine Intelligence, January 2017. |
| [18] | Arnold M., Busch C., Ihmor H., Investigating performance and impacts on fingerprint recognition systems" in Proceedings from the sixth IEEE Systems, Man and Cybernetics (SMC): Information Assurance Workshop, pages 1-7, IEEE Computer Society, West Point, NY, June 2005 |
| [19] | Libert J., Grantham, J., Bandini, B., Wood, S., Garris, M., Ko, K., Byers, F., Watson, C. Guidance for Evaluating Contactless Fingerprint Acquisition Devices, NIST SP 500-305. |
| [20] | Martin A., Doddington G., Kamm T., Ordowski M., Przybocki M., The DET curve in assessment of detection task performance. Proc. Eurospeech '97, Rhodes, Greece, September 1997, Vol. 4, pp. 1895-1898 |
| [21] | Louis T.A., Confidence intervals for a binomial parameter after observing no successes. The American Statistician, 1981, 35(3), 154. |
| [22] | Hanley J.A., Lippman-Hand A., If nothing goes wrong, is everything all right? Interpreting zero numerators. Journal of the American Medical Association, 1983, 249(13), 1743-1745. |
| [23] | Jovanovic B.D., Levy P.S., A look at the rule of three. The American Statistician, 1997, 51(2), 137-139. |
| [24] | Doddington G.R., Przybocki M.A., Martin A.F., Reynolds D.A., The NIST speaker recognition evaluation: Overview methodology, systems, results, perspective. Speech Communication, 2000, 31(2-3), 225-254. |
| [25] | Schuckers M., Hawley A., Livingstone K., Mramba N., A comparison of statistical methods for evaluating matching performance of a biometric identification device: a preliminary report, Biometric Technology for Human Identification 5404, 144-156, 2004. |
| [26] | Snedecor G.W., Cochran W.G., Statistical methods, Iowa State University Press, 1967 (Sixth edition). |
| [27] | Schuckers M., Computational Methods in Biometric Authentication, Springer London, 2010. |
| [28] | Efron B., Tibshirani R.J., An introduction to the bootstrap, Chapman and Hall, 1997. |
| [29] | Diegert K.V., Estimating performance characteristics of biometric identifiers. Proceedings of Biometrics Consortium Conference, San Jose, CA, June 1996. |
| [30] | Bolle R.M., Ratha N., K., Pankanti, S. Confidence interval measurement in performance analysis of biometric systems using the bootstrap. Proceedings of Workshop on Empirical Evaluation Methods in Computer Vision, Hawaii, December 2001. |
| [31] | Phillips J.P., Grother P., Michaels R.J., Blackburn D.M., Tabassi E., Bone M., Face recognition vendor test 2002: Evaluation Report, NISTIR 6965, March 2003. |
| [32] | Maltoni D. et al., Handbook of Fingerprint Recognition, Springer, 2003. |
| [33] | Lumini A, Maio D., Maltoni D., Continuous versus exclusive classification for fingerprint retrieval, Pattern Recognition Letters, Vol.18, No.10, pp.1027-1034, 1997. |
| [34] | Uchida K., Kamei T., Mizoguchi M., Temma T., Fingerprint Card Classification with Statistical Feature Integration, Proceedings of the 14th International Conference on Pattern Recognition, Brisbane, Australia, pp.1833-1839, August 1998. |
| [35] | Cappelli R., Maio D., The State of the Art in Fingerprint Classification, in Ratha N., Bolle R., (Eds.) Automatic Fingerprint Recognition, Chapter 9, pp.183-205. |
| [36] | Kamei T., Fingerprint Pre-selection Using Eigenfeatures for a Large-Size Database, in Ratha, N. and Bolle, R. (Eds.), Automatic Fingerprint Recognition, Chapter 13, pp.263-282. |
| [37] | NIST, Multimodal Information Group Tools 1 . |