ISO/IEC 19795-2:2007 情報技術—バイオメトリックパフォーマンステストとレポート—パート2:テクノロジーとシナリオ評価のためのテスト方法 | ページ 2

※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。

序文

ISO (国際標準化機構) と IEC (国際電気標準会議) は、世界標準化のための専門システムを形成しています。 ISO または IEC のメンバーである各国団体は、特定の技術活動分野に対処するためにそれぞれの組織によって設立された技術委員会を通じて国際規格の開発に参加しています。 ISO と IEC の技術委員会は、相互に関心のある分野で協力します。政府および非政府の他の国際機関も、ISO および IEC と連携してこの作業に参加しています。情報技術の分野では、ISO と IEC は共同技術委員会 ISO/IEC JTC 1 を設立しました。

国際規格は、ISO/IEC 指令Part に規定されている規則に従って草案されています。

合同技術委員会の主な任務は、国際規格を作成することです。合同技術委員会によって採択された国際規格草案は、投票のために各国機関に配布されます。国際規格として発行するには、投票を行っている国家機関の少なくとも 75% による承認が必要です。

この文書の要素の一部が特許権の対象となる可能性があることに注意してください。 ISO および IEC は、そのような特許権の一部またはすべてを特定する責任を負わないものとします。

ISO/IEC 19795-2 は、合同技術委員会 ISO/IEC JTC 1, 情報技術、小委員会 SC 37, 生体認証によって作成されました。

ISO/IEC 19795 は、 「情報技術 - 生体認証パフォーマンスのテストとレポート」という一般タイトルのもと、次の部分で構成されています。

  • Part 1: 原則と枠組み
  • Part 2: テクノロジーとシナリオの評価のためのテスト方法論

以下の部分が準備中です。

  • Part 3: モダリティ固有のテスト[技術レポート]
  • Part 4: データ交換フォーマットのパフォーマンスと相互運用性のテスト
  • Part 5: 生体認証アクセス制御システムのパフォーマンス

導入

ISO/IEC 19795 のこの部分では、テクノロジーとシナリオ評価という 2 つの特定の生体認証パフォーマンス テスト方法論について説明します。生体認証テストの大部分は、これら 2 つの一般的な評価タイプのいずれかに当てはまります。テクノロジー評価では、以前に収集したコーパスを使用して登録および比較アルゴリズムを評価しますが、シナリオ評価では、被験者から収集したサンプルをリアルタイムで処理することによってセンサーとアルゴリズムを評価します。前者は、アルゴリズムの基本的な識別力を示す大量の比較スコアと候補リストを生成することを目的としています。後者は、テスト対象とシステムの相互作用を含む、モデル化された環境でのパフォーマンスの測定を目的としています。

ISO/IEC 19795 のこの部分は、ISO/IEC 19795-1 で指定された要件とベスト プラクティスに基づいており、広範囲のテスト条件に適用できる特定の哲学と原則に取り組んでいます。

ISO/IEC 19795 のこの部分は、バイオメトリック システムの開発者、導入者、エンド ユーザーに、テクノロジー、使用シナリオ、および環境内およびテクノロジー、使用シナリオ、環境全体にわたるバイオメトリック パフォーマンスの有意義なベンチマークを可能にする、バイオメトリック パフォーマンス テストの設計、実行、レポートのメカニズムを提供することを目的としています。 。

1 スコープ

ISO/IEC 19795 のこの部分では、技術評価とシナリオ評価という 2 つの主要なタイプの評価に特有のデータ収集、分析、報告に関する要件と推奨事項が規定されています。

ISO/IEC 19795 のこの部分では、次の分野の要件が指定されています。

  • 技術およびシナリオ評価のためのプロトコルの開発と完全な説明。
  • バイオメトリック評価の実行とレポートには、バイオメトリック評価タイプに関連付けられたパラメータが反映されます。

3 規範的参照

この文書を適用するためには、以下の参照文書が不可欠です。日付が記載された参考文献については、引用された版のみが適用されます。日付のない参照については、参照文書の最新版 (修正を含む) が適用されます。

  • ISO/IEC 19795-1, 情報技術 — 生体認証パフォーマンスのテストとレポート — Part 1: 原則とフレームワーク

4 用語と定義

この文書の目的上、ISO/IEC 19795-1:2006 および以下に示されている用語と定義が適用されます。

4.1 生体認証データ

4.1.1

生体認証リファレンス

登録サンプルから抽出された特徴に基づく、ユーザーが保存した参照測定値

4.2 生体認証システムのコンポーネント

4.2.1

特徴抽出器

サンプルから特徴を抽出する装置

4.2.2

生体認証リファレンスジェネレーター

サンプルを生体認証基準に変換する装置

4.3 生体認証システムとのユーザーインタラクション

4.3.1

順応

評価の過程で、サンプルを処理するセンサーの能力に影響を与える可能性のある生体特徴の一時的な状態の減少

4.3.2

努力レベル

生体認証システムに正常に登録または照合するために必要なプレゼンテーション、試行、またはトランザクションの数

4.3.3

登録の試み

生体認証システムへの登録を目的とした被験者の 1 つ以上の生体認証サンプルの提出

注記 1:登録トランザクションを構成するには、1 回以上の登録試行が許可または要求される場合があります。登録の試行は、1 つ以上の登録プレゼンテーションで構成されます。

注記 2:提示、試み、および取引の関係の説明については、付録 B を参照。

4.3.4

登録試行制限

登録トランザクションが終了するまでにテスト対象者に許可される最大試行回数または最大期間

4.3.5

入学説明会

登録を目的とした被験者の生体特徴のインスタンスの提出

注記 1:登録試行を構成するために、1 つ以上の登録プレゼンテーションが許可または要求される場合があります。登録プレゼンテーションによって、登録が試行される場合もあれば、試行されない場合もあります。

4.3.6

登録提示制限

プレゼンテーションの最大数または最大期間、登録試行が終了するまでに被験者に許可される

4.3.7

ガイダンス

登録または認定の過程で管理者が被験者に提供する指示

注記 1:ガイダンスは、登録または認識の過程で生体認証システムまたはデバイスによって提供されるフィードバック (可聴または視覚的プレゼンテーションキューなど) とは別のものです。

4.3.8

慣れ

被験者がデバイスに対して持っている精通度

グレード 1 からエントリーまで:雇用の過程で得たものなど、生体認証デバイスにかなりの精通を持っている被験者は、慣れた被験者と呼ばれます。

4.3.9

比較の試み

生体認証システムでの比較を目的とした被験者の 1 つ以上の生体認証サンプルの提出

4.3.10

比較試行制限

比較トランザクションが終了するまでにテスト対象者に許可される最大試行回数または最大期間

4.3.11

比較プレゼンテーション

比較を目的とした被験者の単一の生体特徴のインスタンスの提出

注記 1:比較の試みを構成するために、1 つ以上の比較プレゼンテーションが許可または要求される場合があります。比較プレゼンテーションでは、比較が試行される場合とそうでない場合があります。

4.3.12

比較提示制限

プレゼンテーションの最大数または最大期間、比較の試みが終了するまでに被験者に許可される

4.4 パフォーマンスの測定

4.4.1

ソースレートでの失敗

技術評価に使用する前に手動または自動生体認証システムの使用によってコーパスから廃棄されたサンプルの割合

例:

顔データ収集の取り組みで収集された画像の一部は、画像に顔が含まれていないために破棄される場合があります。

Foreword

ISO (the International Organization for Standardization) and IEC (the International Electrotechnical Commission) form the specialized system for worldwide standardization. National bodies that are members of ISO or IEC participate in the development of International Standards through technical committees established by the respective organization to deal with particular fields of technical activity. ISO and IEC technical committees collaborate in fields of mutual interest. Other international organizations, governmental and non-governmental, in liaison with ISO and IEC, also take part in the work. In the field of information technology, ISO and IEC have established a joint technical committee, ISO/IEC JTC 1.

International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.

The main task of the joint technical committee is to prepare International Standards. Draft International Standards adopted by the joint technical committee are circulated to national bodies for voting. Publication as an International Standard requires approval by at least 75 % of the national bodies casting a vote.

Attention is drawn to the possibility that some of the elements of this document may be the subject of patent rights. ISO and IEC shall not be held responsible for identifying any or all such patent rights.

ISO/IEC 19795-2 was prepared by Joint Technical Committee ISO/IEC JTC 1, Information technology, Subcommittee SC 37, Biometrics.

ISO/IEC 19795 consists of the following parts, under the general title Information technology — Biometric performance testing and reporting:

  • Part 1: Principles and framework
  • Part 2: Testing methodologies for technology and scenario evaluation

The following parts are under preparation:

  • Part 3: Modality-specific testing [Technical Report]
  • Part 4: Performance and interoperability testing of data interchange formats
  • Part 5: Performance of biometric access control systems

Introduction

This part of ISO/IEC 19795 addresses two specific biometric performance testing methodologies: technology and scenario evaluation. The large majority of biometric tests are of one of these two generic evaluation types. Technology evaluations evaluate enrolment and comparison algorithms by means of previously collected corpuses, while scenario evaluations evaluate sensors and algorithms by processing of samples collected from Test Subjects in real time. The former is intended for generation of large volumes of comparison scores and candidate lists indicative of the fundamental discriminating power of an algorithm. The latter is intended for measurement of performance in modeled environments, inclusive of Test Subject-system interactions.

This part of ISO/IEC 19795 builds on requirements and best practices specified in ISO/IEC 19795-1, which addresses specific philosophies and principles that can be applied over a broad range of test conditions.

This part of ISO/IEC 19795 is meant to provide biometric system developers, deployers and end users with mechanisms for design, execution and reporting of biometric performance tests in a fashion that allows meaningful benchmarking of biometric performance within and across technologies, usage scenarios and environments.

1 Scope

This part of ISO/IEC 19795 provides requirements and recommendations on data collection, analysis and reporting specific to two primary types of evaluation: technology evaluation and scenario evaluation.

This part of ISO/IEC 19795 specifies requirements in the following areas:

  • development and full description of protocols for technology and scenario evaluations;
  • execution and reporting of biometric evaluations reflective of the parameters associated with biometric evaluation types.

3 Normative references

The following referenced documents are indispensable for the application of this document. For dated references, only the edition cited applies. For undated references, the latest edition of the referenced document (including any amendments) applies.

  • ISO/IEC 19795-1, Information technology — Biometric performance testing and reporting — Part 1: Principles and framework

4 Terms and definitions

For the purposes of this document, the terms and definitions given in ISO/IEC 19795-1:2006 and the following apply.

4.1 Biometric data

4.1.1

biometric reference

user’s stored reference measure based on features extracted from enrolment samples

4.2 Components of a biometric system

4.2.1

feature extractor

apparatus that extracts features from a sample

4.2.2

biometric reference generator

apparatus that transforms a sample into a biometric reference

4.3 User interaction with a biometric system

4.3.1

acclimatization

reduction, over the course of an evaluation, in a temporal condition of a biometric characteristic that may impact the ability of a sensor to process a sample

4.3.2

effort level

number of presentations, attempts or transactions needed to successfully enrol or match in a biometric system

4.3.3

enrolment attempt

submission of one or more biometric samples for a Test Subject for the purpose of enrolment in a biometric system

Note 1 to entry: One or more enrolment attempts may be permitted or required to constitute an enrolment transaction. An enrolment attempt may comprise one or more enrolment presentations.

Note 2 to entry: See Annex B for illustration of the relationship between presentation, attempt and transaction.

4.3.4

enrolment attempt limit

maximum number of attempts, or the maximum duration, a Test Subject is permitted before an enrolment transaction is terminated

4.3.5

enrolment presentation

submission of an instance of a biometric characteristic for a Test Subject for the purpose of enrolment

Note 1 to entry: One or more enrolment presentations may be permitted or required to constitute an enrolment attempt. An enrolment presentation may or may not result in an enrolment attempt.

4.3.6

enrolment presentation limit

maximum number of presentations, or the maximum duration, a Test Subject is permitted before an enrolment attempt is terminated

4.3.7

guidance

direction provided by an Administrator to a Test Subject in the course of enrolment or recognition

Note 1 to entry: Guidance is separate from feedback provided by a biometric system or device in the course of enrolment or recognition, such as audible or visual presentation queues.

4.3.8

habituation

degree of familiarity a Test Subject has with a device

Note 1 to entry: A Test Subject having substantial familiarity with a biometric device, such as that gained in the course of employment, is referred to as a habituated Test Subject.

4.3.9

comparison attempt

submission of one or more biometric samples for a Test Subject for the purpose of comparison in a biometric system

4.3.10

comparison attempt limit

maximum number of attempts, or the maximum duration, a Test Subject is permitted before a comparison transaction is terminated

4.3.11

comparison presentation

submission of an instance of a single biometric characteristic for a Test Subject for the purpose of comparison

Note 1 to entry: One or more comparison presentations may be permitted or required to constitute a comparison attempt. A comparison presentation may or may not result in a comparison attempt.

4.3.12

comparison presentation limit

maximum number of presentations, or the maximum duration, a Test Subject is permitted before a comparison attempt is terminated

4.4 Performance measures

4.4.1

failure at source rate

proportion of samples discarded from the corpus either manually or by use of an automated biometric system prior to use in a technology evaluation

EXAMPLE:

A proportion of images collected in a face data collection effort may be discarded due to lack of a face in the image.