この規格 プレビューページの目次
※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
3 用語と定義
この文書の目的上、ISO/IEC 22989:2022, ISO/IEC 23053:2022, および以下に記載されている用語と定義が適用されます。
ISO と IEC は、標準化に使用する用語データベースを次のアドレスで維持しています。
3.1 一般
3.1.1
尺度 、 名詞
測定結果として値が代入される変数
注記 1: 「尺度」という用語は、基本尺度、派生尺度、および指標を集合的に指すために使用されます。
[出典:ISO/IEC/IEEE 15939:2017, 3.15]
3.1.2
測る 、 動詞
測定する
[出典:ISO/IEC 25010:2011, 4.4.6]
3.1.3
ソフトウェアの品質測定
内部ソフトウェア品質、外部ソフトウェア品質、または使用中のソフトウェア品質の尺度
注記 1:ソフトウェア品質の内部尺度、ソフトウェア品質の外部尺度、または使用中のソフトウェア品質尺度は、ISO/IEC 25010 の品質モデルに記載されています。
[出典:ISO/IEC 25040:2011, 4.61]
3.1.4
リスク対応策
保護措置
危険を除去したりリスクを軽減したりするための行動または手段
[出典: ISO/IEC Guide 51:2014, 3.13, 修正 - 削減を治療に変更。]
3.1.5
透明性
AIシステムに関する適切な情報が関係者にどの程度伝達されているか
注記 1: AI システムの透明性に関する適切な情報には、機能、コンポーネント、手順、対策、設計目標、設計の選択、仮定などの側面が含まれます。
3.2 製品の品質
3.2.1
ユーザーによる制御性
ユーザーが AI システムの機能にタイムリーに適切に介入できる度合い
3.2.2
機能的適応性
AI システムがデータまたは以前のアクションの結果から情報を正確に取得し、その情報を将来の予測に使用できる程度
3.2.3
機能的な正確さ
製品またはシステムが必要な精度で正しい結果を提供する程度
注記 1: AI システム、特に機械学習モデルを使用するシステムは、通常、観察されたすべての状況において機能的な正確性を提供するわけではありません。
[出典:ISO/IEC 25010:2011, 4.2.1.2, 修正 - エントリへの注記を追加。]
3.2.4
介入可能性
危害や危険を防ぐために、オペレーターが AI システムの機能にタイムリーに介入できる度合い
3.2.5
堅牢性
AI システムがいかなる状況下でも機能の正確性のレベルを維持できる度合い
3.3 使用時の品質
3.3.1
社会的および倫理的リスクの軽減
AI システムが社会に対する潜在的なリスクをどの程度軽減するか
注記 1: 社会的および倫理的リスクの軽減には、説明責任、公平性、透明性と説明可能性、職業的責任、人間の価値の促進、プライバシー、テクノロジーの人間の管理、コミュニティの参加と開発、法の支配の尊重、国際規範の尊重が含まれます。行動と労働慣行の。
参考文献
| 1 | ISO/IEC 25000:2014, システムおよびソフトウェア エンジニアリング — システムおよびソフトウェアの品質要件と評価 (SQuaRE) — SQuaRE ガイド |
| 2 | ISO/IEC TR 24028:2020, 情報技術 — 人工知能 — 人工知能の信頼性の概要 |
| 3 | ISO/IEC TR 29119-11:2020, ソフトウェアおよびシステムエンジニアリング — ソフトウェアテスト — Part 11: AI ベースのシステムのテストに関するガイドライン |
| 4 | ISO/IEC TR 24029-1, 人工知能 (AI) — ニューラル ネットワークの堅牢性の評価 — Part 1: 概要 |
| 5 | ISO/IEC 24029-2, 人工知能 (AI) — ニューラル ネットワークの堅牢性の評価 — Part 2: 形式的手法の使用に関する方法論 |
| 6 | ISO/IEC 25012:2008, ソフトウェア エンジニアリング — ソフトウェア製品の品質要件と評価 (SQuaRE) — データ品質モデル |
| 7 | ISO/IEC 525, 情報技術—人工知能 — 分析および機械学習 (ML) のためのデータ品質 |
| 8 | ISO/IEC/IEEE 15939, システムおよびソフトウェアエンジニアリング - 測定プロセス |
| 9 | ISO/IEC 25040:2011, システムおよびソフトウェアエンジニアリング — システムおよびソフトウェアの品質要件と評価 (SQuaRE) — 評価プロセス |
| 10 | ISO/IEC Guide 51, 安全面 - 規格に含めるためのガイドライン |
| 11 | ISO/IEC TS 4213, 情報技術 - 人工知能 - 機械学習分類パフォーマンスの評価 |
| 12 | PREUVENEERS, D.、TSINGENOPOULOS, I.、JOOSEN, W.、2020 年、スマート環境における機械学習モデルのリソース使用量とパフォーマンスのトレードオフ。センサー (バーゼル)、vol. 20, 第 4 号、p. 1176, 土井: 10.3390/s20041176 |
| 13 | ZHANG, H.、YU, Y.、JIAO, J.、XING, EP, GHAOUI, LE, JORDAN, MI, 「堅牢性と精度の間の理論的原理的トレードオフ」 、2019 年。 https://arxiv.org/ から入手可能 abs/1901.08573v3 |
| 14 | ISO/IEC TR 5469:— 2 、情報技術 — 人工知能 — 機能安全および AI システム |
| 15 | ISO/IEC TR 24368, 情報技術 — 人工知能 — 倫理的および社会的懸念の概要 |
| 16 | ISO/IEC TR 24027, 情報技術 — 人工知能 (AI) — AI システムおよび AI 支援意思決定におけるバイアス |
| 17 | ISO 31000, リスク管理 - ガイドライン |
| 18 | ISO/IEC 23894, 情報技術 - 人工知能 - リスク管理に関するガイダンス |
| 19 | Wagner S.、ソフトウェア製品品質管理。ハイデルベルク: Springer Berlin, 2013, DOI 10.1007/978-3-642-38571-1 2. 入手可能場所: 3 |
| 20 | Lenarduzzi V.、Lomio F.、Moreschini S.、Taibi D.、Tamburri DA, 「AI のソフトウェア品質: 私たちは今どこにいますか?」ソフトウェア品質: ソフトウェア エンジニアリング品質に関する将来の展望、2021 年、vol. 404, |
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO/IEC 22989:2022, ISO/IEC 23053:2022 and the following apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
3.1 General
3.1.1
measure , noun
variable to which a value is assigned as the result of measurement
Note 1 to entry: The term “measures” is used to refer collectively to base measures, derived measures, and indicators.
[SOURCE:ISO/IEC/IEEE 15939:2017, 3.15]
3.1.2
measure , verb
make a measurement
[SOURCE:ISO/IEC 25010:2011, 4.4.6]
3.1.3
software quality measure
measure of internal software quality, external software quality or software quality in use
Note 1 to entry: Internal measure of software quality, external measure of software quality or software quality in use measure are described in the quality model in ISO/IEC 25010.
[SOURCE:ISO/IEC 25040:2011, 4.61]
3.1.4
risk treatment measure
protective measure
action or means to eliminate hazards or reduce risks
[SOURCE:ISO/IEC Guide 51:2014, 3.13, modified — change reduction to treatment.]
3.1.5
transparency
degree to which appropriate information about the AI system is communicated to relevant stakeholders
Note 1 to entry: Appropriate information for AI system transparency can include aspects such as features, components, procedures, measures, design goals, design choices and assumptions.
3.2 Product quality
3.2.1
user controllability
degree to which a user can appropriately intervene in an AI system’s functioning in a timely manner
3.2.2
functional adaptability
degree to which an AI system can accurately acquire information from data, or the result of previous actions, and use that information in future predictions
3.2.3
functional correctness
degree to which a product or system provides the correct results with the needed degree of precision
Note 1 to entry: AI systems, and particularly those using machine learning models, do not usually provide functional correctness in all observed circumstances.
[SOURCE:ISO/IEC 25010:2011, 4.2.1.2, modified — Note to entry added.]
3.2.4
intervenability
degree to which an operator can intervene in an AI system’s functioning in a timely manner to prevent harm or hazard
3.2.5
robustness
degree to which an AI system can maintain its level of functional correctness under any circumstances
3.3 Quality in use
3.3.1
societal and ethical risk mitigation
degree to which an AI system mitigates potential risk to society
Note 1 to entry: Societal and ethical risk mitigation includes accountability, fairness, transparency and explainability, professional responsibility, promotion of human value, privacy, human control of technology, community involvement and development, respect for the rule of law, respect for international norms of behaviour and labour practices.
Bibliography
| 1 | ISO/IEC 25000:2014, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Guide to SQuaRE |
| 2 | ISO/IEC/TR 24028:2020, Information technology — Artificial intelligence — Overview of trustworthiness in artificial intelligence |
| 3 | ISO/IEC/TR 29119-11:2020, Software and systems engineering — Software testing — Part 11: Guidelines on the testing of AI-based systems |
| 4 | ISO/IEC/TR 24029-1, Artificial Intelligence (AI) — Assessment of the robustness of neural networks — Part 1: Overview |
| 5 | ISO/IEC 24029-2, Artificial intelligence (AI) — Assessment of the robustness of neural networks — Part 2: Methodology for the use of formal methods |
| 6 | ISO/IEC 25012:2008, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model |
| 7 | ISO/IEC 5259 (series), Information technology — Artificial intelligence — Data quality for analytics and machine learning (ML) |
| 8 | ISO/IEC/IEEE 15939, Systems and software engineering — Measurement process |
| 9 | ISO/IEC 25040:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation process |
| 10 | ISO/IEC Guide 51, Safety aspects — Guidelines for their inclusion in standards |
| 11 | ISO/IEC/TS 4213, Information technology — Artificial intelligence — Assessment of machine learning classification performance |
| 12 | PREUVENEERS, D., TSINGENOPOULOS, I., JOOSEN, W., 2020, Resource Usage and Performance Trade-offs for Machine Learning Models in Smart Environments. Sensors (Basel), vol. 20, no. 4, p. 1176, doi: 10.3390/s20041176 |
| 13 | ZHANG, H., YU, Y., JIAO, J., XING, E.P., GHAOUI, L.E., JORDAN, M.I., Theoretically Principled Trade-off between Robustness and Accuracy, 2019. Available from: https://arxiv.org/abs/1901.08573v3 |
| 14 | ISO/IEC TR 5469:— 2 , Information Technology — Artificial intelligence — Functional safety and AI systems |
| 15 | ISO/IEC TR 24368, Information Technology — Artificial intelligence — Overview of ethical and societal concerns |
| 16 | ISO/IEC/TR 24027, Information technology — Artificial intelligence (AI) — Bias in AI systems and AI aided decision making |
| 17 | ISO 31000, Risk management — Guidelines |
| 18 | ISO/IEC 23894, Information technology — Artificial intelligence — Guidance on risk management |
| 19 | Wagner S., Software Product Quality Control. Heidelberg: Springer Berlin, 2013, DOI 10.1007/978-3-642-38571-1 2. Available from: 3 |
| 20 | Lenarduzzi V., Lomio F., Moreschini S., Taibi D., Tamburri D. A., Software Quality for AI: Where We Are Now?. Software Quality: Future Perspectives on Software Engineering Quality, 2021, vol. 404, |