19
X 25020 : 2021 (ISO/IEC 25020 : 2019)
附属書B
(参考)
測定の信頼性及びQMの妥当性の総合評価
B.1 QMの妥当性の総合評価
B.1.1 一般
測定量の妥当性を実証する方法は,典型的には論理的根拠及び統計的証拠の両方を含む。表面的妥当性
は,妥当性の種類の一つである。表面的妥当性は,測定量が妥当であるという論理的根拠又は論理的表明
に基づいている。基礎概念と称されているものに論理的に関連付けられるので,ソフトウェアの信頼性を
表す単位時間当たりの故障数は,表面的妥当性をもつ。多くの場合,測定量の妥当性の論理的根拠を単に
文書化するだけで,測定量が意味のある結果をもたらすことを確実にするためには十分なことがある。
妥当性の統計的証拠は,幾つかの形式をとることが可能である。しかし,統計的証拠は全てにおいて,
既知の標準値をもつ測定量には,標準値の周囲に系統的変動があるという考え方を共有する傾向があり,
それは,他の測定量又は仮説の検定で参照する値の集合でも同様である。系統的変動の幾つかの例を次に
記載する。
表面的妥当性は,教訓的な目的で言及される。表面的妥当性の技術的な健全性が限られているため,専
門的に行う現実の測定場面で利用する場合には,注意を払うことが望ましい。
注記 妥当性は,指標が測定しようと意図しているものを測定する度合いである。
B.1.2 内容妥当性(Content validity)
内容妥当性は,QMを導出する測定関数の中のQMEが,QMの定義で参照する内容のドメインをどの程
度網羅するかを表す。
B.1.3 構成妥当性(Construct validity)
構成妥当性は,測定関数及びそれに関連するQMEが,QMの定義に記載した概念を測定することが実
証可能な程度を表す。
B.1.4 相関(Correlation)
相関係数の2乗は,QMの値の変動によって説明される,品質特性の値(運用利用上の主要な測定量の
結果)の変動の割合を示す。
注記 測定の利用者は,相関のある測定量を利用することで,直接測定しなくとも品質特性を予測する
ことが可能である。
B.1.5 経時的順序保持関係(Order preserving relationship over time)
測定量Mが与えられた製品の品質特性値Q(運用利用上のの主要な測定量の結果)に直接的に関係付け
られている場合,値Q(T1)から値Q(T2)への変化は,M(T1)からM(T2)への同方向の測定量の値
の変化を伴う(例えば,Qが増加する場合,Mも増加する。)。
注記 測定の実行者は,追跡性をもつ測定量を利用することで,直接測定することなく,測定期間中,
品質特性の動きを検出することが可能である。
――――― [ pdf 21] ―――――
20
X 25020 : 2021 (ISO/IEC 25020 : 2019)
B.1.6 製品間順序保持関係(Order preserving relationship across products)
製品1,2,·,nに対応する品質特性値(運用利用上の主要な測定量の結果)Q1,Q2,·,Qnが,Q1
>Q2>·>Qnの関係をもつ場合,対応する測定量の値は,M1>M2>·>Mnの関係をもつ。これは,信
頼性の統計的証拠の重要な形式である。
注記 測定の利用者は,一貫性をもつことが可能な測定量を利用することで,例外的で誤りが発生しや
すいソフトウェア構成要素に気づくことが可能である。
B.1.7 予測妥当性(Predictive validity)
測定量を時刻T1で利用して時刻T2における品質特性値Q(運用利用上の主要な測定量の結果)を予測
する場合,[[予測値Q(T2)−実績値Q(T2)]/実績値Q(T2)]で表される予測誤差は,許容予測誤差
の範囲内にある。
注記 測定の利用者は,許容予測誤差の範囲内にある測定量を利用することで,品質特性の将来の動き
を予測することが可能である。
B.1.8 判別(Discrimination)
測定量は,ソフトウェアの品質特性及び品質副特性について,高品質と低品質とを判別可能なことが望
ましい。
注記 測定の利用者は,高品質と低品質とを判別するのに利用可能な測定量を用いて,ソフトウェア構
成要素を分類し,品質特性値の評定を行うことが可能である。
B.2 測定の信頼性の総合評価
測定の信頼性は,基本測定量の収集に関して最も重要である。測定量の信頼性を確立する方法は,通常,
同一又は類似の条件下で反復測定を行うこと,及びそれらの測定の変動を総合評価することを含む。関連
する条件には,自動化,調査,人手による計数,又は人間の判断といった測定量を収集するための計測手
段を含むのに加え,計測手段を適用する条件も含む。SQuaREシリーズでは,測定の信頼性は,JIS X 25021
で定義されたQMEの選択及び収集における主要な関心事である。ISO/IEC/IEEE 15939:2017の附属書D
に記載があるように,測定方法の信頼性は,次の二つの視点から取り組むことが望ましい。
− 反復性 : 同じ条件下(例えば,ツール,測定を遂行する個人を同じにした条件)で,同じ測定方法に
従って,同じ組織単位において,基本測定量を反復利用したときに,同一と認められる結果を得るこ
とが可能な度合い。
− 再現性 : 異なる条件下(例えば,ツール,測定を遂行する個人を変えた条件)で,同じ測定方法に従
って,同じ組織単位において,基本測定量を反復利用したときに,同一と認められる結果を得ること
が可能な度合い。
反復性は,単一の測定方法で固有の変動の程度を特徴付ける。再現性は,ツールの選択,教育訓練の程
度,及び個人差といった他の情報源に起因する測定量の変動量を特徴付ける。測定の信頼性を特徴付ける
ために様々な統計量が開発されてきた。順序尺度又は名義尺度を用いる測定量では,κ統計量を使用する
ことが可能である。間隔尺度又は絶対尺度を用いる測定量では,クロンバック(Cronbach)のα係数,又
は他の相関に基づく測定量を使用することが可能である。測定の信頼性に関する更なる情報は,測定シス
テム評価の分野で見つけ出すことが可能である。
注記1 信頼性は,測定量が反復的にかつ一貫して同じ結果をもたらす度合いである。
――――― [ pdf 22] ―――――
21
X 25020 : 2021 (ISO/IEC 25020 : 2019)
注記2 対応国際規格に記載された“Cohen's alpha”は“Cronbach's alpha”の間違いであり,この規格で
は”クロンバックのα係数”とした。
――――― [ pdf 23] ―――――
22
X 25020 : 2021 (ISO/IEC 25020 : 2019)
附属書C
(参考)
QMを文書化するための要素
QMを文書化するための要素を,表C.1に示す。“項目”列は,システム及びソフトウェア製品の品質測
定量を定義するための推奨内容を示している。“内容”列には,この欄に含めることが望ましい内容を記載
するとともに,該当する内容がSQuaREシリーズの規格のどこで参照可能かを提示している。“必須”列
は,項目が必須(Y)であるか,又は任意(N)であるかを示している。
表C.1−QMを文書化するための要素
項目 内容 必須(Y/N)
ID QMの識別コード。各IDは,次の三つの部分から構成する。 Y
− 品質特性及び場合によっては品質副特性を表す,アルファベットの略号(例
えば,“PTb”は,“性能効率性”を測定する“時間効率性”の測定量を示し,
“Acc”は,正確性の測定量を示す。)
− 品質副特性内の連番
− 利用法タグ
− G : 一般的に適用可能であり,広範囲の状況で利用可能である。
− S : 特定のニーズに特化している。
注記 IDには,追加の表記部を含めることが可能である(例 PTb-1-G-IT-1
は,PTb-1-Gからの派生を示す。)。
システム及びソ Y
QMに割り当てた名称。これは,JIS X 25022,JIS X 25023及びJIS X 25024か
フトウェアの品 ら得るか,又は利用者が提供する。
質測定量の名称 例 推定潜在障害密度
システム及びソ Y
使用する品質モデルからの品質特性。これは,JIS X 25022,JIS X 25023及び
フトウェア製品 JIS X 25024から得るか,又は使用している品質モデルに基づいて利用者が提供
の品質特性 する。
例 システム及びソフトウェア製品の品質−信頼性
品質副特性 Y
該当する場合,品質副特性。これは,JIS X 25022,JIS X 25023若しくはJIS X
25024から得るか,又は使用している品質モデルに基づいて利用者が提供する。
例 システム及びソフトウェア製品の品質−成熟性
測定の焦点 Y
製品品質ライフサイクルの該当する部分。内部特徴QM,外部特徴QM又は利
用時品質。これらは,JIS X 25010に記述されているように,製品品質ライフサ
イクルの段階に対応している。利用者が異なるシステム及びソフトウェア製品
の品質モデルを使用している場合,利用者は,適用可能な限りこの情報を提供
することが望ましい。
例 システム及びソフトウェア製品の品質(テスト段階)
システム及びソ Y
宣言文であることが望ましい。多くの場合,QMの目的は,品質要求事項の定
フトウェアの品 義の一部として設定した基準に照らして評価することになる。品質測定量が応
答する具体的な質問を,その目的の一部に含めてもよい。
質測定量(情報ニ
ーズ)の記述 この宣言文のテンプレートとして,次のものを使用してもよい。
<なぜ測定するかという理由の記載>のために<関心のある対象>を<動詞>する
例 <信頼性要求事項を満たす確率を決定する>ために<コード品質>を<テス
トプロセス及びその結果としての障害密度を監視することによって評価
する>。質問 : 今後,何件の障害を発見するか?
――――― [ pdf 24] ―――――
23
X 25020 : 2021 (ISO/IEC 25020 : 2019)
表C.1−QMを文書化するための要素(続き)
項目 内容 必須(Y/N)
判断基準 N
判断基準とは,数値的なしきい値又は目標値である。判断基準は,処置若しく
は追加調査の必要性を決めるため,又は与えられた結果の確信の水準を記述す
るために使用する。多くの場合,判断基準を品質要求事項及び対応する評価基
準に関して設定する。さらに,利用者は,判断基準を設定するために,ベンチ
マーク,統計的管理限界,履歴データ,顧客の要求事項,又は他の技法を使用
してもよい。この情報を別のところで文書化する場合は,そこを参照するのが
適切である。
例 推定欠陥密度が許容可能なしきい値を超える場合は,追加の欠陥検出及
び欠陥除去の活動を実行する。
測定関数 Y
品質測定量を生成するために品質測定量要素をどのように組み合わせるかを示
す方程式。
例 推定潜在欠陥密度 =(C1−C2)/S
使用する品質測 Y
使用する品質測定量要素(QME)の名称及び定義。QMEを別のところで定義す
定量要素 る場合は,そこを参照するのが適切である。QMEの記載に必要なだけの行数を
追加する。QMEを明記する基準については,附属書Aを参照する。
例
C1 : システム及びソフトウェア製品内の予測潜在障害の総数
C2 : 検出された障害の重複を排除した累積数
S : 製品の規模
測定方法 N
QMEの測定方法を記述する。これらがJIS X 25021のように別のところで記述
されている場合は,全部記述する代わりに,その記述の参照箇所を示すことが
可能である。
例
C1 : 欠陥密度の履歴を使用して予測した障害数
C2 : 欠陥追跡システムで報告された欠陥の計数値
S : コードの非コメント行の計数値
データの情報源 N
QMEのデータの情報源を記述する。これらが,JIS X 25021のように別のとこ
ろで記述されている場合は,全部記述する代わりに,その記述の参照箇所を示
すことが可能である。
例
C1 : 組織の履歴データベース
C2 : 欠陥追跡システム
S : 構成管理システム内のソフトウェアソースコードファイル
測定量の妥当性 N
QMがこの選択基準にどの程度合致しているかに関する記載,並びにその判断
の証拠 に使用した試験方法及び証拠の記述。測定量と目的との関係に関して,高,中,
低の程度を定める順序尺度を使用してもよい。測定の妥当性に関する情報につ
いては,附属書Bを参照する。
次のテンプレートが使用可能である。
“<測定量>の妥当性は,<妥当性の証拠>に<評定>依存する...”
例 <コードの成熟性>の妥当性は,<障害密度とコードの成熟性の間の論理的
な関連>に<高>依存する。つまり,障害密度が低いほど,想定されるコー
ドの成熟性は高くなり,かつ,コードの成熟性に対する信頼度が高くな
る。
――――― [ pdf 25] ―――――
次のページ PDF 26
JIS X 25020:2021の引用国際規格 ISO 一覧
- ISO/IEC 25020:2019(IDT)
JIS X 25020:2021の国際規格 ICS 分類一覧
JIS X 25020:2021の関連規格と引用規格一覧
- 規格番号
- 規格名称