この規格ページの目次
9
X 25062 : 2017 (ISO/IEC 25062 : 2006)
5.4.2.3.2 オーディオ機器
次の情報を,記載することが望ましい。
− オーディオ機器を利用した場合,ビットレート(音質を決めるもの),音量などに関する設定方法又
は設定値。
5.4.2.3.3 入力機器
次の情報を,記載することが望ましい。
− 入力機器を利用した場合,試験で使われた機器のメーカ及びモデル。
5.4.2.4 試験管理者用ツール
次の情報を,記載しなければならない。
− 標準の質問紙(5.4.4.3に部分的なリストあり)を利用した場合,それを記載又は引用する。
注記 カスタマイズした質問紙は,附属書に含まれている。
次の情報を,記載することが望ましい。
− 試験を制御又はデータを記録するためのハードウェア又はソフトウェア。
5.4.3 実験計画
次の情報を,記載しなければならない。
− 試験設計 : 実験条件を試験参加者に割り当てるための計画及びその計画に関連した独立変数及び制
御変数に関わる統計分析。
− 独立変数及び制御変数。
− 制約条件に対して,データを記録するための測定量。
5.4.3.1 手続き
次の情報を,記載しなければならない。
− 試験運用上の測定量の定義。
− 独立変数又は制御変数の記述。
− タスクの時間制限。
− 試験実施者と試験参加者との関わり方に関する方針及び手続き。
次の情報を,記載することが望ましい。
− 試験参加者への挨拶から退出までの流れ。
− 秘密保持契約,同意書の記入,ウォームアップ,タスク前の訓練,及びデブリーフィングの詳細。
− 試験参加者が,自分たちの権利を知り,理解したかどうかの確認。
− 試験セッションの実施及びデータ記録に関する手順。
− 試験セッション中に試験参加者と関わる人の数及び役割。
− この試験環境に,試験の実施に関わりがない人が同席したかどうか。
− 試験参加者が謝金又は謝礼を受け取ったか。
5.4.3.2 試験参加者への一般的な教示
次の情報を,記載しなければならない。
− 試験参加者への教示(ここ又は附属書の中に入れる。)。
− 試験参加者が他の人とどのように関わるかについて行った教示。どのように他の試験参加者に補助
を求めるべきか,また,他の試験参加者とどのように関わるかを指示した場合は含める。
5.4.3.3 試験参加者へのタスクの教示
次の情報を,記載しなければならない。
――――― [JIS X 25062 pdf 11] ―――――
10
X 25062 : 2017 (ISO/IEC 25062 : 2006)
− タスク教示の概要。
5.4.4 使用性測定法
4.1で定義したように,使用性は,三つの種類の測定法 : 有効性,効率性及び満足性で測定される。測定
量の選択は,調査研究の目的,ユーザの特徴,特定のタスク及び利用状況に依存している(例 Dumas and
Redish[4]を参照)。
次の情報を,記載しなければならない。
− 有効性の測定法。
− 効率性の測定法。
− 満足性の測定法。
有効性及び効率性の結果を,特定の利用状況の中で利用できない場合であっても,必ず報告しなければ
ならない。この場合,報告書は,なぜ供給者がこれらの測定法を利用しなかったかを明記しなければなら
ない。
例 身近な友人間で,リアルタイムで無制限に利用する製品の利用状況を考えた場合,タスク時間
は,効率性の測定量としては利用できない。なぜならば,多くのユーザにとっては,このタス
クにかけた時間こそが“有意義に過ごせる時間”(タスクの目的)そのものであるからである。
もし,試験参加者に補助が必要な場合,有効性及び効率性の測定法は,補助がある場合及びない場合の
二つの条件で記載されなければならない。さらに,補助の数及び種類について試験結果の一部として含め
なければならない。
5.4.4.1 有効性
有効性は,製品を利用する目的と,この目的を達成する際の正確さ及び完全さとを関連させるものであ
る。一般的な有効性の測定量には,タスク達成率,エラー率,試験実施者からの支援の頻度,及び試験中
の試験参加者がヘルプ又は操作説明書を利用する頻度がある。この測定量は,どのようにタスク目的を達
成したかではなく,達成した度合いである。効率性は,達成した有効性のレベルと,消費したリソースの
量とを関連付ける。
5.4.4.1.1 達成率
達成率は,完全に,かつ,正しく個々のタスク目的を達成した試験参加者の割合である。目的が完全に
達成されなかった場合(例 不完全な結果),目的の達成度を0100 %のスケールでスコア付けし,その
平均を報告することは役に立つ場合がある。例えば,スペルチェックのタスクが,10個のスペルミスを見
つけ訂正する,とすれば,達成率が,正しく訂正したスペルミスの割合を基に算出される場合。他の達成
率を算出する方法は,重み付けである。例えば,文書のタイトルページにあるスペルミスは,本体にある
エラーよりも2倍の重要さであると判断される。目的が完全に達成されなかった結果を報告書に記載する
必要がある場合は,その分析方法を明示しなければならない。
次の情報を,記載しなければならない。
− 完全に,かつ,正しく個々のタスク目的を達成した試験参加者の割合。
5.4.4.1.2 エラー
エラーは,試験参加者がタスクを成功裏に完遂できなかった,又はタスクの一部を複数回試みなければ
ならなかった,という事例である。データ採点は,ある分類方法(例えば,[15])に従ってエラーを分類
することが望ましい。
5.4.4.1.3 補助
試験参加者がタスクを遂行することができなくなったとき,試験管理者の判断によって,試験実施者が,
――――― [JIS X 25062 pdf 12] ―――――
11
X 25062 : 2017 (ISO/IEC 25062 : 2006)
試験を遂行するために直接,手続きに関した補助をときどき与える。“補助”の測定量は,習得性及び有効
性の両方に関わるものであるが,JIS Z 8521の定義にある,三つの使用性の要素に適合させる場合,補助
は,有効性に含まれてきた。
次の情報を,記載しなければならない。
− 補助がない場合の達成率(例 試験実施者の介入なしで達成した割合)。
− 試験実施において補助があった場合の,補助の割合。
例 もしタスクAにおいて,ある試験参加者が補助を受けた場合,補助なしの達成率を計算する際,
タスク達成に成功した人たちの中に,この試験参加者を含めない方がよい。しかし,補助によ
って成功裏にタスクを達成した場合,その試験参加者は,補助ありのタスクA達成率の中に含
める。
補助が許可又は提供される場合,補助の数及び種類を試験結果に含めなければならない。調査計画にお
いて補助が許可されている場合,補助がある場合の達成率を明示し,補助なしの達成率と区別することは
意味がない。この場合は,ただ一つの割合だけ記載すればよいが,補助の数及びタイプは含まなければな
らない。
例 教育環境における試験の設定では,学生は補助を求めることが望ましい。
使用性試験において,試験参加者は,自分自身がタスクを達成できない場合は,オンラインヘルプ又は
取扱説明書のような支援ツールを使うことを指示される。これらのツールは,製品の一部であるので,情
報及びヘルプを提供するという製品の特徴を利用することは,補助と考えられていない。しかし,それら
と異なる製品サポート特性にアクセスする頻度が,試験参加者の製品を利用する能力に依存する場合,そ
れらにアクセスする頻度を報告することが望ましい。
5.4.4.2 効率性
効率性は,達成できた特定のレベルの有効性を,費やしたリソースの量に関連付けることである。効率
性は,一般的にタスクを達成するのに要した平均時間によって評価される。効率性は,また,他のリソー
スに関連がある(例 利用の総コスト)。共通の効率性の測定量は,タスク達成時間である。
次の情報を,記載しなければならない。
− タスクを達成するための平均時間及び試験参加者から得られた達成時間の範囲及び標準偏差。
5.4.4.2.1 達成率及び/又は平均タスク時間
“達成率及び/又は平均タスク時間”は,効率性の他の測定量である[15]。タスク達成率とタスク時間
との関係によって,顧客は,早くて誤りやすいインタフェース(例 ワイルドカードを使ってファイルを
削除するコマンドライン)と,遅くて簡単なインタフェース(例 個々のファイルをゴミ箱へドラッグす
るためにマウス及びキーボードを利用すること)とを比較することができる。
5.4.4.3 満足性
次の情報を,記載しなければならない。
− 一つ以上のユーザ満足性の測定量。
満足性は,ユーザが製品を利用したときのユーザの主観的な反応を記述したものである。ユーザ満足性
は,製品を利用するための動機と重要な相関があり,ある場合では製品利用の作業成績に影響を与える。
満足性及び関連ある反応を測定する質問紙は,一般的にリッカート尺度及びSD法を利用して作成する。
インタラクティブなソフトウェア製品のユーザ満足性を測定するには,様々な有効な方式があり,多く
の企業では独自のものを作成している。外部の,標準化された方式,又はカスタマイズした方式を利用・
作成し,満足性,有効性,及び使いやすさなどの主観評定項目を取り入れることを考慮しなければならな
――――― [JIS X 25062 pdf 13] ―――――
12
X 25062 : 2017 (ISO/IEC 25062 : 2006)
い。なぜならば,一般的に顧客企業が,これらの主観評定項目に関心をもつためである。
広く利用されている多くの質問紙には,ASQ [11],CUSI [12],PSSUQ [12],QUIS [3],SUMI [10],及び
SUS [2]があり,満足性の評価に役に立つ。製品の使用性の主観評価には,それぞれ独自の観点があるが,
ほとんどは,満足性,有効性,及び利用しやすさに関する測定を含んでいる。一般的な質問紙作成に関す
る情報は,Dumas and Redish [4]で触れられている。
システム供給者は,公開されている有効な満足性の測定量を利用するか,又は独自に開発した満足度の
測定法を提供する。
5.5 結果
5.5.1 データ分析
他の組織が試験を繰り返す場合でも,データ分析を再現できるように,十分な詳細さで次の情報を記載
しなければならない。
− データ収集 : 計画したデータ(数,質など)と実際に収集したデータとの違い。
例 欠損値は,どのように扱われたか。異常値の排除という観点からデータはどのように扱われた
か。
− データ採点 : 収集したデータと以降の分析で使われるデータとの対応付け。
例 エラーは,どのように分類されたか。実際の年齢は,年齢範囲にどう対応付けるか。補助があ
る場合のエラーは,一連のデータにどう対応付けるか。
− データ集約 : データの中央値及びデータのばらつきを計算する方法。
例 どの中央傾向の測定量を使うか(例 平均又はモード)。どのようにばらつきを測定するか(例
標準偏差又はデータ範囲)。
− 統計分析 : データを分析するための統計的手続き。
例 どのようにグループ間のデータを比較するのか(例 t検定,F検定)。
データの平均値を報告する場合は,標準偏差を含めなければならない。平均の標準誤差は任意である。
5.5.2 結果の提示
次の情報を,記載しなければならない。
− タスクごと,又はグループごとの作業成績結果を表す有効性及び効率性の測定量。
例 次の表をタスクグループのタスクごとに活用できる。
タスク A
有効性(補助あり)
有効性(補助なし) 達成時間
ユーザ ··· エラー 補助 効率性
達成度 % 達成度 % (分)
1
2
n
平均
標準偏差
最小値
最大値
使用性データを記載する際,様々なグラフを利用すると一目で見て分かり効果的である。棒グラフは,
リッカート尺度のような主観データを記載するのに役に立つ。様々なプロット図は,その製品を利用する
――――― [JIS X 25062 pdf 14] ―――――
13
X 25062 : 2017 (ISO/IEC 25062 : 2006)
エキスパートと試験参加者が要した時間とを比較するのに役に立つ。これらのグラフには,結果の短い説
明を添えることもできるが,報告書本体には詳細な解説はしないほうがよい。もし必要であれば,附属書
にすることが望ましい。
次の情報を,記載しなければならない。
− 作業成績結果を表す有効性及び効率性のグラフ。
5.5.2.1 作業成績結果
次の情報を,記載することが望ましい。
− 全てのタスクの作業成績結果を表す有効性,及び効率性の測定量の表。
− 作業成績結果を表す有効性,及び効率性の測定量のグラフ。
− プロダクトデザイン及び特別なアプリケーション分野に関わりがある測定法がある場合,その表に
追記する。
例 タスク全体の作業成績結果の表を次に示す。
総有効性(補助あり)
総有効性(補助なし) 達成時間
ユーザ# ··· 総エラー 総補助 効率性
達成度 % 達成度 % (分)
1
2
n
平均
標準偏差
最小値
最大値
関連タスクのグループ(例 あるグループの全てのプログラム開発タスク,他のグループの全てのデバ
ッグタスク)ごとに,表にした方が,より効率的で,かつ,意味がある。もし,タスクにサブタスクがあ
る場合,それは,タスクの概要の中で報告される場合がある。
例 もし,あるページの全てのミススペルを明確にすることがタスクであるならば,その試験結果は,
参加者ごとの,(ミススペル発見数)/(存在するミススペル数),を表示することになる。
5.5.2.2 満足性結果
次の情報を,記載しなければならない。
− 満足性の試験結果の測定量の表。
例 一部の満足性の試験結果の表を次に示す。
満足性
試験参加者No 使いやすさ 利用性 外観 明瞭性 ···
1
2
n
中央値
最小値
最大値
次の情報を,記載することが望ましい。
――――― [JIS X 25062 pdf 15] ―――――
次のページ PDF 16
JIS X 25062:2017の引用国際規格 ISO 一覧
- ISO/IEC 25062:2006(IDT)
JIS X 25062:2017の国際規格 ICS 分類一覧
JIS X 25062:2017の関連規格と引用規格一覧
- 規格番号
- 規格名称