この規格 プレビューページの目次
※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
3 用語と定義
この文書の目的上、ISO/IEC 33001, ISO/IEC 15939, および以下の用語と定義が適用されます。
3.1
集計方法
一連の測定値を組み合わせて合成値を作成する方法
注記 1:集計方法は、補償モデルまたは非補償モデルに基づいています。
3.2
代償モデル
MCDM モデルでは、複合メジャーが個別に重み付けされた用語で構成され、高い値のwhere (属性用語も参照) が各重みに比例して低い値の基準を補償できます。
注記 1:補償モデルは、より重要な測定値 (より高い重み付けを持つ測定値) を改善する方が、重要性の低い測定値を改善するよりも全体の複合値を増加または改善する可能性が高いことを示唆しています。このモデルは、基準の重み (影響レベル) が、基準の測定レベルに関係なく同じままであると仮定します。
3.3
複合メジャー
対象の構成を表す潜在変数をそのメジャーにリンクする方法である構成の仕様 (反射的または形成的) に従って定義された構成の複数項目のメジャーの一連の操作から導出される変数
3.4
合成値
複合メジャーからの値
注記 1:複合値は、順序、間隔、または比率スケールからのものです。
3.5
構築する
プロセス評価を使用して測定したい抽象的なアイデア、イメージ、根底にあるテーマ、主題などの概念
注記 1:プロセス測定フレームワークにおいて、構成要素 (潜在構成要素とも呼ばれる) は、プロセス品質特性やプロセス属性などの理論的概念です。
注記 2:ある構成要素に割り当てる意味は理論的定義と呼ばれます。理論的定義はその意味を説明するとともに、その明確な次元 (ファセット) について議論する必要があります。
3.6
寸法
多次元構造が包含する個別のコンポーネント
3.7
形成的構造
構成要素とその尺度の間の関係において、観察された尺度から形成される構成要素
注記 1:構成要素はその尺度の結果であり、各尺度は構成要素の決定要因です。
3.8
潜在変数
一次元構造を表す変数
注記 1:構成要素の次元ごとに個別の潜在変数が必要であり、潜在変数ごとに少なくとも 1 つのメジャーが必要です。
3.9
MCDM
複数の基準による意思決定または複数の属性による意思決定
複数の基準によって特徴付けられる利用可能な代替案の優先順位の決定 (例、評価、優先順位付け、および選択)
注記 1: MCDM の基準は尺度に相当します。
注記 2: 1 つの選択肢を持つ MCDM は、複合尺度の開発と同じです。
3.10
測定モデル
潜在変数とその（複数項目の）測定値の間の暗黙的または明示的な関係
注記 1:反射的 (形成的) 構成要素とその測定値との間の関係は、反射的 (形成的) 測定モデルと呼ばれます。
3.11
多次元構造
多数の一次元構造からなる構造。
注記 1:多次元構成の各次元は一次元と呼ばれ、1 つの潜在変数によって表されます。各ディメンションには複数のメジャーを含めることができます。たとえば、多次元構造では、能力がプロセス属性の基礎となる共通因子として定義される場合の能力の意味は、能力がプロセス属性の単純な合計として定義される場合とは異なります。前者は反射的多次元構造と呼ばれ、後者は形成的構造と呼ばれます。多次元構造は、不特定の数のレベルにまたがることができます。
3.12
非補償モデル
MCDM モデルでは、重みに比例して基準を相互に補正することができません。
注記 1:強い正または負の項は、重みは同じであっても、全体の複合値に不均衡な影響を与えます。評価方針、複合尺度の目的、測定スケールに応じて、さまざまな非補償モデルがあります。
3.13
反射構造
構成概念とその対策の関係において、対策の原因とみなされる構成概念
注記 1:反射構造は、その尺度の変動の基礎となる要因である。
3.14
規模
順序付けられた値のセット、連続または離散、または属性がマップされるカテゴリのセット
注記 1:スケールのタイプは、スケール上の値間の関係の性質によって異なります。一般に 4 種類のスケールが定義されています。 公称値 ─ 測定値はカテゴリカルです。たとえば、タイプによる欠陥の分類は、カテゴリ間の順序を意味するものではありません。 Ordinal ─ 測定値はランキングです。たとえば、欠陥の重大度レベルへの割り当てはランキングです。間隔 ─ 測定値は、属性の等しい量に対応する等しい距離を持ちます。たとえば、循環複雑度の最小値は 1 ですが、増分ごとに追加のパスを表します。値をゼロにすることはできません。比率 ─ 測定値は、等しい量の属性に対応する等しい距離を持ちwhere ゼロの値はどの属性にも対応しません。たとえば、LOC に関するソフトウェア コンポーネントのサイズは比率スケールです。ゼロの値はコード行に対応せず、追加の各増分は等しい量のコードを表すためです。
[出典:ISO/IEC 15939:2007]
3.15
一次元性
一連の尺度の基礎となる単一の特性または構造の存在
参考文献
| 一般的な | |
| 1 | Bollen KA, 潜在変数を使用した構造方程式。ワイリー、ニューヨーク、1989 年 |
| 2 | Brown TA, 応用研究のための確認因子分析。ギルフォード・プレス、ニューヨーク、2006 年 |
| 3 | ケリーTL, 人間の心の交差点。スタンフォード大学出版局、カリフォルニア州、1928 年 |
| 4 | Nardo M. et al.、複合指標の構築に関するハンドブック: 方法論およびユーザー ガイド[オンライン 2005 [2014 年 2 月 1 日閲覧から入手可能です: 。 |
| 5 | SCAMPI UPGRADE TEAM, 標準 CMMI ®プロセス改善のための評価方法 (SCAMPI sm ) A, バージョン 1.2: 方法定義文書(CMU/SEI-2006-HB-002) 2006年 [2014年2月1日閲覧 http://www.sei.cmu.edu/reports/06hb002.pdf から入手できます。 |
| 6 | Trochim WMK, Donnelly JP, 研究方法知識ベース。 2007 [2014 年 2 月 1 日閲覧から入手可能です: 。 |
| 7 | Venkatraman N.、企業の戦略的方向性: 構造、次元、測定。経営科学。 1989, 3, 942-96 ISSN : 0025-190, 1526-5501 (オンライン) |
| 構造の開発 | |
| 8 | Hattie J.、方法論のレビュー: テストとテストの一次元性の評価。応用心理測定。 1985, , 139-16 ISSN: 0146-621, 1552-3497 (オンライン) |
| 9 | Johnson R. 他、「集約するか否か: 高次の多次元構造を開発および検証するためのステップ」。ビジネスと心理学のジャーナル。 2011, 2, 1- ISSN: 0889-326, 1573-353X (オンライン) |
| 10 | Law et al.、多次元構成の分類に向けて。アカデミー オブ マネジメント レビュー。 1998, 2, 741-75 ISSN: 0363-742, 1930-3807 (オンライン) |
| 11 | Maxwell JA, 定性的調査デザイン: インタラクティブなアプローチ。 Sage Publications, カリフォルニア州、第 2 版、2005 年 |
| 12 | Miles MB, Huberman AM, 定性的データ分析。セージ出版、カリフォルニア州、1994 |
| 13 | Gerbing DW, Anderson JC, 一次元性とその評価を組み込んだスケール開発の最新パラダイム。マーケティングリサーチジャーナル。 1988, 2, 186-19 ISSN: 0022-243, 1547-7193 (オンライン) |
| 運用化および測定モデル | |
| 14 | Cohen J.、名目スケールの一致係数。教育的および心理的測定。 1960, 2, 37-4 ISSN: 0013-164, 1552-3888 (オンライン) |
| 15 | Lawshe CH, コンテンツの有効性に対する定量的アプローチ。人事心理学。 1975, 2, 563-57 ISSN: 1744-6570 (オンライン) |
| 16 | Diamantopoulos A.、共分散ベースの構造方程式モデルへの形成的尺度の組み込み。 MIS 季刊誌。 2011, 35, (2)、335-35 ISSN: 0276-778 |
| 17 | Diamantopoulos A.、Winklhofer HM, 形成指標を使用したインデックス構築: スケール開発の代替案。マーケティングリサーチジャーナル。 2001. 3, 269-27 ISSN: 0022-243, 1547-7193 (オンライン) |
| 18 | Edwards J.、Bagozzi R.、構成概念と尺度の間の関係の性質と方向性について。心理学的方法。 2000, , 155-17 ISSN: 1082-98, 1939-146 (オンライン) |
| 19 | エドワーズ JR, 形成的測定の誤謬。組織的な研究方法。 2011, 1, 370-38 ISSN: 1094-428, 1552-7425 (オンライン) |
| 20 | Jarvis CB 他、マーケティングおよび消費者調査における構成指標と測定モデルの誤った仕様に関する批判的レビュー。消費者研究ジャーナル。 2003, 3, 199-21 ISSN: 0093-5301 (印刷版); 1537-5277 (オンライン) |
| 21 | Petter S. 他、情報システム研究における形成的構成要素の指定。 MIS 季刊誌。 31, (4)、623-65 ISSN: 0276-778 |
| 集計 | |
| 22 | Brannick MT, Brannick JP, パフォーマンス評価における非線形および非補償プロセス。組織の行動と人間の意思決定プロセス。 1989, 4, 97-12 ISSN: 0749-597 |
| 23 | Jung HW, プロセス評価におけるプロセス属性評価と感度分析。ソフトウェアジャーナル: 進化とプロセス。 2012, 2, 401-41 ISSN: 2047-7481 (オンライン) |
| 24 | Munda G.、Nardo M.、複合指標の重み付けと集計。調査統計の品質に関する欧州会議 (2006 年第 2 四半期) 。カーディフ、英国、2006 年。 |
| 25 | Munda G.、Nardo M.、国をランク付けするための非補償的/非線形複合指標: 防御的な設定。応用経済学。 2009, 4, 1513-152 ISSN 0003-684, 1466-4283 (オンライン) |
| 26 | Rijsdijk SA 他、製品インテリジェンス: その概念化、測定、および消費者満足度への影響。マーケティング科学アカデミージャーナル、2007, 35 ( 3 ) 340-35 ISSN: 0092-0703 (印刷) 1552-7824 (オンライン) |
| 27 | Saaty TL, 意思決定の方法: 分析プロセスの階層。欧州オペレーショナルリサーチジャーナル。 1990, 4, 9-2 ISSN: 0377-221 |
| 28 | Saltelli A.、実際の感度分析: 科学モデルの評価ガイド。 John Wiley & Sons Ltd, ウェストサセックス、イギリス、2004 年 |
| 29 | Saltelli A. 他、Global Sensitivity Analysis: The Prime John Wiley & Sons Ltd, ウェストサセックス、イギリス、2008 年 |
| 30 | Yoon KP, Hwang C.-L.、 『複数の属性による意思決定: はじめに』 。カリフォルニア: サウザンド オークス、1995 年。 |
| 31 | Zhou P. 他、複合指標構築における重み付けと集計: 乗算最適化アプローチ。社会指標調査。 2010, 9, 169-18 ISSN: 0303-830, 1573-0921 (オンライン) |
| 32 | Zhou P. 他、複合指標構築におけるデータ集約: 情報損失の観点。アプリケーションを備えたエキスパート システム。 2010, 3, 360-36 ISSN: 0957-417 |
| 妥当性テスト | |
| 33 | ベントラー。首相、ボネット長官。共分散構造の分析における有意性検定と適合度。心理学速報。 1980, 8, 588-60 ISSN: 0033-290, 1939-1455 (オンライン) |
| 34 | ボーレン。 KAら。因果指標測定モデルへの消失四分子テストの実用化: 健康関連の生活の質からの例。医学における統計学。 2009, 2, 1524-153 ISSN: 1097-0258 (オンライン) |
| 35 | ボーレン、KA, K.-F.ティン。因果関係指標の四分岐テスト。心理学的方法。 2000, , 1939-146 (オンライン) |
| 36 | キャンベル。 DT, DWフィスク。マルチトレイト・マルチメソッド・マトリックスによる収束的および判別的検証。心理学速報。 1959 年、 5, 1939-1455 (オンライン) |
| 37 | カーマインズ、E.、R. ゼラー。信頼性と有効性の評価。カリフォルニア: サウザンドオークス、1979 年。 |
| 38 | エル・エマム。 K.、A.バーク。ソフトウェア要件分析プロセス能力の ISO/IEC 15504 尺度を検証します。ソフトウェアエンジニアリングに関するIEEEトランザクション。 2000, 2, 541-56 ISSN 0098-558 |
| 39 | フォルネル。 C.、DFラーカー。観測不可能な変数と測定誤差を含む構造方程式モデルの評価。マーケティングリサーチジャーナル。 1981, 1, 39-5 ISSN: 0022-243, 1547-7193 (オンライン) |
| 40 | ヒップ。 JRなどモデルの適合性と四分体ネストされたモデルのコントラストの四分体テストの実施: 新しい SAS マクロ。構造方程式モデリング: 学際的なジャーナル。 2005, 1, 1532-8007 (オンライン) |
| 41 | 若い。 H.-W. SPICE ベースの評価における評価者間の合意の評価。コンピュータの標準とインターフェイス。 2003, 2, 477-49 ISSN: 0920-548 |
| 42 | ナナリー、JC, HH バーンスタイン。心理測定理論。 3版ニューヨーク：マグロウヒル、2004年。 |
| 43 | SPICE トライアル、SPICE フェーズ 2 トライアルの最終レポート。 ISO/IEC JTC1/SC7/WG1 1999年 [2014年2月1日閲覧 http://goo.gl/0pMK6 から入手できます。 |
| 44 | ティン。 K.-F. SAS での確認的四分子分析。構造方程式モデリング。 1995, , 163-171, 199ISSN 1070-551, 1532-8007 (オンライン) |
| 45 | Werts C. et al.、クラス間信頼性推定: 構造仮定のテスト。教育と心理測定、 1974, 3, 25-3 ISSN: 0013-164, 1552-3888 (オンライン) |
3 Terms and definitions
For the purposes of this document, the terms and definitions given in ISO/IEC 33001, ISO/IEC 15939, and the following apply:
3.1
aggregation method
method that combines a set of measurement values to create a composite value
Note 1 to entry: Aggregation methods are based on compensatory or non-compensatory models.
3.2
compensatory model
MCDM model in which a composite measure is composed of individually weighted terms and where criteria (also refer to attribute terms) with a high value can compensate for those of a low value in proportion to each weight
Note 1 to entry: A compensatory model suggests that improving the more important measures (those with a higher weighting) is more likely to increase or improve the overall composite value than improving the less important ones. This model assumes that the weight (influence level) of criteria remains the same regardless of the measured level of the criteria.
3.3
composite measure
variable derived from a set of operations of a construct’s multi-item measures defined according to construct specification (either reflective or formative) that is the way in which the latent variable representing the construct of interest is linked to its measures
3.4
composite value
value from a composite measure
Note 1 to entry: A composite value can be from an ordinal, interval, or ratio scale.
3.5
construct
concept such as the abstract idea, image, underlying theme, or subject matter that one wishes to measure using process assessments
Note 1 to entry: In process measurement frameworks, constructs (also refers to latent constructs) are theoretical concepts such as the process quality characteristics and process attributes.
Note 2 to entry: The meaning that one assigns to a construct is called theoretical definition, which should explain its meaning, as well as discuss its distinct dimensions (facets).
3.6
dimension
distinct components that a multidimensional construct encompasses
3.7
formative construct
construct that is formed from its observed measures in the relationship between a construct and its measures
Note 1 to entry: The construct is a consequence of its measures and each measure is a determinant of the construct.
3.8
latent variable
variable representing a unidimensional construct
Note 1 to entry: There should be a separate latent variable for each dimension of a construct and a minimum of one measure per latent variable.
3.9
MCDM
Multiple-Criteria Decision Making or Multi-Attribute Decision Making
making preference decisions (e.g., evaluation, prioritization, and selection) of available alternatives characterized by multiple criteria
Note 1 to entry: A criterion in MCDM corresponds to measure.
Note 2 to entry: An MCDM with one alternative is the same as the development of a composite measure.
3.10
measurement model
the implicit or explicit relationship between a latent variable and its (multi-item) measures
Note 1 to entry: The relationship between a reflective (formative) construct and its measure(s) is called a reflective (formative) measurement model.
3.11
multidimensional construct
construct that consists of a number of unidimensional constructs.
Note 1 to entry: Each dimension of a multidimensional construct is called unidimensional and is represented by one latent variable. Each dimension can have multiple measures. In a multidimensional construct, for example, the meaning of capability when it is defined as the common factor underlying its process attributes is different from the case when capability is defined as a simple sum of its process attributes. The former is called a reflective multidimensional construct and the latter is formative. A multidimensional construct can span an indeterminate number of levels.
3.12
non-compensatory model
MCDM model that does not allow criteria to compensate for each other in proportion to their weights
Note 1 to entry: Strongly positive or negative terms influence the overall composite value disproportionately, although the weight stays the same. There are various non-compensatory models depending on the evaluation policy, the purpose of the composite measure, and/or the measurement scale.
3.13
reflective construct
construct that is viewed as the cause of measures in the relationship between a construct and its measures
Note 1 to entry: Reflective construct is an underlying factor of the variation of its measures.
3.14
scale
ordered set of values, continuous, or discrete, or a set of categories to which the attribute is mapped
Note 1 to entry: The type of scale depends on the nature of the relationship between values on the scale. Four types of scales are commonly defined: Nominal ─ the measurement values are categorical. For example, the classification of defects by their type does not imply order among the categories. Ordinal ─ the measurement values are rankings. For example, the assignment of defects to a severity level is a ranking. Interval ─ the measurement values have equal distances corresponding to equal quantities of the attribute. For example, cyclomatic complexity has the minimum value of one, but each increment represents an additional path. The value of zero is not possible. Ratio ─ the measurement values have equal distances corresponding to equal quantities of the attribute where the value of zero corresponds to none of the attribute. For example, the size of a software component in terms of LOC is a ratio scale because the value of zero corresponds to no lines of code and each additional increments represents equal amounts of code.
[SOURCE:ISO/IEC 15939:2007]
3.15
unidimensionality
existence of a single trait or construct underlying a set of measures
Bibliography
| General | |
| 1 | Bollen K.A., Structural Equations with Latent Variables. Wiley, New York, 1989 |
| 2 | Brown T.A., Confirmatory Factor Analysis for Applied Research. The Guilford Press, New York, 2006 |
| 3 | Kelley T.L., Crossroads in the Mind of Man. Stanford University Press, California, 1928 |
| 4 | Nardo M. et al., Handbook on Constructing Composite Indicators: Methodology and User Guide [online]. 2005 [Viewed 1 Feburary 2014]. Available from: . |
| 5 | SCAMPI UPGRADE TEAM, Standard CMMI® Appraisal Method for Process Improvement (SCAMPIsm) A, Version 1.2: Method Definition Document (CMU/SEI-2006-HB-002). 2006 [Viewed 1 Feburary 2014]. Available from: http://www.sei.cmu.edu/reports/06hb002.pdf . |
| 6 | Trochim W.M.K., Donnelly J.P., Research Methods Knowledge Base. 2007 [Viewed 1 Feburary 2014]. Available from: . |
| 7 | Venkatraman N., Strategic orientation of business enterprises: The construct, dimensionality, and measurement. Management Science. 1989, 35 (8), 942-962. ISSN : 0025-1909 (print), 1526-5501 (online). |
| Develop construct | |
| 8 | Hattie J., Methodology review: assessing unidimensionality of tests and ltenls. Applied Psychological Measurement. 1985, 9 (2), 139-164. ISSN: 0146-6216 (print), 1552-3497 (online). |
| 9 | Johnson R. et al., To aggregate or not to aggregate: Steps for developing and validating higher-order multidimensional constructs. Journal of Business and Psychology. 2011, 26 (3), 1-8. ISSN: 0889-3268 (print), 1573-353X (online). |
| 10 | Law et al., Toward a taxonomy of multidimensional constructs. Academy of Management Review. 1998, 23 (4), 741-755. ISSN: 0363-7425 (print), 1930-3807 (online). |
| 11 | Maxwell J.A., Qualitative Research Design: An interactive Approach. Sage Publications, CA, Second Edition, 2005 |
| 12 | Miles M.B., Huberman A.M., Qualitative Data Analysis. Sage Publications, CA, 1994 |
| 13 | Gerbing D.W., Anderson J.C., An updated paradigm for scale development incorporating unidimensionality and its assessment. Journal of Marketing Research. 1988, 25 (2), 186-192. ISSN: 0022-2437 (print), 1547-7193 (online). |
| Operationalization and measurement models | |
| 14 | Cohen J., A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960, 20 (1), 37-46. ISSN: 0013-1644 (print), 1552-3888 (online). |
| 15 | Lawshe C.H., A quantitative approach to content validity. Personnel Psychology. 1975, 28 (4), 563-575. ISSN: 1744-6570 (online). |
| 16 | Diamantopoulos A., Incorporating formative measures into covariance-based structural equation models. MIS Quarterly. 2011, 35(2), 335-358. ISSN: 0276-7783. |
| 17 | Diamantopoulos A., Winklhofer H.M., Index construction with formative indicators: An alternative to scale development. Journal of Marketing Research. 2001. 38 (2), 269-277. ISSN: 0022-2437 (print), 1547-7193 (online). |
| 18 | Edwards J., Bagozzi R., On the nature and direction of relationships between constructs and measures. Psychological Methods. 2000, 5 (2), 155-174. ISSN: 1082-989 (print), 1939-146 (online). |
| 19 | Edwards J.R., The Fallacy of Formative Measurement. Organizational Research Methods. 2011, 14 (2), 370-388. ISSN: 1094-4281 (print), 1552-7425 (online). |
| 20 | Jarvis C.B. et al., A critical review of construct indicators and measurement model misspecification in marketing and consumer research. Journal of Consumer Research. 2003, 30 (2), 199-218. ISSN: 0093-5301 (print); 1537-5277 (online). |
| 21 | Petter S. et al., Specifying formative constructs in information systems research. MIS Quarterly. 31(4), 623-656. ISSN: 0276-7783. |
| Aggregation | |
| 22 | Brannick M.T., Brannick J.P., Nonlinear and noncompensatory processes in performance evaluation. Organizational Behavior and Human Decision Processes. 1989, 44 (1), 97-122. ISSN: 0749-5978. |
| 23 | Jung H.W., Process attribute rating and sensitivity analysis in process assessment. Journal of Software: Evolution and Process. 2012, 24 (4), 401-419. ISSN: 2047-7481 (online). |
| 24 | Munda G., Nardo M., Weighting and aggregation for composite indicators. European Conference on Quality in Survey Statistics (Q2006). Cardiff, UK, 2006. |
| 25 | Munda G., Nardo M., Noncompensatory/nonlinear composite indicators for ranking countries: a defensible setting. Applied Economics. 2009, 41 (12), 1513-1523. ISSN 0003-6846 (print), 1466-4283 (online). |
| 26 | Rijsdijk S.A. et al., Product intelligence: its conceptualization, measurement and impact on consumer satisfaction. Journal of the Academy of Marketing Science, 2007, 35 (3) 340-356. ISSN: 0092-0703 (print) 1552-7824 (online). |
| 27 | Saaty T.L., How to make a decision: the analytic hierarchy process. European Journal of Operational Research. 1990, 48 (1), 9-26. ISSN: 0377-2217. |
| 28 | Saltelli A., Sensitivity Analysis in practice: A Guide to Assessing Scientific Models. John Wiley & Sons Ltd, West Sussex, UK, 2004 |
| 29 | Saltelli A. et al., Global Sensitivity Analysis: The Primer. John Wiley & Sons Ltd, West Sussex, UK, 2008 |
| 30 | Yoon K.P., Hwang C.-L., Multiple Attribute Decision Making: An Introduction. CA: Thousand Oaks, 1995. |
| 31 | Zhou P. et al., Weighting and aggregation in composite indicator construction: A multiplicative optimization approach. Social Indicator Research. 2010, 96 (1), 169–181. ISSN: 0303-8300 (print), 1573-0921 (online). |
| 32 | Zhou P. et al., Data aggregation in constructing composite indicators: A perspective of information loss. Expert Systems with Applications. 2010, 37 (1), 360-365. ISSN: 0957-4174. |
| Validity tests | |
| 33 | BENTLER. P.M., D.G. BONETT. Significance tests and goodness of fit in the analysis of covariance structures. Psychological Bulletin. 1980, 88 (3), 588-606. ISSN: 0033-2909 (print), 1939-1455 (online). |
| 34 | BOLLEN. K.A. et al. Practical application of the vanishing tetrad test for causal indicator measurement models: An example from health-related quality of life. Statistics in Medicine. 2009, 28 (10), 1524-1536. ISSN: 1097-0258 (online). |
| 35 | BOLLEN, K.A., K.-F. TING. A tetrad test for causal indicators. Psychological Methods. 2000, 5 (1) 3-22. ISSN: 1082-989 (print), 1939-146 (online). |
| 36 | CAMPBELL. D.T., D.W. FISKE. Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin. 1959, 56 (2) 81-105. ISSN: 0033-2909 (print), 1939-1455 (online). |
| 37 | CARMINES, E., R. ZELLER. Reliability and Validity Assessment. CA: Thousand Oaks, 1979. |
| 38 | EL EMAM. K., A. BIRK. Validating the ISO/IEC 15504 measure of software requirements analysis process capability. IEEE Transactions on Software Engineering. 2000, 26 (6), 541-566. ISSN 0098-5589. |
| 39 | FORNELL. C., D.F. LARCKER. Evaluating Structural Equation Models with Unobservable Variables and Measurement Error. Journal of Marketing Research. 1981, 18 (1), 39-50. ISSN: 0022-2437 (print), 1547-7193 (online). |
| 40 | HIPP. J.R., et al. Conducting tetrad tests of model fit and contrasts of tetrad-nested models: A new SAS macro. Structural Equation Modeling: A Multidisciplinary Journal. 2005, 12 (1) 76 – 93. ISSN 1070-5511 (print), 1532-8007 (online). |
| 41 | JUNG. H.-W. Evaluating interrater agreement in SPICE-based assessments. Computer Standards & Interfaces. 2003, 25 (5), 477-499. ISSN: 0920-5489. |
| 42 | NUNNALLY, J.C., H.H. BERNSTEIN. Psychometric Theory. 3 ed. NY: McGraw-Hill, 2004. |
| 43 | SPICE TRIALS, SPICE Phase 2 Trials Final Report. ISO/IEC JTC1/SC7/WG10. 1999 [Viewed 1 Feburary 2014]. Available from: http://goo.gl/0pMK6 . |
| 44 | TING. K.-F. Confirmatory tetrad analysis in SAS. Structural Equation Modeling. 1995, 2 (2), 163-171, 1995. ISSN 1070-5511 (print), 1532-8007 (online). |
| 45 | Werts C. et al., Interclass reliability estimates: Testing structural assumptions. Educational and Psychological Measurement, 1974, 34 (1), 25-33. ISSN: 0013-1644 (print), 1552-3888 (online). |