※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
導入
データ処理システムの計画と使用の両方において、実行速度は重要な特性です。この特性は、システムで使用されるソフトウェアの効率に大きく影響され、システムの速度の測定とソフトウェアの効率の影響は非常に重要です。
データ処理システムの時間的挙動に対するソフトウェアの影響を測定するには、システム全体の時間的挙動を測定する必要があります。この規格で提案されている測定手順のメトリックに基づいて定義し、計算することができます。ソフトウェアの時間効率の値。
時間動作特性を再現可能な方法で推定することが重要です。したがって、実験に人間のユーザーを使用することはできません。その理由の 1 つは、人間のユーザーは、使用特性の逸脱なしにコンピューター使用のより長い段階を何度も再現することができないためです。もう 1 つの理由は、ジョブやタスク ストリームが多数のユーザーから提供される場合、人間のユーザーを対象にそのような実験を行うには費用がかかりすぎるためです。したがって、2 番目のデータ処理システムを使用してすべてのユーザーをエミュレートするエミュレータが使用されます。
これは、この国際規格に従ったパフォーマンスの測定と評価にはツールが必要であることを意味します。このツールは、この規格の仕様に従って動作するエミュレータです。使用するエミュレータが実際にこれらの仕様を満たしていることを証明する必要があります。
この実験に関連するすべての詳細は、ユーザー エミュレータによってログ ファイルに記録されます。このログファイルから、時間の動作を表す値 (応答時間やスループット値など) を計算できます。これらのパフォーマンス値から、ソフトウェア効率評価値が計算されます。
測定および評価手順を実行するために、これらの値すべてが常に必要なわけではありません。たとえば、少数の対話型タスク タイプだけ、または単純なバッチ ジョブのシーケンスだけを持つ単純なワークロードが使用される場合、定義されているすべての用語と値の小さなサブセットのみが必要です。この方法では、多くの異なるユーザーからなる大規模なセットによって生成される複雑なジョブまたはタスク ストリームを処理する、大規模で複雑なコンピューター ベースのソフトウェア システム (CBSS) の測定と評価も可能になります。必要な限り、定義には数学用語が含まれています。これは、パフォーマンス値と評価値の計算の正確な数学的基礎を取得し、測定実行と評価ステップの正確性を確認するため、またパフォーマンス値と評価結果の（統計的）重要性を確認するためです。 。
測定結果は、計算されたパフォーマンス値で構成されます。これらはスループット値と実行時間値です。 CBSS のパフォーマンス評価の最終結果は、評価値で構成されます。これらは、計算されたパフォーマンス値をユーザーの要件と比較することによって得られます。さらに、必要に応じて、基準 CBSS のパフォーマンス値と比較することで、テスト対象の CBSS のパフォーマンス値を評価することもできます (たとえば、ハードウェア構成は同じですが、同じ機能を持つアプリケーション プログラムの別のバージョン) 。
評価手順の結果は、それぞれ 1 以上、1 以下の値のセットです。評価値には、定義された要件よりも「優れている」、「劣っている」、または「等しい」という意味があります。 (または参照として使用されるテスト対象の 2 番目のシステムのプロパティ)評価値の最終セットは、ワークロード内で個別に定義された各タスク タイプを評価します。
付録 E および F には、ソフトウェアと印刷できない特殊なデータが含まれています。したがって、これらは、この国際規格を構成する CD-ROM で提供されます。両方の付録に短い概要が記載されています。
セクション 1 概要
Introduction
In both the planning and using of data processing systems, the speed of execution is a significant property. This property is influenced greatly by the efficiency of the software used in the system. Measuring the speed of the system as well as the influence of the efficiency of the software is of elementary interest.
In order to measure the influence of software on the time behaviour of a data processing system it is necessary to measure the time behaviour of the whole system. Based on the metrics of the measurement procedure proposed in this standard it is possible to define and to compute the values of the time efficiency of the software.
It is important that time behaviour characteristics are estimated in a reproducible way. Therefore it is not possible to use human users in the experiment. One reason is that human users cannot reproduce longer phases of computer usage several times without deviations in characteristics of usage. Another reason is that it would be too expensive to carry out such experiments with human users if the job or task stream comes from many users. Therefore an emulator is used which emulates all users by use of a second data processing system.
This means that measurement and rating of performance according to this International Standard needs a tool. This tool is the emulator which shall work according to the specifications of this standard. It has to be proven that the emulator used actually fulfils these specifications.
All relevant details of this experiment are recorded in a logfile by the user emulator. From this logfile the values which describe the time behaviour (for instance response times and throughput values) can be computed. From these performance values the software efficiency rating values will be computed.
Not all of these values are always necessary to carry out a measurement and rating procedure. For instance if a simple workload having only a few interactive task types or only a simple sequence of batch jobs is used, then only a small subset of all terms and values which are defined is required. This method also allows the measuring and rating of a large and complex computer-based software system (CBSS) processing a complex job or task stream which is generated by a large set of many different users. As far as it is necessary the definitions include mathematical terms. This is in order to obtain an exact mathematical basis for the computations of performance and rating values and for checking the correctness of the measurement run and rating steps as well as for the (statistical) significance of the performance values and rating results.
The result of a measurement consists of the calculated performance values. These are throughput values and execution time values. The final result of performance assessment of a CBSS consists of the rating values. They are gained by comparing the calculated performance values with the user's requirements. In addition it is possible - if desired - to rate the performance values of the CBSS under test by comparing them with those of a reference CBSS (for instance having the same hardware configuration but another version of the application program with the same functionality).
The result of the rating procedure is a set of values, each being greater than, less than or equal to 1. The rating values have the meaning of"better than","worse than" or"equal to" the defined requirements (or the properties of a second system under test used as a reference). The final set of rating values assesses each task type which are defined separately in the workload.
Annexes E and F contain software as well as special data that are not printable. Therefore they are delivered on the CD-ROM which constitutes this International Standard. A short overview is provided in both annexes.