※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
4 つの定義
この国際規格の目的のために、次の定義が適用されます。
4.1
活動
ユーザーまたはエミュレートされたユーザーによってテスト対象システム (SUT) に送信され、特定の入力データおよび (要求された場合) 保存されたデータから特定の出力データを生成するために、定義されたアルゴリズムに従ってデータ処理操作の実行を要求するオーダー。
4.2
アクティビティの種類
同じアルゴリズムの実行によって定義されるアクティビティの分類。
4.3
鎖
定義された順序で SUT に送信される 1 つ以上のタスク。
4.4
チェーンタイプ
タスクタイプのシーケンスによって定義されるチェーンの分類。
- 2エミュレートされたユーザーは、指定されたチェーン タイプのチェーンのみを SUT に送信します。
- 3チェーン タイプの現在の数を表す数学記号はIです。チェーン タイプの総数を表す数学記号はu です。
4.5
コンピュータベースのソフトウェアシステム
CBSS
コンピュータ上で動作するソフトウェア システム。
注記 1: CBSS は、人間のユーザーの端末または同等のマシンユーザーインターフェースで見られるデータ処理システムである場合があります。ハードウェアと、ユーザーが必要とするデータ処理機能を実現するために必要なすべてのソフトウェア(システムソフトウェアおよびアプリケーションソフトウェア)が含まれます。
4.6
エミュレートされたユーザー
技術システムによって実現される、ユーザーが提出するタスクや時間的行動に関するユーザーの模倣。
4.7
実行時間
タスクの送信から完了までに経過した時間。
- 5タスクがバッチ ジョブを表す場合、実行時間はジョブが完了するまでの経過時間です。対話型タスクの場合、実行時間はタスクの応答時間 (応答が完了するまで送信) となります。
- 6読者は、実行時間の開始と終了の定義 (したがって測定と評価) がタスク モードに依存しないことを通知する必要があります。次のタスクの「待機なし」タスク モードの場合、次のタスクの実行時間が、同じ後続のタスクの 1 つ以上の準備時間と実行時間と重複する可能性があり、この意図的標準で説明されている方法によって解決されます。エミュレートされたユーザー。
4.8
平均実行時間
評価間隔内に送信された、j 番目のタスク タイプのタスクのすべての実行時間の平均値。
注記 1:数学記号はT ME (j)で、j 番目のタスクタイプに対応します。
4.9
平均実行時間評価値
平均実行時間基準値と測定された平均実行時間との商(j番目のタスク種類に相当)。
注記 1:数学記号はR ME (j)で、j 番目のタスクタイプに対応します。
4.10
平均実行時間基準値
エミュレートされたユーザーが最大許容する平均実行時間。これは、作業負荷パラメータセットから計算されます (9.1.1, 15.2.1, および B.1 項を参照)
- 9数学記号は、j 番目のタスク タイプに対応するT Ref (j)です。
4.11
観察期間
時間間隔ここで, 測定手順は、評価または検証のために測定結果を収集 (ログに記録) するために観察され、評価間隔と補助実行で構成されます。
4.12
準備時間
タスクが送信されるまでの経過時間。準備時間の開始イベントは、次のタスクのタスクモードの定義に依存します。準備時間の値は、定義された平均と標準偏差を持つ分布変数のランダムに選択された表現です。これらは、後続のタスクのタスク タイプと、タスクを生成するエミュレートされたユーザーのタイプによって異なります。
- 10準備時間は、次のタスクのタスク モードが 1 の場合は、同じエミュレートされたユーザーの前のタスクの完了から始まり、タスク モードが 0 の場合は、前のタスクの送信から始まります (タスク モードの定義を参照)前のタスクは同じチェーンまたは前のチェーンに属します。
- 11平均準備時間の数学記号はh(i,j)であり、その標準偏差s(i,j)は i 番目のユーザー タイプと j 番目のタスク タイプに対応します。
4.13
評価間隔
SUT が安定した動作状態に達してから、測定結果が必要な統計的有意性を満たしているまでの測定手順の時間間隔。
- 12持続時間の数学記号はT R です。
4.14
相対チェーン頻度
i 番目のタイプのエミュレートされたユーザーによる I 番目のチェーン タイプの使用の相対頻度。
- 13数学記号は、i 番目のユーザー タイプと I 番目のチェーン タイプに対応するq(i,l)です。
4.15
リモートターミナルエミュレータ
RTE
エミュレートされたユーザーのセットを実現するデータ処理システム。
4.16
安定化段階
RTE がタスクの送信を開始してから、SUT が安定した動作状態に達するまでの測定手順の時間間隔。
4.17
補走
測定結果が必要な統計的有意性を満たした時点から、評価期間中に提出されたすべてのタスクが完了する時点までの測定手順の時間間隔。
4.18
テスト中のシステム
SUT
テストされる CBSS の部分。 SUT の時間動作に影響を与える可能性のあるすべてのコンポーネントは SUT の一部であるものとし、その影響が何らかのワークロードに依存する場合、このワークロードは RTE によっても表されるものとします。時間動作への影響が不可能または明らかでない場合を除き、他の部分のエミュレーションは省略される場合があります。
- 14 SUT は、ハードウェア、システム ソフトウェア、データ通信機能、アプリケーション ソフトウェア、あるいはそれらの組み合わせで構成されます。システムの一部をテストするということは、テスト対象の部分の時間動作に影響を与える可能性のあるシステムのすべての部分が SUT の不可欠な部分であることを意味します。たとえば、1 つのホスト アプリケーションの時間動作を同じホスト アプリケーションと一緒にテストします。ホストでは、すべてのアプリケーションのワークロードを、代表的なワークロード パラメータ セットを使用して RTE によって定義し、エミュレートする必要があります。
4.19
タスク.タスク
以下の組み合わせ:
4.20
タスクの完了
特定のタスクの出力文字列全体、または出力文字列のセットの場合はすべての部分がエミュレートされたユーザーまたは別のインスタンスに完全に受信されたときのタイムリーなイベント。タスクがユーザーに出力を送信しない場合(つまり、測定中:RTE に)、タスクの完了を示す「人工出力」を生成する機能を、測定中に使用するためにタスクに追加できます。
- 15タスクの完了時刻は、前の準備時間の終了時刻と次のタスクの実行時間の開始時刻を定義します。
- 16受信した出力の正確性は、タスクの計算結果をチェックすることによって検証されます (6.4.3 を参照、詳細については 10.3.1 および 13.1 を参照)
4.21
タスクモード
ユーザーの準備時間が、前のタスクのタスク送信直後に始まるか (値 = 0, つまり「待機なし」)、または前のタスクが完了したとき (タスク完了) に始まるか (値 = 1, つまり「待機」) を示します。 )。
- 17これは、UNIX ベースのシステムにおける「ダイアログ」または「バッチ」の標準的な使用モードではありません。
- 18タスクモードの数学記号は、j 番目のタスクタイプに対応するM(j)です。
4.22
タスクの提出
SUT がすぐに実行を開始するかどうかに関係なく、入力文字列がエミュレートされたユーザーから SUT に完全に送信され、タスクの実行が開始される場合のタイムリーなイベント。タスクの送信は、これらのタスクに対するエミュレートされたユーザーのアクションが終了する時間によっても示されます。この国際標準に従って、SUT が入力文字列を受信または解釈したとき、または入力文字列を受信および解釈した後に SUT によって送信される受信文字列が送信されたとき、タスクの送信はイベントによって定義 (および測定) されないものとします。 、エミュレートされたユーザーが受信します。
エントリへの注記 1:通常、タスクの送信は、入力文字列の末尾または入力文字列のいくつかの部分の末尾にある特殊文字 (例: キャリッジ リターン) または文字シーケンスの送信によって内部的に定義されることがよくあります。従来のバッチ タスクの場合、タスク送信イベントは、文字列内の指定された数の文字の最後の文字の送信によって定義されることがあります。順序。
4.23
タスクの種類
- アクティビティ タイプ、またはすべてが同一の適時性機能およびタスク モードに属するアクティビティ タイプのセット。
- 適時性機能。
- タスクモード。
注 1:エミュレートされたユーザーは、これらのタイプのタスクのみを SUT に送信します。
注記 2:タスク・タイプの現在の番号を表す数学記号はj です。タスクの種類の総数はm です。
4.24
スループット
SUT に送信されたタスク タイプのすべてのタスクのレート (つまり、評価間隔に対する時間単位あたりの平均数)
注記 1:数学記号は、j 番目のタスクタイプに対応するB(j)です。
注記 2:通常、スループットは、一定期間内に終了したタスクの割合によって定義されます。この標準では「ヘッド実行」ではなく補助実行を指定するため、この標準ではスループットは送信されたタスクの割合によって定義されます。それにもかかわらず、タスクが正しく完了したかどうかは、タスクの計算結果をチェックすることによって検証されます。
4.25
スループット評価値
(実際の) スループットとスループット基準値の商 (j 番目のタスク タイプに対応)
注記 1:数学記号は、j 番目のタスクタイプに対応するR th (j)です。
4.26
スループット参考値
エミュレートされたユーザーのセットに必要な最小スループット。
注記 1:数学記号は、j 番目のタスクタイプに対応するB Ref (j)です。
4.27
タイムクラス
(特定のタスク タイプの) タスクの数 (対応する制限時間以下の実行時間) と (その特定のタスク タイプの) タスクの総量の比率に対応する相対頻度と組み合わせた制限時間。タスク タイプ)、(その特定のタスク タイプの) タスクの実行時間との比較に使用されます。
注記 1: j 番目のタスク・タイプの時間クラスの合計数を表す数学記号はz(j)です。制限時間はgT(j,c)です。 where j はタスクタイプの現在の番号、 c 時間クラスの現在の番号で、1 からz(j) まで実行されます。相対周波数は、制限時間 g T (j,c) に対応するr T (j,c)ですT
4.28
適時性評価値
タイムリーなスループットと合計スループットの商 (j 番目のタスク タイプに対応)
注記 1:数学記号は、j 番目のタスクタイプに対応するR ti (j)です。
4.29
適時性機能
特定のタスク タイプのタスクの実行時間に関するユーザー要件の説明。 1 つ以上の時間クラスで構成されます。制限時間の最も高い時間クラスの相対頻度は 1.0 (つまり = 100%) となります。
注記 1: j 番目のタスクタイプに対応する適時性関数はz(j)時間クラスで構成され、各時間クラスは数値gT(j,c)とr T (j,c) のペアで構成されます。
| タスクの種類 | タイムクラス | 時間クラス制限 | 相対クラス頻度 |
|---|---|---|---|
| j = 4 | c = 1 | g T (4.1) = 1.5 秒 | r T (4,1) =0.9 |
| j = 4 | c = 2 | g T (4.2) =4.0 秒 | r T (4.2) = 1.0 |
4.30
タイムリーなスループット
適時性機能に関して実行時間が許容されるすべてのタスクのスループット。
注記 1:数学記号は、j 番目のタスクタイプに対応するE(J)です。
4.31
ユーザー.ユーザー
タスクを送信し、計算結果を受け取ることによって、端末 (または同等のマシン ユーザー インターフェイス) を介して CBSS の機能を使用する人 (またはインスタンス)
4.32
ユーザータイプ
- チェーンタイプの使用の相対頻度。
- 準備時間(平均値とその標準偏差)。
セクション 2 測定と評価の原則
セクション 3 測定と評価の詳細な手順
4 Definitions
For the purposes of this International Standard, the following definitions apply.
4.1
activity
An order submitted to the system under test (SUT) by a user or an emulated user demanding the execution of a data processing operation according to a defined algorithm to produce specific output data from specific input data and (if requested) stored data.
4.2
activity type
A classification of activities defined by the execution of the same algorithm.
4.3
chain
One or more tasks submitted to the SUT in a defined sequence.
4.4
chain type
A classification of chains which is defined by the sequence of tasks types.
- 2 The emulated users submit only chains of specified chain types to the SUT.
- 3 The mathematical symbol for the current number of the chain type is I. The mathematical symbol for the total number of chain types is u.
4.5
computer-based software system
CBSS
A software system running on a computer.
Note 1 to entry: A CBSS may be a data processing system as seen by human users at their terminals or at equivalent machine-user-interfaces. It includes hardware and all software (system software and application software) which is necessary for realizing data processing functions required by its users.
4.6
emulated user
The imitation of a user, with regard to the tasks he submits and his time behaviour, realized by a technical system.
4.7
execution time
The time which elapses between task submission and completion.
- 5 In case of a task is representing a batch job the execution time is the elapsed time for the completion of the job. In case of an interactive task the execution time is the response time (submit until complete response) of the task.
- 6 The reader should notify that the definition (and therefore the measurement and rating) of the begin and end of the execution time does not depend on the task mode. In case of"NO WAIT" task mode for the following task it is possible and solved by the method described in this Intentional Standard, that the execution time of the following task may overlap one or more preparation and execution times of subsequent tasks of the same emulated user.
4.8
mean execution time
The mean value of all execution times of tasks of the j-th task type which were submitted within the rating interval.
Note 1 to entry: The mathematical symbol is TME (j) corresponding to the j-th task type.
4.9
mean execution time rating value
The quotient (corresponding to the j-th task type) of the mean execution time reference value and the measured mean execution time.
Note 1 to entry: The mathematical symbol is RME (j) corresponding to the j-th task type.
4.10
mean execution time reference value
The mean execution time maximally accepted by the emulated user. It shall be computed from the workload parameter set (see 9.1.1, 15.2.1 and clause B.1).
- 9 The mathematical symbol is TRef(j) corresponding to the j-th task type.
4.11
observation period
The time interval ここで, the measurement procedure is observed for collecting (logging) measurement results for rating or validation, consisting of the rating interval and the supplementary run.
4.12
preparation time
The time which elapses before the task submission. The event of starting the preparation time depends on the definition of the task mode of the following task. The preparation time value is the random chosen representation of an distributed variable with a defined mean and a standard deviation. They depend on the task type of the following task and the type of the emulated user generating the task.
- 10 The preparation time starts with the preceding task completion of the same emulated user if task mode of the following task equals 1, it starts with the preceding task submission if task mode equals 0, (see definition of task mode), regardless whether the preceding task belongs to the same chain or to the preceding chain.
- 11 The mathematical symbol of the mean preparation time is h(i,j) with its standard deviation s(i,j) corresponding to the i-th user type the j-th task type.
4.13
rating interval
The time interval of the measurement procedure from the time the SUT reaches a stable state of operation to the time the measurement results are fulfilling the required statistical significance.
- 12 The mathematical symbol of the duration is TR.
4.14
relative chain frequency
The relative frequency of using the I-th chain type by an emulated user of the i-th type.
- 13 The mathematical symbol is q(i,l) corresponding to the i-th user type and the I-th chain type.
4.15
remote terminal emulator
RTE
A data processing system realizing a set of emulated users.
4.16
stabilization phase
The time interval of the measurement procedure when the RTE starts submitting tasks until the SUT reaches a stable state of operation.
4.17
supplementary run
The time interval of the measurement procedure from the time the measurement results fulfil the required statistical significance to the time when all tasks, which were submitted during the rating interval, are completed.
4.18
system under test
SUT
The parts of the CBSS to be tested. All components which may influence the SUT's time behaviour shall be part of the SUT and if the influence depends on some workload, this workload shall be represented by the RTE too. Except if an influence to the time behaviour is impossible or not evident the emulation of the parts beside may be omitted.
- 14 The SUT may consist of hardware, system software, data communication features or application software or a combination of them. Testing a part of a system, means that all parts of the system, which may influence the time behaviour of the part to be tested, are an integral part of the SUT, e.g. testing the time behaviour of one host application beside others on the same host, the workload of all applications have to be defined and emulated by the RTE with a representative workload parameter set.
4.19
task
The combination of:
4.20
task completion
Timely event when for a specific task the total output string or, in case of a set of output strings, all parts are completely received by to the emulated user or another instance. If the task does not submit an output to the user (i.e.: during the measurement: to the RTE) a functionality, producing an „artificial output", indicating the task completion, may be added to the task for usage during the measurement.
- 15 The time of task completion defines the end time of the preceding preparation time and the begin time of the execution time of the following task.
- 16 The correctness of the received output is validated by checking the computational result of the task (see 6.4.3, and in more detail 10.3.1 and 13.1).
4.21
task mode
Indication of whether the user's preparation time begins immediately with the task submission of the preceding task (value = 0, i.e."NO WAIT") or begins when the preceding task has been completed (task completion) (value = 1, i.e."WAIT").
- 17 This is not standard usage mode of"Dialog" or"Batch" in UNIX based systems.
- 18 The mathematical symbol of the task mode is M(j) corresponding to the j-th task type.
4.22
task submission
Timely event when the input string is completely submitted from the emulated user to the SUT and the execution of the task may start, regardless if the SUT starts the execution immediately or not. The task submission is also indicated by the time when the action of the emulated user for this tasks ends. Following this International Standard, the task submission shall not be defined (and measured) by the event, when the SUT has received or interpreted the input string or when a receipt string, which may be send by the SUT after receiving and interpreting the input string, is received by the emulated user.
Note 1 to entry: Normally the task submission is defined internally by the submission of a special character (e.g. Carriage Return) or a character sequence at the end of the input string or at the end of several parts of the input string. Also it often happens that the task submission event is defined by the submission of the last character of an specified number characters in a string. For a classic batch task the task submission may be defined by the submission of the last character of the last string of the batch command sequence.
4.23
task type
- the activity type, or a set of activity types which are all belonging to an identical timeliness function and task mode;
- the timeliness function;
- the task mode.
Note 1 to entry: Emulated users submit only these types of tasks to the SUT.
Note 2 to entry: The mathematical symbol for the current number of the task type is j. The total number of task types is m.
4.24
throughput
The rate (i.e. the average number per time unit with respect to the rating interval) of all tasks of a task type submitted to the SUT.
Note 1 to entry: The mathematical symbol is B(j) corresponding to the j-th task type.
Note 2 to entry: Usually throughput is defined by the rate of terminated tasks during a period of time. In order to specify a supplementary run and not a"heads run" in this standard, throughput is defined in this standard by the rate of tasks submitted. Nevertheless the correct task completion is validated by checking the computational result of the task.
4.25
throughput rating value
The quotient (corresponding to the j-th task type) of the (actual) throughput and the throughput reference value.
Note 1 to entry: The mathematical symbol is Rth(j) corresponding to the j-th task type.
4.26
throughput reference value
The minimum throughput required by the set of emulated users.
Note 1 to entry: The mathematical symbol is BRef(j) corresponding to the j-th task type.
4.27
time class
A time limit, combined with a relative frequency corresponding to the ratio of the number of tasks (of a specific task type) - with an execution time less than or equal to the corresponding time limit - to the total amount of tasks (of that particular task type), used for comparison with the execution time of a task (of that particular task type).
Note 1 to entry: The mathematical symbol for the total number of time classes of the j-th task type is z(j) ; the time limit is gT(j,c) where j is the current number of the tasktype and c is the current number of the time class, running from 1 to z(j); the relative frequency is rT(j,c) corresponding to the time limit gT(j,c).
4.28
timeliness rating value
The quotient (corresponding to the j-th task type) of the timely throughput and the total throughput.
Note 1 to entry: The mathematical symbol is Rti(j) corresponding to the j-th task type.
4.29
timeliness function
A description of the user requirements with respect to the execution times of tasks of a specific task type. It consists of one or more time classes. The relative frequency of the time class with the highest time limit shall be 1.0 (i.e. = 100%).
Note 1 to entry: The timeliness function corresponding to the j-th task type consists of z(j) time classes, each time class consisting of the pairs of numbers gT(j,c) and rT(j,c).
| task type | time class | time class limit | relative class frequency |
|---|---|---|---|
| j = 4 | c = 1 | gT(4,1) = 1,5 sec | rT (4,1) =0,9 |
| j = 4 | c = 2 | gT(4,2) =4,0 sec | rT (4,2) = 1,0 |
4.30
timely throughput
Throughput of all of those tasks whose execution times are accepted with respect to the timeliness function.
Note 1 to entry: The mathematical symbol is E(J) corresponding to the j-th task type.
4.31
user
A person (or instance) who uses the functions of a CBSS via a terminal (or an equivalent machine-user-interface) by submitting tasks and receiving the computed results.
4.32
user type
- the relative frequencies of the use of chain types;
- the preparation times (mean values and their standard deviations).