この規格 プレビューページの目次
※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
序章
このドキュメントでは、再構成可能なビデオ コーディング (RVC) フレームワークでコーデック構成を記述できるメソッドを定義します。 RVC の目的は、ビデオ コーディング ツールを使用して、ビデオ コーデックを「高レベル」モジュールのコレクションとして構成および指定できるフレームワークを提供することです。ビデオ コーディング ツールは、ビデオ ツール ライブラリで定義されています。 ISO/IEC 23002-4 は、MPEG ビデオ ツール ライブラリを定義しています。 RVC フレームワークの原則は、MPEG 以外のツール ライブラリもサポートできます。ただし、開発者が適切な操作規則に従うように注意している場合に限ります。
フレームワークを展開する目的で、1 つ以上のライブラリのビデオ ツールのサブセットで構成またはインスタンス化されたデコーダの構成を説明する適切な説明が必要です。図 1 に示すように、構成情報は以下で構成されます。
- ビットストリーム構文の説明、および
- 機能単位 (FU) 記述のネットワーク (デコーダー構成とも呼ばれます)
これらは全体でデコーダー記述 (DD) を構成します。
既存の MPEG 規格のビットストリームは、特定の構文構造によって指定され、デコーダはさまざまなコーディング ツールで構成されています。したがって、RVC には、ビットストリームの構文記述とビデオ コーディング ツールのサポートが含まれています。図 1 に示すように、典型的な RVC デコーダは 2 種類の情報、つまりデコーダの説明とエンコードされたメディア (ビデオ ビットストリームなど) データを必要とします。
図1 — RVCの概念図
図 2 は、RVC デコーダのより詳細な説明を示しています。
RVC デコーダーの詳細な説明を図 2 に示します。RVC デコーダーの構成には、デコーダーの説明が必要です。 Bitstream Syntax Description (BSD) と FU Network Description (FND) (Decoder Description を構成する) は、ツール ライブラリから FU を選択することでインスタンス化される抽象デコーダ モデル (ADM) を構成または構成するために使用され、オプションで適切なパラメーターが割り当てられます。 .このような ADM は、RVC フレームワークの下でデコード ソリューションを設定する際に使用される動作参照モデルを構成します。デコード ソリューションを生成するプロセスは、目的の実装に使用されるテクノロジによって異なります。抽象デコーダーモデルのインスタンス化と独自のデコードソリューションの生成の例は、付録 I に記載されています。
図 2 — RVC 規範的 ADM および規範的ではない独自規格に準拠したデコーダー実装のためのインスタンス化プロセスまたはデコーダー構成メカニズムのグラフィカル表現
RVC フレームワーク内では、デコーダー記述は特定のデコーダー構成を記述し、FND と BSD で構成されます。 FND はデコーダを形成するために使用される FU のネットワークの接続性を記述しますが、ビットストリーム構文の解析プロセスは BSD によって暗黙的に記述されます。これらの 2 つの説明は、2 つの標準的な XML ベースの言語または方言を使用して指定されます。
- Functional Unit Network Language (FNL) は、「FU のネットワーク」とも呼ばれる FND を記述する言語です。 RVC フレームワークの範囲内で規範的に指定された FNL は、このドキュメントで提供されます。
- ISO/IEC 23001-5 (MPEG-B 5) では、ビットストリームの構文と解析規則について説明しています。 RVC-BSDL という名前のこの BSDL の適切なサブセットは、現在の RVC フレームワークの範囲内で定義されています。この RVC-BSDL には、ビデオ ビットストリームの完全な記述を提供するために必要な、さらなる拡張の可能性も含まれています。 RVC フレームワークの範囲内で規範的に指定された RVC-BSDL は、このドキュメントで提供されます。
FNL を使用して指定されたデコーダー構成は、RVC-BSDL を使用したビットストリーム構文の指定と共に、ADM を完全に指定し、RVC デコーダー記述の「実行可能な」モデルを提供します。
インスタンス化された ADM には、選択された FU とそれらの接続方法に関する情報が含まれています。既に述べたように、ネットワーク接続情報を持つ FND は FNL を使用して表現されます。さらに、RVC フレームワークは、FU の動作を記述するために、RVC-CAL と呼ばれるデータフロー指向の言語を指定して使用します。 RVC-CAL の標準仕様は、このドキュメントで提供されます。 ADM は、RVC 適合デコーダを実装するために参照する必要がある動作モデルです。 RVC準拠のデコードソリューション/実装は、RVC ADMと同等に動作するデコーダーを生成する独自の非規範的なツールとメカニズムを使用して実現できます。
デコーダの説明、MPEG ビデオ ツール ライブラリ、および関連する ADM のインスタンス化は規範的です。より正確には、ADM は行動モデルの観点から規範的であることを意図しています。つまり、規範となるのは、完全な ADM の入出力動作と、ADM に含まれるすべての FU の入出力動作です。
このドキュメントには、RVC フレームワークの実装を容易にするための有益な技術説明も含まれています。 Annex G では、MP4 ファイル形式内のデコーダ構成データの割り当てが導入されています。附属書 H では、RTP を介したデコーダ構成の運搬について説明しています。最後に、附属書 J では、コーデック構成表現と MPEG マルチメディア ミドルウェア (M3W) の間の技術的関係について説明します。
Introduction
This document defines the methods capable of describing codec configurations in the reconfigurable video coding (RVC) framework. The objective of RVC is to offer a framework that is capable of configuring and specifying video codecs as a collection of “higher level” modules by using video coding tools. The video coding tools are defined in the video tool library. ISO/IEC 23002–4 defines the MPEG video tool library. The RVC framework principle could also support non-MPEG tool libraries, provided that their developers have taken care to obey the appropriate rules of operation.
For the purpose of framework deployment, an appropriate description is needed to describe configurations of decoders composed of or instantiated from a subset of video tools from either one or more libraries. As illustrated in Figure 1, the configuration information consists of
- bitstream syntax description, and
- network of functional units (FUs) description (also referred to as the decoder configuration)
that together constitute the entire decoder description (DD).
Bitstreams of existing MPEG standards are specified by specific syntax structures and decoders are composed of various coding tools. Therefore, RVC includes support for bitstream syntax descriptions, as well as video coding tools. As depicted in Figure 1, a typical RVC decoder requires two types of information, namely the decoder description and the encoded media (e.g. video bitstreams) data.
Figure 1—Conceptual diagram of RVC
Figure 2 illustrates a more detailed description of the RVC decoder.
A more detailed description of the RVC decoder is shown in Figure 2, where the decoder description is required for the configuration of an RVC decoder. The Bitstream Syntax Description (BSD) and FU Network Description (FND) (which compose the Decoder Description) are used to configure or compose an abstract decoder model (ADM) which is instantiated through the selection of FUs from tool libraries optionally with proper parameter assignment. Such an ADM constitutes the behavioural reference model used in setting up a decoding solution under the RVC framework. The process of yielding a decoding solution may vary depending on the technologies used for the desired implementations. Examples of the instantiation of an abstract decoder model and generation of proprietary decoding solutions are given in Annex I.
Figure 2—Graphical representation of the instantiation process or decoder composition mechanism for the RVC normative ADM and for the non-normative proprietary compliant decoder implementation
Within the RVC framework, the decoder description describes a particular decoder configuration and consists of the FND and the BSD. The FND describes the connectivity of the network of FUs used to form a decoder whereas the parsing process for the bitstream syntax is implicitly described by the BSD. These two descriptions are specified using two standard XML-based languages or dialects:
- Functional Unit Network Language (FNL) is a language that describes the FND, known also as “network of FUs”. The FNL specified normatively within the scope of the RVC framework is provided in this document;
- Bitstream Syntax Description Language (BSDL), standardized in ISO/IEC 23001-5 (MPEG-B 5), describes the bitstream syntax and the parsing rules. A pertinent subset of this BSDL named RVC-BSDL is defined within the scope of the current RVC framework. This RVC-BSDL also includes possibilities for further extensions, which are necessary to provide complete description of video bitstreams. RVC-BSDL specified normatively within the scope of the RVC framework is provided in this document.
The decoder configuration specified using FNL, together with the specification of the bitstream syntax using RVC-BSDL fully specifies the ADM and provides an “executable” model of the RVC decoder description.
The instantiated ADM includes the information about the selected FUs and how they should be connected. As already mentioned, the FND with the network connection information is expressed by using FNL. Furthermore, the RVC framework specifies and uses a dataflow-oriented language called RVC-CAL for describing FUs' behaviour. The normative specification of RVC-CAL is provided in this document. The ADM is the behavioural model that should be referred to in order to implement any RVC conformant decoder. Any RVC compliant decoding solution/implementation can be achieved by using proprietary non-normative tools and mechanisms that yield decoders that behave equivalent to the RVC ADM.
The decoder description, the MPEG video tool library, and the associated instantiation of an ADM are normative. More precisely, the ADM is intended to be normative in terms of a behavioural model. In other words, what is normative is the input/output behaviour of the complete ADM, as well as the input/output behaviour of all the FUs that are included in the ADM.
This document also includes informative technical descriptions to facilitate implementation of the RVC framework. In Annex G, allocation of the decoder configuration data within MP4 file format is introduced. In Annex H, carriage of the decoder configuration over RTP is described. Finally, in Annex J, technical relation between the codec configuration representation and the MPEG multimedia middleware (M3W) is described.