この規格 プレビューページの目次
※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
序文
ISO (国際標準化機構) と IEC (国際電気標準会議) は、世界標準化のための専門システムを形成しています。 ISO または IEC のメンバーである各国団体は、特定の技術活動分野に対処するためにそれぞれの組織によって設立された技術委員会を通じて国際規格の開発に参加しています。 ISO と IEC の技術委員会は、相互に関心のある分野で協力します。政府および非政府の他の国際機関も、ISO および IEC と連携してこの作業に参加しています。
この文書の作成に使用される手順と、そのさらなる保守を目的とした手順は、ISO/IEC 指令第 1 Part に記載されています。特に、さまざまなタイプの文書に必要なさまざまな承認基準に注意する必要があります。この文書は、ISO/IEC 指令Part 2 部の編集規則に従って起草されました ( www.iso.org/directives or www.iec.ch/members_experts/refdocs を 参照)
この文書の要素の一部が特許権の対象となる可能性があることに注意してください。 ISO および IEC は、そのような特許権の一部またはすべてを特定する責任を負わないものとします。文書の作成中に特定された特許権の詳細は、序論および/または受領した特許宣言の ISO リスト ( www.iso.org/patents を参照)、または受領した特許宣言の IEC リスト ( patents.iec.ch を参照) に記載されます。
本書で使用されている商号は、ユーザーの便宜のために提供された情報であり、推奨を構成するものではありません。
規格の自主的な性質の説明、適合性評価に関連する ISO 固有の用語と表現の意味、および貿易技術的障壁 (TBT) における世界貿易機関 (WTO) 原則への ISO の準拠に関する情報については、 www.iso.org/iso/foreword.html を 参照してください。 IEC については、 www.iec.ch/ Understanding-standards を参照してください。
この文書は、ISO/IEC JTC 1 合同技術委員会、情報技術、小委員会 SC 29, オーディオ、画像、マルチメディアおよびハイパーメディア情報のコーディングによって作成されました。
ISO/IEC 21794 シリーズのすべての部品のリストは、ISO の Web サイトでご覧いただけます。
導入
この文書は、JPEG Pleno として知られるシステムの一連の標準の一部です。この文書は JPEG Pleno フレームワークを定義します。これにより、プレノプティック イメージング モダリティのキャプチャ、表現、交換、視覚化が容易になります。プレノプティック画像モダリティは、ライト フィールド、点群、またはホログラムにすることができます。これらは、それぞれ、離散化された光線のセットの放射輝度、位置および属性情報を持つ点の集合、または複雑な波面を表すベクトル関数の形式でプレノプティック関数のサンプリング表現です。プレノプティック関数は、3D 空間座標のすべての視点、すべての視野角、およびすべての波長にピンホール カメラを配置することによって得られる時間および空間の放射を記述し、結果として 7D 関数が得られます。
JPEG Pleno は、データとメタデータの操作、編集、ランダム アクセスと対話、プライバシーと所有権の保護などの高度な機能をシステム レベルで提供しながら、これらのモダリティをコーディングするためのツールを指定します。
1 スコープ
この文書は、ライトフィールドモダリティおよびライトフィールドモダリティ固有の関連メタデータ記述子を保存するためのコード化されたコードストリーム形式を指定します。このドキュメントでは、エンコード ツールに関する情報も提供します。
2 規範的参照
以下の文書は、その内容の一部またはすべてがこの文書の要件を構成する形で本文中で参照されています。日付が記載された参考文献については、引用された版のみが適用されます。日付のない参照については、参照文書の最新版 (修正を含む) が適用されます。
- ITU-T 勧告 T.800 | ISO/IEC 15444-1, 情報技術 — JPEG 2000 画像コーディング システム — Part 1: コア コーディング システム
- ITU-T 勧告 T.801 | ISO/IEC 15444-2, 情報技術 — JPEG 2000 画像コーディング システム — Part 2: 拡張機能
- ISO/IEC 21794-1:2020, 情報技術 — Plenoptic 画像コーディング システム (JPEG Pleno) — Part 1: フレームワーク
- ISO/IEC 60559, 情報技術 — マイクロプロセッサ システム — 浮動小数点演算
3 用語と定義
この文書の目的のために、ISO/IEC 21794-1 および以下に示されている用語と定義が適用されます。
ISO と IEC は、標準化に使用する用語データベースを次のアドレスで維持しています。
3.1
算術コーダ
可変長文字列を可変長コードに変換 (エンコード)、またはその逆に変換 (デコード) するエントロピー コーダー
3.2
ビットプレーン
ビットの 2 次元配列
3.3
4Dビットプレーン
ビットの 4 次元配列
3.4
係数
変換または線形回帰の結果である数値
3.5
圧縮
ソース画像データを表現するために使用されるビット数の削減
3.6
深さ
3D 空間内の点からカメラ平面までの距離
3.7
格差の見方
サブアパーチャ ビューの各ピクセルについて、水平軸または垂直軸に沿った 2 つのサブアパーチャ ビュー間の見かけのピクセル シフトが含まれる画像
3.8
ヘキサデカツリー
4D 領域を 16 の 4D サブ領域に分割する
3.9
ピクセル
すべて同じサンプル座標を持つ空間画像領域のサンプル値の集合
例：
ピクセルは、赤、緑、青の値を記述する 3 つのサンプルで構成されます。
3.10
プレノプティック機能
3D 空間座標のすべての視点、すべての視野角、すべての波長にピンホール カメラを配置することで、時間と空間の放射量を計算し、7D 表現を実現します。
3.11
参照ビュー
中間ビューを生成するための参照の 1 つとして使用されるサブアパーチャ ビュー
3.12
サブアパーチャビュー
サブアパーチャ画像
特定の視点と視野角に配置されたピンホール カメラによって 3D シーンを撮影した画像
3.13
テクスチャ.テクスチャ
ピクセル属性
例：
色情報、不透明度など
3.14
変身
変換
ある信号空間から別の信号空間への数学的マッピング
参考文献
| 1 | Richard Hartley および Andrew Zisserman, 2003 年。コンピュータ ビジョンにおけるマルチ ビュー ジオメトリ (第 2 版)ケンブリッジ大学出版局、ニューヨーク州ニューヨーク州、米国。 |
| 2 | Hu Y.、Song R.、Li Y.、「大変位オプティカル フローに対する効率的な粗密パッチ マッチ」、2016 IEEE Conference on Computer Vision and Pattern Recognitio, ネバダ州ラスベガス、2016 年、5704-5712 ページ。 |
| 3 | Shin C, Jeon H, Yoon Y, Kweon IS, Kim SJ, EPINET: A Fully-Convolutional Neural Network using Epipolar Geometry for Depth from Light Field Images, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, ソルトレークシティ、ユタ州、2018 年、4748 ～ 4757 ページ。 |
| 4 | Rüefenacht D.、Naman AT, Mathew R.、Taubman D.、「マルチビュー画像の高度にスケーラブルでアクセス可能な圧縮のためのベース アンカー モデル」、IEEE Transactions on Image Processing, vol. 28, no. 3205-3218, 2019 年 7 月。 |
| 5 | Astola P.、Tabus I.、「線形予測と JPEG 2000 を組み合わせた HDCA 画像のライト フィールド圧縮」、2018 年第 26 回欧州信号処理会議 (EUSIPCO)、1860-1864 ページ。 |
| 6 | Astola P.、Tabus I.、「WaSP: Hierarchical Warping, Merging, and Sparse Prediction for Light Field Image Compression」、2018 年の第 7 回視覚情報処理欧州ワークショップ (EUVIP) |
Foreword
ISO (the International Organization for Standardization) and IEC (the International Electrotechnical Commission) form the specialized system for worldwide standardization. National bodies that are members of ISO or IEC participate in the development of International Standards through technical committees established by the respective organization to deal with particular fields of technical activity. ISO and IEC technical committees collaborate in fields of mutual interest. Other international organizations, governmental and non-governmental, in liaison with ISO and IEC, also take part in the work.
The procedures used to develop this document and those intended for its further maintenance are described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the different types of document should be noted. This document was drafted in accordance with the editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives or www.iec.ch/members_experts/refdocs ).
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent rights. ISO and IEC shall not be held responsible for identifying any or all such patent rights. Details of any patent rights identified during the development of the document will be in the Introduction and/or on the ISO list of patent declarations received (see www.iso.org/patents ) or the IEC list of patent declarations received (see patents.iec.ch ).
Any trade name used in this document is information given for the convenience of users and does not constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and expressions related to conformity assessment, as well as information about ISO's adherence to the World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www.iso.org/iso/foreword.html . In the IEC, see www.iec.ch/understanding-standards .
This document was prepared by Joint Technical Committee ISO/IEC JTC 1, Information technology, Subcommittee SC 29, Coding of audio, picture, multimedia and hypermedia information.
A list of all parts in the ISO/IEC 21794 series can be found on the ISO website.
Introduction
This document is part of a series of standards for a system known as JPEG Pleno. This document defines the JPEG Pleno framework. It facilitates the capture, representation, exchange and visualization of plenoptic imaging modalities. A plenoptic image modality can be a light field, point cloud or hologram, which are sampled representations of the plenoptic function in the form of, respectively, a vector function that represents the radiance of a discretized set of light rays, a collection of points with position and attribute information, or a complex wavefront. The plenoptic function describes the radiance in time and in space obtained by positioning a pinhole camera at every viewpoint in 3D spatial coordinates, every viewing angle and every wavelength, resulting in a 7D function.
JPEG Pleno specifies tools for coding these modalities while providing advanced functionality at system level, such as support for data and metadata manipulation, editing, random access and interaction, protection of privacy and ownership rights.
1 Scope
This document specifies a coded codestream format for storage of light field modalities as well as associated metadata descriptors that are light field modality specific. This document also provides information on the encoding tools.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content constitutes requirements of this document. For dated references, only the edition cited applies. For undated references, the latest edition of the referenced document (including any amendments) applies.
- ITU-T Rec. T.800 | ISO/IEC 15444-1, Information technology — JPEG 2000 image coding system — Part 1: Core coding system
- ITU-T Rec. T.801 | ISO/IEC 15444-2, Information technology — JPEG 2000 image coding system — Part 2: Extensions
- ISO/IEC 21794-1:2020, Information technology — Plenoptic image coding system (JPEG Pleno) — Part 1: Framework
- ISO/IEC 60559, Information technology — Microprocessor Systems — Floating-Point arithmetic
3 Terms and definitions
For the purposes of this document the terms and definitions given in ISO/IEC 21794-1 and the following apply.
ISO and IEC maintain terminological databases for use in standardization at the following addresses:
3.1
arithmetic coder
entropy coder that converts variable length strings to variable length codes (encoding) and vice versa (decoding)
3.2
bit-plane
two-dimensional array of bits
3.3
4D bit-plane
four-dimensional array of bits
3.4
coefficient
numerical value that is the result of a transformation or linear regression
3.5
compression
reduction in the number of bits used to represent source image data
3.6
depth
distance of a point in 3D space to the camera plane
3.7
disparity view
image that for each pixel of the subaperture view contains the apparent pixel shift between two subaperture views along either horizontal or vertical axis
3.8
hexadeca-tree
division of a 4D region into 16 (sixteen) 4D subregions
3.9
pixel
collection of sample values in the spatial image domain having all the same sample coordinates
EXAMPLE:
A pixel may consist of three samples describing its red, green and blue value.
3.10
plenoptic function
amount of radiance in time and in space by positioning a pinhole camera at every viewpoint in 3D spatial coordinates, every viewing angle and every wavelength, resulting in a 7D representation
3.11
reference view
subaperture view that is used as one of the references to generate the intermediate views
3.12
subaperture view
subaperture image
image taken of the 3D scene by a pinhole camera positioned at a particular viewpoint and viewing angle
3.13
texture
pixel attributes
EXAMPLE:
Colour information, opacity, etc.
3.14
transform
transformation
mathematical mapping from one signal space to another
Bibiliography
| 1 | Richard Hartley and Andrew Zisserman, 2003. Multiple View Geometry in Computer Vision (2 ed.). Cambridge University Press, New York, NY, USA. |
| 2 | Hu Y., Song R., Li Y., Efficient Coarse-to-Fine Patch Match for Large Displacement Optical Flow," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 5704-5712. |
| 3 | Shin C., Jeon H., Yoon Y., Kweon I.S., Kim S.J., EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, 2018, pp. 4748-4757. |
| 4 | Rüefenacht D., Naman A. T., Mathew R., Taubman D., Base-Anchored Model for Highly Scalable and Accessible Compression of Multiview Imagery," in IEEE Transactions on Image Processing, vol. 28, no. 7, pp. 3205-3218, July 2019. |
| 5 | Astola P., Tabus I., “Light Field Compression of HDCA Images Combining Linear Prediction and JPEG 2000”, 2018 26th European Signal Processing Conference (EUSIPCO), pp. 1860-1864. |
| 6 | Astola P., Tabus I., “WaSP: Hierarchical Warping, Merging, and Sparse Prediction for Light Field Image Compression”, in 2018 7th European Workshop on Visual Information Processing (EUVIP). |