この規格 プレビューページの目次
※一部、英文及び仏文を自動翻訳した日本語訳を使用しています。
序文
ISO (国際標準化機構) と IEC (国際電気標準会議) は、世界標準化のための専門システムを形成しています。 ISO または IEC のメンバーである各国機関は、特定の技術活動分野に対処するためにそれぞれの組織によって設立された技術委員会を通じて国際規格の開発に参加しています。 ISO と IEC の技術委員会は、相互に関心のある分野で協力します。政府および非政府の他の国際機関も、ISO および IEC と連携してこの作業に参加しています。
この文書の作成に使用される手順と、そのさらなる保守を目的とした手順は、ISO/IEC 指令Part に記載されています。特に、さまざまなタイプの文書に必要なさまざまな承認基準に注意する必要があります。この文書は、ISO/IEC 指令第 2 Part の編集規則に従って起草されました ( www.iso.org/directives or www.iec.ch/members_experts/refdocs を参照)
ISO および IEC は、この文書の実装に特許の使用が含まれる可能性があることに注意を促しています。 ISO および IEC は、請求された特許権の証拠、有効性、または適用可能性に関していかなる立場もとりません。この文書の発行日の時点で、ISO および IEC は、この文書の実装に必要とされる可能性のある特許の通知を受け取っていません。ただし、実装者は、これが www.iso.org/patents および https://patents.iec.ch で入手可能な特許データベースから取得できる最新情報を表していない可能性があることに注意してください。 ISO および IEC は、そのような特許権の一部またはすべてを特定する責任を負わないものとします。
本書で使用されている商号は、ユーザーの便宜のために提供された情報であり、推奨を構成するものではありません。
規格の自主的な性質の説明、適合性評価に関連する ISO 固有の用語と表現の意味、および貿易の技術的障壁 (TBT) における世界貿易機関 (WTO) 原則への ISO の準拠に関する情報については、 www を 参照してください。 .iso.org/iso/foreword.html IEC については、 www.iec.ch/ Understanding-standards を参照してください。
この文書は、ISO/IEC JTC 1 合同技術委員会、情報技術、小委員会 SC 29, オーディオ、画像、マルチメディアおよびハイパーメディア情報のコーディングによって、ITU-T (ITU-T ツイン H.Sup-FGST として) と協力して作成されました。 。
ISO/IEC 23002 シリーズのすべての部品のリストは、ISO および IEC の Web サイトでご覧いただけます。
導入
フィルム グレイン合成テクノロジは、特定のビデオ アプリケーションに対して主観的な品質上の利点を提供し、ビデオ圧縮の効果的な向上に使用できます。このような技術の使用には、圧縮前のビデオまたは画像信号に存在するフィルムグレインやセンサーノイズを低減するための前処理が含まれる場合があります。メタデータ情報はデコーダに伝達され、圧縮デコード プロセスに続く後処理段階として、元のコンテンツと同様の特性を持つノイズを合成するために使用されます。このメタデータは、いくつかのビデオコーディング規格でサポートされている補足拡張情報メッセージなどの適切なメカニズムを使用して通知できます。
このドキュメントでは、消費者向けの配布アプリケーション向けに、フィルム グレインとセンサー ノイズの除去、推定、パラメータ化、合成、ブレンディングのエンドツーエンドの処理ステップの参照可能な概要を提供します。このドキュメントには、現在定義されているいくつかのテクノロジーのグレイン ブレンディングのためのエンコーダ側およびデコード後の処理ステップの例が含まれています。
1 スコープ
この文書では、ITU-T H.264 | Rec での使用を含む、ビデオ アプリケーションにおけるフィルム グレイン合成テクノロジについて説明します。 ISO/IEC 14496-10, ITU-T H.265 | ISO/IEC 23008-2 および ITU-T H.266 | ISO/IEC 23090-
2 規範的参照
以下の文書は、その内容の一部またはすべてがこの文書の要件を構成する形で本文中で参照されています。日付が記載された参考文献については、引用された版のみが適用されます。日付のない参照については、参照文書の最新版 (修正を含む) が適用されます。
- ITU-T H.264 | ISO/IEC 14496-10, 情報技術 — オーディオビジュアル オブジェクトのコーディング — Part 10: 高度なビデオ コーディング
- ITU-T H.265 | ISO/IEC 23008-2, 情報技術 — 異種環境における高効率コーディングとメディア配信 — Part 2: 高効率ビデオコーディング
- ITU-T H.266 | ISO/IEC 23090-3, 情報技術 — イマーシブメディアのコード化表現 — Part 3: 多用途ビデオコーディング
- ITU-T H.274 | ISO/IEC 23002-7, 情報技術 - MPEG ビデオ テクノロジ - Part 7: コード化されたビデオ ビットストリームに対する多用途の補足拡張情報メッセージ
3 用語と定義
この文書では、ITU-T H.264 | に記載されている用語と定義を使用します。 ISO/IEC 14496-10, ITU-T H.265 | ISO/IEC 23008-2, ITU-T H.266 | ISO/IEC 23090-3 および ITU-T H.274 | ISO/IEC 23002-7 が適用されます。
ISO と IEC は、標準化に使用する用語データベースを次のアドレスで維持しています。
参考文献
| 1 | E. アレン、S. Triantaphillidou, 『写真マニュアル』 。 CRC プレス、2012 |
| 2 | C. Gomila および A. Kobilansky, フィルム グレイン エンコーディング用の SEI メッセージ、文書 JVT-H022, 2003 年 5 月 |
| 3 | D. Grois, A. Giladi, 高ダイナミック レンジ H.265/MPEG-HEVC ビデオ コーディングのための知覚量子化行列、議事録 SPIE 11137, デジタル画像処理 XLII の応用、111370O, SPIE, 2020 年 2 月。doi: 10.1117/12.2525406 |
| 4 | D. Grois, A. Giladi, モバイル デバイス向け HDR HEVC ビデオ コーディングのための HVS ベースの知覚量子化行列、国際放送会議 (IBC) 、2020 年 9 月 |
| 5 | SMPTE RDD 5-2006, H.264 のフィルム グレイン テクノロジー仕様 | MPEG-4 AVC ビットストリーム |
| 6 | ITU-T H.266.2 | ISO/IEC 23090-16, ITU-T H.266 多用途ビデオコーディングのリファレンス ソフトウェア |
| 7 | ITU-T H.265.2 | ISO/IEC 23008-5, ITU-T H.265 高効率ビデオコーディングのリファレンス ソフトウェア |
| 8 | Alliance for Open Media, AOMedia フィルム グレイン合成仕様バージョン 1.0., 2024 年 1 月 https://aomediacodec.github.io/afgs1-spec/ |
| 9 | A. Norkin および N. Birkbeck, AV1 ビデオ コーデックのフィルム グレイン合成、 IEEE データ圧縮会議 (DCC) 議事録、 2018 年。doi: 10.1109/DCC.2018.00008 |
| 10 | T. Brooks, B. Mildenhall, T. Xue, J. Chen, D. Sharlet, JT Barron, 学習された生のノイズ除去のための画像の処理、コンピューター ビジョンとパターン認識に関する IEEE/CVF 会議議事録、2019 年。doi: 10.1109/ CVPR.2019.01129 |
| 11 | J. Enhorn, R. Sjöberg, および P. Wennersten, バイラテラル フィルタリングに基づくビデオ コーディングのための時間プレフィルタ、 IEEE 国際画像処理会議 (ICIP) 、2020 年 10 月。doi: 10.1109/ICIP40778.2020.9191359 |
| 12 | K. Dabov, A. Foi, V. Katkovnik, および K. Egiazarian, スパース 3-D 変換ドメイン協調フィルタリングによる画像ノイズ除去、 IEEE Transactions on Image Processing 、2020, 16, (8)、2080-209土井: 10.1109/TIP.2007.901238 |
| 13 | Z. アムール、W. ハミドシュ、E. フランソワ、M. ラドサブリェヴィッチ、D. メナール、C.-H. Demarty, Deep-Based Film Grain Removal and Synthesis, 画像処理に関する IEEE トランザクション、2023, 32, 5046–505土井: 10.1109/TIP.2023.3308726 |
| 14 | C. Tian, L. Fei, W. Zheng, Y. Xu, W. Zuo, および C Lin, 画像ノイズ除去に関するディープラーニング: 概要、ニューラル ネットワーク、エルゼビア、202doi: 10.1016/j.neune 2020.07.025 |
| 15 | A. Kokaram, D. Kelly, H. Denman, および A. Crawford, 改善されたビデオノイズ除去のためのノイズ相関の測定、第 19 回 IEEE 画像処理国際会議、201doi: 10.1109/ICIP.2012.6467081 |
| 16 | A. Norkin, N. Birkbeck, AOMedia フィルム グレイン合成技術に関する技術レポート CWG-C050o_v1, Alliance for Open Media, 2022 年 7 月、 https: //aomedia.org/docs/CWG-C051o_TR_AOMedia_film_gran_Synthetic_technology_v2.pdf |
| 17 | Alliance for Open Media, AV1 ビットストリームおよびデコード プロセス仕様バージョン 1.0., 2019 年 1 月、 https://aomediacodec.github.io/av1-spec/av1-spec.pdf |
| 18 | 多用途フィルム グレイン合成 (VFGS) バージョン VFGS-2., フラウンホーファー HHI, 2023, https://vcgit.hhi.fraunhofer.de/jvet-ahg-fgt/vfgs/-/tags/VFGS-2.0 |
| 19 | Versatile Film Grain Synthesi, InterDigital, 2023, https://github.com/InterDigitalInc/VersatileFilmGrain/releases/tag/v2.0 |
| 20 | フィルム グレイン合成ライブラリ バージョン 9203d4a, Ittiam Systems, 2023 年 12 月、 https://github.com/ittiam-systems/libfgs/commit/9203d4a1c6c8bea8f11c3770c95c6846a6587906 |
| 21 | FFmpeg バージョン 4.2.4-1ubuntu0., 2020, https://github.com/FFmpeg/FFmpeg/releases/tag/n4.2.4 |
| 22 | M. Lebrun, BM3D 画像ノイズ除去法の分析と実装、オンライン画像処理、2012 年、doi: 10.5201/ipol.2012.l-bm3入手可能場所: http://www.ipol.im/pub/art/2012/l-bm3d/article_lr.pdf |
| 23 | Y. Mäkinen ら、スパース 3D 変換ドメイン協調フィルタリングによる画像とビデオのノイズ除去、 https://webpages.tuni.fi/foi/GCF-BM3D |
| 24 | Alliance for Open Media, libaom – AV1 リファレンス ソフトウェア バージョン 3.8.1, https://aomedia.googlesource.com/aom/+/refs/tags/v3.8.1 |
Foreword
ISO (the International Organization for Standardization) and IEC (the International Electrotechnical Commission) form the specialized system for worldwide standardization. National bodies that are members of ISO or IEC participate in the development of International Standards through technical committees established by the respective organization to deal with particular fields of technical activity. ISO and IEC technical committees collaborate in fields of mutual interest. Other international organizations, governmental and non-governmental, in liaison with ISO and IEC, also take part in the work.
The procedures used to develop this document and those intended for its further maintenance are described in the ISO/IEC Directives, Part 1. In particular, the different approval criteria needed for the different types of document should be noted. This document was drafted in accordance with the editorial rules of the ISO/IEC Directives, Part 2 (see www.iso.org/directives or www.iec.ch/members_experts/refdocs ).
ISO and IEC draw attention to the possibility that the implementation of this document may involve the use of (a) patent(s). ISO and IEC take no position concerning the evidence, validity or applicability of any claimed patent rights in respect thereof. As of the date of publication of this document, ISO and IEC had not received notice of (a) patent(s) which may be required to implement this document. However, implementers are cautioned that this may not represent the latest information, which may be obtained from the patent database available at www.iso.org/patents and https://patents.iec.ch . ISO and IEC shall not be held responsible for identifying any or all such patent rights.
Any trade name used in this document is information given for the convenience of users and does not constitute an endorsement.
For an explanation of the voluntary nature of standards, the meaning of ISO specific terms and expressions related to conformity assessment, as well as information about ISO's adherence to the World Trade Organization (WTO) principles in the Technical Barriers to Trade (TBT) see www.iso.org/iso/foreword.html . In the IEC, see www.iec.ch/understanding-standards .
This document was prepared by Joint Technical Committee ISO/IEC JTC 1, Information technology, Subcommittee SC 29, Coding of audio, picture, multimedia and hypermedia information, in collaboration with ITU-T (as ITU-T twin H.Sup-FGST).
A list of all parts in the ISO/IEC 23002 series can be found on the ISO and IEC websites.
Introduction
Film grain synthesis technology can provide subjective quality benefits for certain video applications and can be used to effectively achieve improved video compression. The use of such technology can involve pre-processing to reduce film grain and sensor noise that is present in a video or image signal prior to compression. Metadata information can then be conveyed to a decoder and used to synthesize noise with similar characteristics as in the original content as a post-processing stage that follows the compression decoding process. This metadata can be signalled using appropriate mechanisms, such as the supplemental enhancement information messages that are supported by several video coding standards.
This document provides a referenceable overview of the end-to-end processing steps for film grain and sensor noise removal, estimation, parameterization, synthesis, and blending for consumer distribution applications. This document includes examples of encoder-side and post-decoding processing steps for grain blending for some of the currently defined technologies.
1 Scope
This document provides a description of the film grain synthesis technology in video applications, including for use with Rec. ITU-T H.264 | ISO/IEC 14496-10, Rec. ITU-T H.265 | ISO/IEC 23008-2 and Rec. ITU-T H.266 | ISO/IEC 23090-3.
2 Normative references
The following documents are referred to in the text in such a way that some or all of their content constitutes requirements of this document. For dated references, only the edition cited applies. For undated references, the latest edition of the referenced document (including any amendments) applies.
- Rec. ITU-T H.264 | ISO/IEC 14496-10, Information technology — Coding of audio-visual objects — Part 10: Advanced video coding
- Rec. ITU-T H.265 | ISO/IEC 23008-2, Information technology — High efficiency coding and media delivery in heterogeneous environments — Part 2: High efficiency video coding
- Rec. ITU-T H.266 | ISO/IEC 23090-3, Information technology — Coded representation of immersive media — Part 3: Versatile video coding
- Rec. ITU-T H.274 | ISO/IEC 23002-7, Information technology — MPEG video technologies — Part 7: Versatile supplemental enhancement information messages for coded video bitstreams
3 Terms and definitions
For the purposes of this document, the terms and definitions given in Rec. ITU-T H.264 | ISO/IEC 14496-10, Rec. ITU-T H.265 | ISO/IEC 23008-2, Rec. ITU-T H.266 | ISO/IEC 23090-3 and Rec. ITU-T H.274 | ISO/IEC 23002-7 apply.
ISO and IEC maintain terminology databases for use in standardization at the following addresses:
Bibliography
| 1 | E. Allen, and S. Triantaphillidou, The Manual of Photography. CRC Press, 2012 |
| 2 | C. Gomila and A. Kobilansky, SEI message for film grain encoding, document JVT-H022, May 2003 |
| 3 | D. Grois, and A. Giladi, Perceptual quantization matrices for high dynamic range H.265/MPEG-HEVC video coding, Proceedings SPIE 11137, Applications of Digital Image Processing XLII, 111370O, SPIE, February 2020. doi: 10.1117/12.2525406 |
| 4 | D. Grois, and A. Giladi, HVS-Based Perceptual Quantization Matrices for HDR HEVC Video Coding for Mobile Devices, International Broadcasting Convention (IBC), September 2020 |
| 5 | SMPTE RDD 5-2006, Film grain technology specifications for H.264 | MPEG-4 AVC bitstreams |
| 6 | Rec. ITU-T H.266.2 | ISO/IEC 23090-16, Reference software for ITU-T H.266 versatile video coding |
| 7 | Rec. ITU-T H.265.2 | ISO/IEC 23008-5, Reference software for ITU-T H.265 high efficiency video coding |
| 8 | Alliance for Open Media, AOMedia film grain synthesis specification version 1.0.0 (AFGS1), January 2024 https://aomediacodec.github.io/afgs1-spec/ |
| 9 | A. Norkin and N. Birkbeck, Film Grain Synthesis for AV1 Video Codec, Proceedings of IEEE Data Compression Conference (DCC), 2018. doi: 10.1109/DCC.2018.00008 |
| 10 | T. Brooks, B. Mildenhall, T. Xue, J. Chen, D. Sharlet, J. T. Barron, Unprocessing images for learned raw denoising, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019. doi: 10.1109/CVPR.2019.01129 |
| 11 | J. Enhorn, R. Sjöberg, and P. Wennersten, A temporal pre-filter for video coding based on bilateral filtering, IEEE International Conference on Image Processing (ICIP), October 2020. doi: 10.1109/ICIP40778.2020.9191359 |
| 12 | K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, Image denoising by sparse 3-D transform-domain collaborative filtering, IEEE Transactions on Image Processing, 2020, 16(8), 2080–2095. doi: 10.1109/TIP.2007.901238 |
| 13 | Z. Ameur, W. Hamidouche, E. François, M. Radosavljević, D. Menard and C.-H. Demarty, Deep-Based Film Grain Removal and Synthesis, IEEE Transactions on Image Processing, 2023, 32, 5046–5059. doi: 10.1109/TIP.2023.3308726 |
| 14 | C. Tian, L. Fei, W. Zheng, Y. Xu, W. Zuo, and C Lin, Deep learning on image denoising: An overview, Neural Networks, Elsevier, 2020. doi: 10.1016/j.neunet.2020.07.025 |
| 15 | A. Kokaram, D. Kelly, H. Denman, and A. Crawford, Measuring noise correlation for improved video denoising, 19th IEEE International Conference on Image Processing, 2012. doi: 10.1109/ICIP.2012.6467081 |
| 16 | A. Norkin, N. Birkbeck, Technical report on AOMedia film grain synthesis technology CWG-C050o_v1, Alliance for Open Media, July 2022, https://aomedia.org/docs/CWG-C051o_TR_AOMedia_film_grain_synthesis_technology_v2.pdf |
| 17 | Alliance for Open Media, AV1 bitstream & decoding process specification version 1.0.0 with errata, January 2019, https://aomediacodec.github.io/av1-spec/av1-spec.pdf |
| 18 | Versatile film grain synthesis (VFGS) version VFGS-2.0 (1ccac19c), Fraunhofer HHI, 2023, https://vcgit.hhi.fraunhofer.de/jvet-ahg-fgt/vfgs/-/tags/VFGS-2.0 |
| 19 | Versatile film grain synthesis (VFGS) version v2.0 (cd954ab), InterDigital, 2023, https://github.com/InterDigitalInc/VersatileFilmGrain/releases/tag/v2.0 |
| 20 | Film Grain Synthesis Library version 9203d4a, Ittiam Systems, December 2023, https://github.com/ittiam-systems/libfgs/commit/9203d4a1c6c8bea8f11c3770c95c6846a6587906 |
| 21 | FFmpeg version 4.2.4-1ubuntu0.1 (f9f95ce), 2020, https://github.com/FFmpeg/FFmpeg/releases/tag/n4.2.4 |
| 22 | M. Lebrun, An Analysis and Implementation of the BM3D Image Denoising Method, Image Processing On Line, 2012, doi: 10.5201/ipol.2012.l-bm3d. Available at: http://www.ipol.im/pub/art/2012/l-bm3d/article_lr.pdf |
| 23 | Y. Mäkinen, et al, Image and video denoising by sparse 3D transform-domain collaborative filtering, https://webpages.tuni.fi/foi/GCF-BM3D |
| 24 | Alliance for Open Media, libaom – AV1 reference software version 3.8.1, https://aomedia.googlesource.com/aom/+/refs/tags/v3.8.1 |