GB/T 44115.2-2024 信息技术 虚拟现实内容表达 第2部分：视频

ICS35040

CCSL.71

中华人民共和国国家标准

GB/T441152—2024

.

信息技术虚拟现实内容表达

第2部分视频

:

Informationtechnology—Virtualrealitycontentrepresentation—

Part2Video

:

2024-05-28发布2024-12-01实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T441152—2024

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………5

约定

5………………………5

概述

5.1…………………5

算术运算符

5.2…………………………5

逻辑运算符

5.3…………………………6

关系运算符

5.4…………………………6

位运算符

5.5……………6

赋值

5.6…………………7

位流语法解析过程和解码过程的描述方法

5.7、………7

全景视频编码表示与重建

6………………10

视频源与标准框架

6.1…………………10

语法和语义

6.2…………………………11

重建方法

6.3……………18

自由视角视频编码表示与重建

7…………53

视频源与标准框架

7.1…………………53

语法和语义

7.2…………………………54

重建方法

7.3……………65

附录规范性档次

A()……………………83

概述

A.1………………83

档次

A.2………………83

附录规范性与平面视频编码标准的接口

B()…………84

与标准的接口

B.1AVS3(T/AI109.2—2020)………84

与标准的接口

B.2AVS2(GB/T33475.2—2024)……………………85

与标准的接口

B.3AVS+(GB/T20090.2—2013)…………………85

与标准的接口

B.4VVC(ISO/IEC23090-3:2022)…………………86

与标准的接口

B.5HEVC(ISO/IEC23008-2:2023)………………88

与标准的接口

B.6AVC(ISO/IEC14496-10:2022)…………………90

虚拟现实内容表达扩展数据定义

B.7…………………92

附录资料性等角四棱锥映射后的滤波

C()……………93

Ⅰ

GB/T441152—2024

.

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件是信息技术虚拟现实内容表达的第部分已经发布了以

GB/T44115《》2。GB/T44115

下部分

:

第部分视频

———2:。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位北京大学深圳研究生院鹏城实验室北京大学中国科学技术大学阿里巴巴中国

:、、、、()

有限公司北京邮电大学联发博动科技北京有限公司咪咕视讯科技有限公司上海大学北京三星

、、()、、、

通信技术研究有限公司深圳市大疆创新科技有限公司华为技术有限公司深圳市沉浸视觉科技有限

、、、

公司杭州海康威视数字技术股份有限公司腾讯科技深圳有限公司浙江大学北京兰亭数字科技有

、、()、、

限公司海信集团控股股份有限公司中国电子技术标准化研究院广东博华超高清创新中心有限公司

、、、、

中关村视听产业技术创新联盟

。

本文件主要起草人王荣刚高文吴枫黄铁军盛骁杰郑萧桢蔡砚刚赵海武杨海涛王悦名

:、、、、、、、、、、

林建良陈杰王振宇王荣杰顾嵩邱轲刘香凝赖亚文王琦武晓阳田军虞露刘东孙文博张行功

、、、、、、、、、、、、、、、

陈维强高雪松王国中张伟民李婧欣赵海英

、、、、、。

Ⅲ

GB/T441152—2024

.

引言

旨在确立适用于虚拟现实的视频和音频规范拟由三个部分组成

GB/T44115,。

第部分系统目的在于确立高效编码的虚拟现实视频和音频数据的传输格式与信令格式

———1:。。

第部分视频目的在于确立虚拟现实全景视频和自由视角视频的编码表示与重建方法

———2:。。

第部分音频目的在于确定虚拟现实设备及相关系统中的沉浸式音频内容的表达方式包

———3:。,

括元数据结构和渲染器的系统架构及接口规范

(Metadata)(Render)。

本文件的发布机构提请注意声明符合本文件时可能涉及

,,6.1、6.3、6.3.4、6.3.7、6.3.7、7.1、7.2.2、

中如下项与虚拟现实内容表达相关的专利的使用专利名称如下

7.3、7.3.3、7.3.4、7.3.527。:

虚拟视点合成方法装置电子设备及存储介质虚拟视点合成

202110172711.7,、、;202010853410.6,

方法装置电子设备及可读存储介质虚拟视点合成方法装置电子设备及可读存储

、、;202010853423.3,、、

介质一种全景视频数据处理方法装置及系统图像的处理方法装

;201610888835.4,、;201710081731.7,、

置和机器可读介质多角度自由视角数据处理方法及装置介质终端设备

;201910172742.5,、、、;

多角度自由视角视频数据处理方法及装置介质设备虚拟视点图

201910173414.7,、、;201911032857.0,

像生成方法系统电子设备及存储介质金字塔模型的处理方法和装置图像编码方

、、;201710726197.0,、

法和装置多角度自由视角图像数据生成方法及装置介质设备多

;201910172743.×,、、;201910172727.0,

角度自由视角视频数据生成方法及装置介质服务器多角度自由视角图像数据处理

、、;201910173413.2,

方法及装置介质设备视频重建方法系统设备及计算机可读存储介质

、、;201910172717.7,、、;

图像重建方法系统设备及计算机可读存储介质自由视点视频重

201910172720.9,、、;202010630754.0,

建方法及播放处理方法设备及存储介质视频处理方法装置电子设备及存储介质

、;202010762409.2,、、;

深度图校正视频处理视频重建方法及相关装置视频解码方法系

202010740742.3,、、;202010748734.3,、

统设备及计算机可读存储介质全景视频感兴趣区域的描述方法和编码方法

、;201610945845.7,;

全景图像映射方法全景图像映射方法基于多方

201610543056.0,;201710116888.9,;201610035874.×,

式边界填充的全景视频编码解码方法和装置一种全景图像的非对称映射方法

、;201710037483.6,;

基于主视点的全景视频映射方法一种基于自由视点的编解码方法

201710031017.7,;201910240995.1,

及装置一种针对低质量深度图的自由视点合成方法基于主

;201811339349.2,DIBR;201710882161.1,

视点的全景视频映射方法本文件的发布机构对于该专利的真实性有效性和范围无任何立场

。、。

该专利持有人已向本文件的发布机构承诺他愿意同任何申请人在合理且无歧视的条款和条件

,

下就专利授权许可进行谈判该专利持有人的声明已在本文件的发布机构备案相关信息可以通过以

,。,

下联系方式获得

:

联系人黄铁军数字音视频编解码技术标准工作组秘书长

:()

通讯地址北京市海淀区颐和园路号北京大学理科号楼室

:522641

邮政编码

:100871

电子邮件

:tjhuang@

电话

:+8610-62756172

传真

:+8610-62751638

网址

:

请注意除上述专利外本文件的某些内容仍可能涉及专利本文件的发布机构不承担识别专利的

,。

责任

。

Ⅳ

GB/T441152—2024

.

信息技术虚拟现实内容表达

第2部分视频

:

1范围

本文件规定了虚拟现实全景视频和自由视角视频的编码表示与重建方法包括压缩域的语法语义

,、

以及重建过程以及与平面视频编码标准的接口

,。

本文件适用于虚拟现实视频内容制作播出传输等应用

、、。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

信息技术先进音视频编码第部分视频

GB/T20090.2—20132:

信息技术高效多媒体编码第部分视频

GB/T33475.2—20242:

信息技术智能媒体编码第部分视频

T/AI109.2—20202:

信息技术视听对象编码第部分先进视频编码

ISO/IEC14496-10:2022/ITU-TH.26410:

(Informationtechnology—Codingofaudio-visualobjects—Part10:AdvancedVideoCoding)

信息技术异构环境下的高效编码和媒体传输第部

ISO/IEC23008-2:2023/ITU-TH.2652

分高效视频编码

:(Informationtechnology—Highefficiencycodingandmediadeliverinheterogeneous

environments—Part2:Highefficiencyvideocoding)

信息技术沉浸式媒体的编码表示方式第部分多功

ISO/IEC23090-3:2022/ITU-TH.2663:

能视频编码

(Informationtechnology—Codedrepresentationofimmersivemedia—Part3:Versatile

videocoding)

3术语和定义

中界定的以及下列术语和定义适用于本文件

GB/T33475.2—2024。

31

.

保留reserved

一些特定语法元素值

。

注用于将来对本文件的扩展

:。

来源

[:GB/T33475.2—2024,3.2]

32

.

编码过程encodingprocess

产生符合本文件位流的过程

。

33

.

编码器encoder

完成编码过程的实体

。

1

GB/T441152—2024

.

34

.

分量component

图像的三个样值矩阵亮度和两个色度中的一个矩阵或矩阵中的单个样值

()。

来源

[:GB/T33475.2—2024,3.23]

35

.

解码过程decodingprocess

由语法元素产生解码图像的过程

。

36

.

解码器decoder

完成解码处理的实体

。

37

.

解析过程parse

由位流获得语法元素的过程

。

来源

[:GB/T33475.2—2024,3.35]

38

.

档次profile

本文件规定的语法语义及算法的子集

、。

39

.

亮度luma

表示图像明暗程度的信号

。

来源

[:GB/T33475.2—2024,3.40]

310

.

起始码startcode

长度为位的二进制码字其形式在整个位流中是唯一的

32,。

注起始码有多种用途其中之一是用来标识位流语法结构的开始

:,。

311

.

色度chroma

和两种色差信号中任一种的样值矩阵或单个样值

CrCb。

来源

[:GB/T33475.2—2024,3.48]

312

.

视频序列sequence

编码位流的最高层语法结构包括一个或多个连续的编码图像

,。

313

.

条带slice

按光栅扫描顺序排列的若干连续最大编码单元行

。

来源

[:GB/T33475.2—2024,3.59]

314

.

位流bitstream

编码图像所形成的二进制数据流

。

来源

[:GB/T33475.2—2024,3.64]

315

.

语法元素syntaxelement

位流中的数据单元解析后的结果

。

来源

[:GB/T33475.2—2024,3.80]

2

GB/T441152—2024

.

316

.

帧frame

视频信号空间信息的表示由一个亮度样本矩阵和两个色度样本矩阵和构成

,(Y)(CbCr)。

来源

[:GB/T33475.2—2024,3.83]

317

.

全景视频panoramicvideo

对以观察者为中心的球面或部分球面上的光线进行均匀采样得到的像素集合构成的球面视

()

频给用户围绕中心点沿轴轴轴自由旋转视点的三自由度观看体验

,x,y,z。

注又称三自由度视频

:。

318

.

表示模型representationmodel

虚拟现实视频帧到平面视频帧的映射关系表述

。

319

.

经纬图latitudeandlongitudeimage

用平面视频帧表示球面视频帧的一种方法通过将球面视频帧沿赤道线展开使原本记录在球形

。,

表面上的视觉信息展开成平面视频帧

。

320

.

双目立体经纬图binocularstereolatitudeandlongitudeimage

用平面视频帧表示双目立体球面视频帧的一种方法该方法左右眼球面视频帧分别映射为左右

,、、

眼经纬图然后再将双目经纬图按某种顺序拼接成平面视频帧

,。

321

.

兴趣区域导向经纬图roi-basedlatitudeandlongitudeimage

用平面视频帧表示球面视频帧的一种方法该方法将经纬图中的某一矩形区域定义为感兴趣区

,

域将剩余区域定义为非感兴趣区域对非感兴趣区域进行下采样编码

,,。

322

.

正六面体cubic

用平面视频帧表示球面视频帧的一种方法该方法将球面视频帧映射到球面的外