在2021 GFIC 5G全球家庭互联网大会的主论坛上，原广电总局副总工、国家信息化专家咨询委员会专家、国务院三网融合专家组专家 杜百川发表题为《5G和FTTR家庭XR业务》的精彩演讲。
家庭大屏下一个热点是XR业务。扩展现实（XR）是虚拟现实（VR Virtual Reality）、增强现实（AR Augmented Reality）和混合现实（MR Mixed Reality）以及尚未开发的沉浸式技术的总称。同时，VR和沉浸式两个概念也经常容易混淆，把360度视频归到VR是不对的，VR是全虚拟环境，而360度视频大部分是实际拍摄现实世界，不能称为VR。——杜百川
ITU-R先进沉浸式感官媒体系统
今年3月发布的“ITU-R先进沉浸式感官媒体系统”中增加了“感官媒体”描述，未来沉浸式技术场景不仅仅涉及听觉和视觉，还加上了触觉，所以便称为是感官媒体。
“高级沉浸式感官媒体系统（AISM）”允许用户通过高级沉浸式视听系统得到前所未有的临场感和沉浸式体验。其可以欺骗大脑感知系统，重建视听现实并允许用户自然地与虚拟场景交互。ITU-R已将“先进沉浸式感官媒体系统的广播节目制作、交换和展现”列入了建议（或报告计划），预计2023年完成。
AISM系统质量主要包括三个基本方面：高视觉质量、高音频质量、直接用户接口，可以提供沉浸式体验。
举例而言，电视和AR的集成，通过AR设备将不同位置的电视表演者或家人和朋友进行三维组合显示。观众在看电视时可以感觉好像他们与电视表演者、家人和朋友共享同一个空间。 使用 AR 眼镜，表演者或人物以实际尺寸显示，以提供增强的真实感。
“ITU-R BT.2123-0(2019.1) ”提供了用于广播节目制作和国际节目交换的高级沉浸式视听系统(AIAV)视频参数值。基于人眼的视力，以使观看者在观看360°图像的任一部分时不会感知图像的像素结构。全360°图像要求30K×15K的像素数。一个半球或360°图像的一部分可以用30K×15K的像素的一部分来表示。
在“ETSI TS 126 118 V16.2.1 (2021-05) ” 中的5G流媒体应用VR类内容生成指南指出，假设低分辨率区域以覆盖整个360度区域的2K分辨率即使用2048×1024或1920×960进行编码，针对不同帧率提供全覆盖的可编码高分辨率区域的最大百分比差异较大。通常视口(VP)覆盖完整360度全景视频的12-25%。
上述流程采用ISO/IEC 23090-2全向媒体格式(OMAF)包装，ISO/IEC 23008-1的MPEG媒体传送(MMT)和ISO/IEC 23009-1动态自适应流媒体(DASH)方式。
ETSI ARF-AR框架
AR应用格式(ARAF)和MAR参考模型(MAR-RM)：AR应用格式(ISO / IEC 23000-13 [i.2])侧重于提供增强现实展现而不是客户端或服务器过程的数据格式。ARAF指定用于表示AR内容的场景描述元素，连接到本地和远程传感器和执行器的机制，压缩媒体（图像、音频、视频、图形）集成机制，连接到诸如地图和压缩媒体的远程资源机制。MAR-RM(ISO/IEC 18039)定义了混合和增强现实的范围和关键概念，相关术语定义以及通用系统架构作为MAR应用、组件、系统、服务和规范的参考模型。
AR标记语言和WebXR设备API：OGC(Open Geographic Consortium)发布的ARML 2.0是基于XML的描述性数据格式，建立在通用对象模型之上，允许使用多种语言以系列化。WebXR设备API提供对通常与VR和AR硬件相关的输入和输出功能的访问。
AR-相关数据表达标准：文字、图片、视频、音频、2D图形对象、3D图形对象和场景、场景描述、传感器和执行器数据相关标准、地理数据相关标准。
通信协议标准、硬件API标准和用户接口规范。
特殊域标准和AR质量评价标准：特殊域标准——建筑或施工、制造与安装；AR质量评价标准——用户体验。
在“3GPP TR 26.998 V0.8.0 Release 17（2021-05）”中的“5G眼睛型AR/MR设备的支持”，主要介绍眼睛类AR/MR器件功能架构；器件功能；通用参考器件功能架构器件分为单独的5G AR用户设备STAR，依赖于5G 边缘的AR用户设备EDGAR，5G 无线系留的AR用户设备；AR会晤的基本处理；AR内容格式和编解码等。
5G中的XR出现于“ETSI TR 126.928 V16.1.0 Release 16（2021-01）”。
XR介绍涉及定义，QoE，沉浸度和现场感，交互延迟和内容年龄，5G系统XR交付，交付类型，用于XR的5G系统和无线功能，5G中QoS，5G媒体交付，边缘计算，XR引擎和渲染等等。
XR的用例和场景主要有3D对象的离线共享，实时XR共享，XR多媒体流媒体，在线XR游戏，XR困难任务，XR会议，空间音频多方呼叫等等。
将XR匹配到5G包括XR处理和媒体为中心的架构，视点无关的交付，视点相关的流媒体，在网络中视点渲染，基于栅格分割的渲染，通用分割渲染，XR分布式计算，XR对话类；流量特性总汇；现存5QI(5G QoS Identifier)分析等等。
3GPP上的VR媒体业务出现于“ETSI TR 126.918 V16.0.0 Release 16(2020-11)”，主要规定5G当中的媒体业务，主要有大型活动广播/组播，VR流媒体，在3GPP分发360°A/V内容库，HMD消费的现场业务，社交电视和VR，电影VR等等。
移动流媒体应用的VR类
移动流媒体应用的VR出现于“ETSI TS 126.118 V16.2.1 Release 16(2021-05)”，指出了VR架构和接口，比如参考系统、端到端的架构、客户端的参考架构、渲染方案、工作点和媒体类；提供了VR指标，客户端参考架构及5个观察点，指标定义，指标配置和报告。
VR相关的用户体验QoE参数和指标
VR相关用户体验QoE参数和指标出现于“ETSI TR 126.929 V16.1.0 Release 16(2020-11)”，目前还没有形成标准，正在讨论当中，影响用户体验因素主要有内容创建、网络传输和设备要求。
该报告提供了与VR服务相关的QoE指标的研究，侧重于为VR QoE测量点定义设备参考模型；研究可能影响VR业务体验的关键性能指标；识别和定义与VR用户体验相关的新QoE参数和指标；分析现有QoE报告的潜在改进；为SA4中关于QoE参数和指标的未来标准工作提供建议，并在必要时与其他3GPP组和外部SDO协调。
VR相关的用户体验QoE指标主要有VR交互指标；VR内容对QoE的影响；传输对VR QoE的影响；VR设备对QoE的影响；VR QoE设置和报告。
GSTP-FTTR(fibre-to-the-room)用例和要求
杜百川最后指出，人们对5G太关注以至于忽略了光纤(fibre)，FTTR(fibre-to-the-room)是ITU今年的新文件。
云虚拟现实（VR）正在成为家庭网络的新视频供应。 Cloud VR 基于云计算技术，将 VR 内容存储在云端并进行渲染。通过快速稳定的传输网络，将视频和音频输出经过编码和压缩后传输到用户终端。终端用户无需购买昂贵的主机或高端PC即可享受云VR服务，有助于推动VR服务的普及。
因此，端到端网络，包括Wi-Fi连接、基于光纤的家庭网络、接入网、传送网和业务处理时延，在云VR的理想体验质量下，网络往返时延要求小于10ms。Wi-Fi 连接使用非授权频谱和基于竞争的机制，这可能会导致相对较大的延迟。FTTR的家庭网络带来了额外的功能，可用于满足更严格的要求。
FTTR在确保某些业务的低延时方面也可以做网络切片。对于固定网络，F5G定义了三个技术特性：增强型固定宽带(eFBB)、全光纤连接(FFC)和保证可靠体验(GRE)。
杜百川还介绍了近年来XR各个方面发布了相关白皮书，比如2020年国家广电总局科技司发布了《5G高新视频-沉浸式视频技术白皮书》、中国通信标准化协会发布了《5G网络下的云化虚拟现实平台技术白皮书》和《云化增强现实关键场景及技术白皮书》等等。
责任编辑：徐晓俊
为您推荐
杜百川：3D电视在电视业务中的地位
3月19日，第三届3D立体影视技术发展与运营实践研讨会在北京广电国际酒店胜利召开。会上广电总局科技委副主任杜百川先生提出了《3D在电视业务中的地位》。首先，杜总分析了目前3D电视的市场情况。2011年3D平板出货量超过2000万,预计到2年了。电视出货量超过138%。今年NAB3D仍为主角。我国3D电视广播稳步推进，2011年全球上映50部3D高清电影，据介绍，总局十二五规划2015年之前将推出10家包括已有6家电视台参与中央3D频道。目前，央视3D频道已试播2个多月，内容还是有所欠缺，但是正在不断提升和改善。今年，央视已经购买了2012伦敦奥运会3D电视版权，将会提供包括开闭幕式、田径、体操
杜百川：将OTT纳入有线电视内容平台
在第十八届上海电视节白玉兰国际广播影视技术论坛上，国家广播电影电视总局科学技术委员会副主任杜百川先生表示应该将OTT纳入有线电视内容平台。图为：国家广播电视总局科技委员会副主任杜百川先生目前，美国98%视频是通过客厅电视机观看，但电视通过机顶盒、游戏机和互联网连接的消费电子设备连网的数量在不断增加。电视运营商可以将宽带OTT和广播绑定在一个门户，一个设备，形成一致的观看体验，更好地挖掘内容和集成社交媒体。许多研究也证实了这一点。根据ParksAssoc
杜百川：产业应对OTT冲击的4个方法
OTT的发展使付费电视用户数迅速下降在上海电视节白玉兰技术论坛上，新闻出版广电总局科技委副主任杜百川表示，传统付费电视包括有线、卫星...
杜百川：OTT迅速发展，CDN必不可少
在上海电视节白玉兰技术论坛上，新闻出版广电总局科技委副主任杜百川表示，CDN发展十分重要，广电需要趁早布局。杜百川谈到中兴IPTV/OTT全...
