3月30日,中关村视听产业技术创新联盟会同中国智慧家庭产业联盟、中国视频体验联盟、广东4K生态产业联盟及众多相关产业的企业团体、研究院、知名人士等组织编写的《IPTV 业务系统AVS2实施指南(2018年)》正式发布。
以下为附文内容:
《IPTV 业务系统AVS2实施指南》
引 言
视频编解码技术是视频产业的基础。MPEG/H.26x系列标准已成为国际上影响最大、应用最多的视频编码标准,主要由ITU-T和ISO/IEC开发,但是MPEG/H.26x陈旧的知识产权(IP)管理和专利持有者主导的商业模式正面临危机和挑战。AVS2是我国自主知识产权的第二代数字音视频编解码技术标准,AVS2的编解码效率及复杂度与H.265大致相当,于2016年12月颁布为国家标准GB/T 33475.2-2016。AVS2支持超高分辨率(4K以上)、高帧率、高量化精度、高动态范围视频的高效压缩,与新一代超高清晰度视频产业发展相契合。
IPTV产业正在引领超高清视频时代,致力于为用户提供全4K新体验。AVS2对规范IPTV产业端到端系统技术和促进IPTV业务良性发展具有重大意义。在新的全4K业务发展形态下,考虑到IPTV系统现状和AVS2的产业化推广,建立AVS2护航IPTV的产业共识具有战略意义。通过分析IPTV业务系统应用AVS2标准的挑战,提出应用AVS2的实施指南,在技术方案和实施指引上提供清晰的建议和路径,以此推进产业共识和产业化应用,对于IPTV产业应用AVS2具有现实意义。
本实施指南基于广东4K产业应用AVS2的样板试点,基于IPTV产业链在的研究和验证工作,在产业链的支持和协同下编制完成,旨在对IPTV业务系统应用AVS2所面临的挑战和实践进行描述,期望形成产业共识和实施指南,加快IPTV应用AVS2的步伐。
指导单位及组织:
中关村视听产业技术创新联盟
中国智慧家庭产业联盟
中国视频体验联盟
广东4K生态产业联盟
主编:
张明杰 中国电信上海研究院
编写人:
罗传飞 中国电信上海研究院
王荣刚 北京大学深圳研究生院
郭晓强 广电总局广科院
宋利 上海交通大学
浦刚 华为技术有限公司 陈光亮 中兴通讯股份有限公司
张玉鹏 华为技术有限公司
张伟民 中关村视听产业技术创新联盟
刘长虹 中国电信四川分公司
汪邦虎 中关村视听产业技术创新联盟
熊张亮 华为技术有限公司
王苫社 北京大学
黄勃 深圳中兴微电子技术有限公司
陈戈 中国电信广州研究院
潘邵武 华为技术有限公司
曾志华 广州柯维新数码科技有限公司
杨小勇 华为技术有限公司
徐晖 北京牡丹电子集团有限责任公司
王贺 上海国茂数字技术有限公司
参与单位:
中国电信上海研究、中国电信广州研究院、中国电信广东分公司、中国电信四川分公司、广电总局广科院、广电总局规划院、北京大学、上海交通大学、华为技术有限公司、中兴通讯股份有限公司、烽火通信科技股份有限公司、南方新传媒、百视通、华数传媒、江苏广播电视总台、4K花园、优朋普乐、上海国茂、数码视讯、广州柯维新、北京牡丹电子集团有限责任公司、海思、中兴微、晶晨、晨星、中兴微、瑞芯微、全志、上海艾策通讯科技股份有限公司。
1.AVS2视频编解码标准技术及应用趋势
1.1AVS2视频编解码标准技术特色
AVS2标准的目标应用是超高清视频压缩,沿用了混合编码框架,整个编码过程包括帧内预测、帧间预测、变换量化、反量化反变换、环路滤波和熵编码等模块。
图1-1 AVS2编码框架
AVS2采用了基于四叉树的块划分结构,支持非正方形的帧内预测块划分。在I,P,B三种图像类型的基础上,根据应用需求,AVS2增加了前向多假设预测F图像。针对视频监控、情景剧等特定的应用,AVS2设计了场景帧(G图像和GB图像)和参考场景帧S帧。对于B帧,除了传统的前向、后向、双向和skip/direct模式,新增了对称模式。在对称模式中,仅需对前向运动矢量进行编码,后向运动矢量通过前向运动矢量推导得到。为了充分发挥B帧skip/direct模式的性能,AVS2在保留原有AVS1 B帧skip/direct模式的前提下,还采用了多方向skip/direct模式:双向skip/direct模式、对称skip/direct模式、后向skip/direct模式和前向skip/direct模式。对于这四种特殊模式,根据当前块的预测模式寻找相邻块中相同的预测模式块,将最先找到的具有相同预测模式的相邻块的运动矢量作为当前块的运动矢量。
对于F帧,编码块可以参考前向两个参考块,相当于P帧的双假设预测。AVS2将双假设预测分为两类,分别是时域双假设和空域双假设。时域双假设的当前编码块利用预测块加权平均作为当前块的预测值,但运动矢量差MVD和参考图像索引都只有一个,另外一个MVD和参考图像索引根据时域上的距离按线性缩放推导出来。而空域双假设预测也叫方向性多假设预测(Directional multi-hypothesis prediction,DMH),通过融合初始预测点周围的两个预测点得到,而且初始预测点位于这两个预测点的连线上。除了初始预测点外,一共有8个预测点,只将和初始预测点连成同一条直线的两个预测点进行融合。除了四种不同的方向外,还根据距离进行调整,对1/2像素距离和1/4像素距离位置的4种模式分别计算,在加上初始预测点,共9种模式进行比较,选择出最佳预测模式。
场景帧是AVS2基于背景建模的监控视频编码方法提出来的。未打开监控工具时,I帧只给下个随机访问点之前的图像做参考。打开监控工具后,AVS2会用视频中的某一帧做场景图像G帧,G帧对于后面的图像可以作为长期参考。此外,AVS2还可以用视频中的某几帧生成场景图像GB帧,GB帧也可以用作长期参考。
AVS2中的变换编码主要使用整数DCT变换。对于4×4、8×8、16×16、32x32大小的变换块直接进行整数DCT变换。而对于64×64大小的变换块则采用一种逻辑变换LOT,先进行小波变换,再进行整数DCT变换。在DCT变换完成后,AVS2对低频系数的4×4块再进行二次4×4变换,从而进一步降低系数之间的相关性,是能量更集中。
AVS2的熵编码首先将变换系数分为4×4大小的系数组(Coefficient Group,CG),然后根据系数组进行编码和zig-zag扫描。系数编码先编码含有最后一个非零系数的CG位置,接着编码每一个CG,直到CG系数都编码完为止,这样可以使得0系数在编码过程中更集中。AVS2中仍使用基于上下文的二元算术编码和基于上下文的二维变长编码。算术编码引擎采用了对数域编码,将乘法转换成加法运算。
AVS2的环路滤波模块包含三个部分:去块滤波、自适应样点偏移和样本补偿滤波。去块滤波的滤波块尺寸为8×8,首先对垂直边界进行滤波,然后是水平边界。对每条边界根据滤波强度不同选择不同的滤波方式。在去块滤波之后,采用自适应样本偏移补偿进一步减小失真。AVS2在去块滤波和样本偏移补偿之后又添加了自适应滤波器,一种7×7十字加3×3方形中心对称的维纳滤波,利用原始无失真图像和编码重构图像计算最小二乘滤波器系数,并对解码重构图像进行滤波,降低解码图像中的压缩失真,提升参考图像质量。
国家广播电影电视总局广播电视计量检测中心的检测报告(检测编号:20491501212989)显示:对于超高清4K视频,在36Mbps条件下,AVS2和HEVC相对于源图像质量下降分别为2.9%和3.0%。在相同码率条件下,AVS2比HEVC的平均主观质量略优。
1.2AVS2视频编解码标准的应用趋势
上世纪以来,因缺乏核心标准和技术,我国音视频产业始终处于产业链的低端,是典型的劳动力密集型的行业,国际竞争力受到严重制约且面临巨大的专利风险。2002年,原信息产业部科学技术司发文成立“数字音视频编解码技术标准工作组”,即AVS工作组,并任命高文教授为AVS工作组组长,牵头AVS标准制定。AVS由此从无到有、生根发芽,开启我国制订自主知识产权标准的创新之路。
AVS标准的一大创新是在标准制定之前先确立许可模式:凡是向AVS工作组提交技术和提案的单位都需要对其专利许可意向做出承诺,允许“免费使用”或者“加入AVS专利池”。这一机制解决了目前国际标准制定时缺乏对技术许可政策的约束,造成因为专利授权政策问题难以推广的弊端。最近由于HEVC/H.265饱受专利授权政策混乱困扰,连MPEG主席Leonardo也承认:MPEG只考虑性能不考虑授权成本制定标准的“商业模式”面临破裂。如下图所示,目前已知的H.265/HEVC的专利持有人情况:共有43家公司持有H.265/HEVC专利,其中17家公司在MPEG LA专利池中,8家公司在HEVC Advance专利池中,5家公司在Velos Media专利池中,2家公司同时加入了MPEG LA和HEVC Advance专利池,还有15家公司没有加入任何专利池。MPEG LA和HEVC Advance已发布H.265/HEVC的专利权使用费和许可政策,并多次进行了修订,在目前的政策中,这两家专利池大幅提升了专利收费额度。而Velos Media, Technicolor和另外14家公司暂时没有公布自己的收费政策。总体上,HEVC/H.265存在巨大的潜在专利费用风险,一定程度上制约了它的普及应用。
图1-2 HEVC/H.265的专利分布图
AVS1和AVS+采取“AVS专利池”统一许可模式,每个编解码器只象征性得收取1元专利费,不对内容收费;需要指出的是,到目前为止,AVS并没有收取过专利费。AVS2虽然暂未出台正式的专利许可政策,但根据AVS专利池管理委员会出台的《关于AVS2专利池许可的建议性规定》,AVS2的专利授权将沿用AVS1的统一许可模式,只对设备象征性收费,不对内容收费。特别的,对互联网上的软件服务免收专利费。
在十三五规划中,就明确指出“发展4K超高清电视是新闻出版广播影视部门贯彻落实中央创新驱动发展战略、促进文化与科技融合、深化广播影视供给侧结构性改革的重要举措,对于满足人民群众日益增长的精神文化需求,提升广播影视传播力、影响力和舆论引导力,促进和推动文化产业与民族工业发展都具有重要意义”。2018年年初,国家新闻出版广电总局发布了《关于规范和促进4K超高清电视发展的通知》,为规范和促进4K超高清电视健康有序发展提供了政策指导,按照技术发展规划,我国4K超高清视频编码将采用AVS2标准。AVS2超高清标准的颁布,符合我国现阶段发展的需求,加快了我国的超高清的发展,同时,也为我国避免陷入国外专利纠纷的境地。
2016年5月,AVS2广电行标颁布后,AVS即开始组织了企业进行产品研发,打造完整端到端系统。目前,主要包括深圳海思的AVS2 4K解码芯片、MStar的4K解码芯片;北京博雅华录的AVS2编码芯片;数码视讯、柯维新和上海国茂等企业的广播级AVS2超高清实时编码器;北京朝歌科技、四川九州等企业的AVS2-4K机顶盒,已正式推向市场。近期,广东省为推动我国自主标准的发展,将建成全国首个AVS2的全省示范网,加快AVS2的商用;同时,央视也将在2018年10月试播AVS2超高清频道。
2.IPTV业务系统应用AVS2标准的实施挑战
22.1AVS2编解码技术与开源视频工具生态的完善
AVS2在压缩效率显著提升的同时,其编解码器复杂度也有了明显的提高。在AVS2标准发布之后,市场上迫切需求一款快速高效、能够给各类基于AVS2的视频应用提供技术支撑的编解码软件。北京大学于2018年1月发布AVS2开源编码平台xAVS2。开源平台基于AVS2参考软件对于代码结构进行了深度优化,设计了高效的并行架构,对针对不同的编码技术进行算法优化。针对不同的应用场景,xAVS2开源编码器设置了preset 0 ~ preset 9共10个速度档次。其中,preset 0是最快速的档次,preset 9编码效率最高。在i7处理器上和HEVC开源编码器x265具有相当的编码速度和压缩性能,能够实现高清视频的实时编码,有望获得大规模地应用。
与此同时,AVS2深度融入视频处理工具生态对加快AVS2广泛应用具有重要的推动。支持AVS2的ffmpeg、VLC插件也在开发中,预计2018年下半年陆续进行开源。这些工具的开源将进一步降低相关应用的开发门槛,加速AVS2应用的普及。
2.2AVS2编码效率的实现与编码器设备的可用性测试
“AVS技术应用联合推进工作组”于2017年9月-12月期间组织了AVS2广播级专业编码器的测试工作。测试主要围绕广电总局4K超高清电视相关技术应用指导意见展开,并参照AVS联盟标准T/AVS 105-2017 《AVS2 4K 超高清编码器技术要求和测量方法》进行。
参与测试的编解码系统支持4K/UHD/50P SDR 709/2020色域图像的AVS2 10bit实时编码;其中,在编码效率方面,测试了36Mbps码率点的主观质量。主观评价采用GY/T 134-1998《数字电视图像质量主观评价方法》中的“双刺激连续质量标度方法”,主观评价经编解码系统处理后的图像序列质量相对于源图像序列质量的损伤情况。
表2-1 AVS2全4K实时编码器的图像质量主观评价结果
测试结论:现有AVS2全4K实时编码器的图像质量满足全4K电视应用需求(要求经编解码系统处理后的图像序列质量相对于源图像序列质量的损伤低于12%)。
AVS2是一套编码效率领先的标准,为了保证4K超高清视频生态的健康发展,除了依据《AVS2 4K超高清编码器技术要求和测量方法》严格测试:
1)编码器的视频压缩编码技术采用必须严格遵守GB/T 33475.2-2016的规定,满足GB/T 33475.2-2016关于类和级的要求。
2)应符合T/AVS 105-2017 《AVS2超高清编码器技术要求和测量方法》中的各项技术要求。
3)至少应支持固定码速率编码(CBR)、可变码速率编码(VBR)和内容感知编码(CAE)。
还需要加强对AVS2超高清编码器设备的可用性测试,严格要求编码质量:
1)主观图像质量下降百分比要求
编码器视频压缩码率在35Mbps时,对于AVS产业联盟/推进工作组推荐的8个不同测试序列,其主观评价平均图像质量下降百分比(相对于源序列)不大于9%,任何单一序列主观评价图像质量下降百分比(相对于源序列)不大于20%。
2)客观图像质量PSNR测试要求
编码器视频压缩码率在35 Mbps时,对于AVS产业联盟/推进工作组推荐的8个不同测试序列,其图像质量PSNR检测结果平均应≥34.5db。
2.3AVS2解码芯片的一致性测试及应用认证
2.3.1 AVS2解码芯片的一致性测试
为保证AVS2解码芯片符合AVS2标准,满足AVS2编码器和解码器产品的互联互通性,开展IPTV业务所应用的AVS2解码芯片必须进行标准一致性测试。AVS2解码芯片一致性测试是指测试芯片是否按照GB/T 33475.2-2016《信息技术 高效多媒体编码 第2部分:视频》的规定对编码位流进行解码处理,并满足运营商《IPTV业务系统视音频编解码规范》关于类、级等参数约定的要求。AVS2解码芯片一致性测试规定的测试内容可能无法完全涵盖GB/T 33475.2-2016所规定的所有的参数组合和要求,但必须涵盖运营商《IPTV业务系统4K/全4K视音频编解码规范》关于类、级等参数约定的要求。
AVS2解码芯片一致性测试有两种测试类型:静态测试和动态测试。
各芯片厂家应提供静态测试方法、流程及测试报告。AVS2静态测试码流应涵盖AVS2标准组织的测试码流和容错测试码流。静态测试对测试码流解码出的图像文件进行逐比特比对,目的在于测试解码处理的准确性。当被测解码器与参考解码器(可以使用GB/T 33475.2-2016的参考软件作为参考解码器)从同一编码位流中解码出同一幅编码图像时,这两个解码器产生的重建样本应完全相同。如果被测解码器重建的样本与参考解码器重建的样本不同,则该被测解码器不是合法解码器。
表2-2 AVS2工作组测试码流总结
表2-3 容错码流总结
2.3.2 AVS2解码芯片的应用认证
运营商选用AVS2解码芯片时应进一步进行动态测试,或要求芯片厂家通过业内认可的认证机构的测试,并提供认证报告。
动态测试码流根据GB/T 33475.2-2016标准和《IPTV业务系统视音频编解码规范》设计制作,这些测试码流经AVS2解码芯片解码输出,主要从一般性测试、存储带宽的测试、帧内预测编码测试、帧间预测编码测试、变换编码测试、环路滤波测试、熵编码测试、编码工具测试等几个方面来测试是否符合GB/T 33475.2-2016规定和《IPTV业务系统4K/全4K视音频编解码规范》的约定。最后,动态测试还需要进行解码芯片和编码设备、现网内容互联互通测试。
采用国际上通行的产品认证制度开展AVS2芯片标准一致性测试认证,将极大地推进AVS2标准化工作开展。建立AVS2芯片标准认证体系认证要素,包括:认证范围、认证特性、认证标准、认证模式、检测方法和检测平台、监督方式、认证标志等,制定相应产品认证实施规则。
建议AVS2芯片标准一致性测试认证应由中关村视听产业技术创新联盟指定的认证机构,如AVS工程检测中心、国家广播电视产品质量监督检验中心、北京赛西认证有限责任公司、工业和信息化部电子第五研究所(中国赛宝实验室)等测试机构,遵循国际通行的产品认证制度,依据AVS2标准编写《AVS2解码芯片产品认证实施规则》,按《AVS2解码芯片产品测试规范》要求进行测试并出具测试报告,测试合格则授权使用AVS2认证标志,在中关村视听产业技术创新联盟备案,并向国家认监委进行备案。
3.IPTV 业务系统应用AVS2标准的实施建议
1233.1IPTV 业务系统应用AVS2的实施路径
3.1.1实施路径
IPTV业务系统支持4K、高清和标清视频直播、点播、时移、回看、画中画、增值业务等,除了4K业务以外,视频编解码均采用H.264/AVS+标准。随着IPTV业务从4K进入全4K阶段,视频编解码方式有了更多的选择,为了支持新的AVS2视频编码,IPTV业务系统的接口和组件功能需要实施端到端的升级和改造,如图:
图3-1 IPTV业务系统总体架构
S1:机顶盒与平台的开机认证、下发频道列表、下发业务入口接口;
S2:机顶盒与EPG的内容呈现、播控控制接口;
S4:机顶盒与CDN的播放接口;
C1:播控平台与IPTV平台的EPG模板发布接口;
C2:播控平台与IPTV平台的内容发布接口。
涉及的关键组件如下:
1)4K/全4K直播、点播内容应用AVS2编码:播控方提供AVS2编码的点播内容注入和直播组播源,通过C2接口标示Movie和Channel描述媒体编码为AVS2;
2)AVS2编码格式内容注入、分发和服务:解析C2接口AVS2标示,将Movie和Channel媒体编码AVS2同步到EPG和CDN。CDN支持AVS2格式的点播和频道的内容下载、内容方法和抽帧,支持AVS2内容格式的RTSP/HTTP的播放。
3)4K/全4K直播、点播业务流程对AVS2的识别和支持:EPG支持JS读取机顶盒的媒体解码能力是否支持AVS2,EPG需要针对AVS2相关内容设计专区展示,EPG页面模板需要考虑能够区别机顶盒进行展示。
建议IPTV业务系统应用AVS2的实施路径分四阶段:
1)局点端到端测试验证:基于现网IPTV业务系统,选择一个局点进行升级和改造,承载牌照方基于AVS2的4K/全4K直播、点播内容,经过平台(EPG/CDN)和机顶盒,打通AVS2视频端到端的业务流程和播放体验;
2)业务试点及全网版本升级:建议在用户分组和CDN中均增加AVS2域,该域的内容只对AVS2机顶盒开放,CDN也只部分升级支持AVS2机顶盒,开通AVS2业务专区,专区开展新增的4K/全4K直播、点播、回看、时移业务。通过账号分组方式,支持AVS2终端用户访问体验,业务系统据此进行迭代优化,后续再逐步升级全网业务系统支持。
3)非AVS2内容和机顶盒兼容:对于非AVS2内容和机顶盒的兼容过渡,采用多种编码方式码流并存进行支持。原有的非AVS2编码的 4K点播节目内容经过一段时间更新、下线,重新由内容提供方转码为AVS2编码方式。原有不具备AVS2解码能力的机顶盒经过折旧逐步退网,或者可以根据用户的业务需求在EPG友好提示用户更换机顶盒,加快兼容期的过渡。
4)全网规模商用阶段:为了延长大量在网4K老机顶盒在网时间,首选采用多种编码方式码流并存进行支持,也可以通过对内容离线或实时转码方式进行支持。
3.1.2后续演进
当IPTV业务系统支持AVS2编码格式的通用业务后,为了进一步丰富用户的业务体验,还需要考虑后续演进新业务的支持:
1)多频道同看
让用户在一个屏幕上通过的不同窗口同时观看不同的直播节目。用户可以在不同的窗口之间切换焦点,机顶盒播放焦点所在频道的声音;用户也可以将焦点画面切换到全屏播放。机顶盒芯片需要支持多路AVS2的解码播放能力。
2)多频道导视
让用户在一个屏幕上通过的不同窗口同时观看9路或者16路直播节目。用户可以在不同的窗口之间切换焦点,机顶盒播放焦点所在频道的声音;用户也可以将焦点画面切换到全屏播放。头端编码设备需要支持将多路AVS2的直播频道重编码为一路视频流、一路音频流,音频流包含多个音轨。
3)360视频全景看
用户通过遥控器的上下左右键,控制观看的视角,从而达到在三维的360全景空间中漫游观看的效果。编码端需要支持360视频编码,解码端需要支持360视频的解码、全景处理,根据用户的视角,选择视角播放。
4)多屏互动
IPTV业务系统根据终端(手机/PAD)的解码能力,采用以下两种多屏互动客户端方案:
(1)手机/PAD支持硬解码
当EPG获取的终端能力为支持AVS2,则直接提供AVS2媒体的播放链接。
(2)手机/PAD支持不支持解码
基于即时转码JITT方案,实现多屏客户端对AVS2的兼容,如AVS2->H264。
3.2IPTV业务系统内容应用AVS2编码操作
2018年1月29日,AVS2超高清电视头端编解码设备研发与产业化应用项目组(以下简称项目组)在广州市对AVS2 4K编码在IPTV网络中的端到端联调系统进行功能测试,该联调系统框图如图2所示。
此外,还同时搭建了HEVC 4K编码在IPTV网络中的端到端参考系统,用于作为AVS2 4K编码在IPTV网络终端接收解码显示画面的参考对比。
测试结论如下:
1. AVS2 4K编码在IPTV网络中的端到端联调系统运行正常,验证了该系统具备可连通性;
2. AVS2 4K编码在IPTV网络终端接收解码显示画面与HEVC 4K编码在IPTV网络终端接收解码显示参考画面相比,可正常解码、显示和播放,图像还原良好。
根据IPTV对4K/全4K超高清业务的定义和需求,AVS2编码操作至少需要支持实时在线和离线编转码。为了提供IPTV 4K/全4K超高清视频内容AVS2编解码互通性测试依据,尽可能保证好的编解码质量,制定了《IPTV业务系统4K/全4K视音频编解码规范》,对应用AVS2的具体编码参数和工具,包括档次、等级、码率、编码方式等提出了要求。
表 3-1 AVS2视频编码器分实时编码器和离线编码器4K/全4K超高清编码
3.3IPTV业务系统AVS2编码内容的注入、分发和流化
3.3.1IPTV业务系统AVS2编码内容注入方案
IPTV业务系统支持AVS2编码内容注入,发布点播媒体和直播媒体内容的C2接口,需要C2接口规范新增AVS2支持:
1)直播频道发布步骤说明
图3-3 直播内容注入业务流程
(1)牌照方C2接口发布AVS2直播频道,xml指令文件包含直播频道元数据,标识AVS2的属性和频道的组播地址。
(2)CMS向CDN发送直播频道创建工单,并标识AVS2的编码属性。
(3)CDN中心内容库创建直播频道描述文件,根据描述文件建立频道的baseURL,从组播源中获取AVS2的直播TS流进行录制;FCC Server从组播源中获取AVS2的直播TS流进行缓存供频道切换时提供服务。
(4)CDN依据频道分发策略,向区域/边缘选择合适的设备分发。
(5)CDN返回CMS内容注入结果。
(6)CMS通过C2接口通知牌照方AVS2频道的注入结果。
2)点播内容发布步骤说明
图3-4 点播内容注入业务流程
(1)牌照方C2接口向IPTV平台CMS发布AVS2的影片,媒体属性标识AVS2。
(2)CMS通知CDN发布AVS2 VOD媒体。
(3)CDN依据分发策略,选择合适的设备注入VOD AVS2媒体。
(4)CDN向牌照方内容源ftp下载AVS2 VOD文件,对VOD文件进行存储。
(5)CDN返回CMS内容注入结果。
(6)CMS通过C2接口通知牌照方AVS2影片的注入结果。
3.3.2IPTV业务系统AVS2编码内容分发及流化方案
IPTV业务系统的CDN支持AVS2内容的组播、单播分发及提供服务。CDN内部分发、CDN流化服务过程中,媒体分发设备、媒体存储设备均需要增加对AVS2编码格式识别处理。支持AVS2的相关格式参数如下:
1)AVS2在TS中stream_type为0xD2;
2)AVS2的I帧起始码为0x000001B3;
3)AVS2的PB帧起始码为0x000001B6。
图3-5 三级组网内容分发示意图
1)直播服务
直播内容注入时,牌照方AVS2内容通过C2注入到CMS内容管理平台,需要增加支持AVS2格式的媒体类型。AVS2视频通过接口注入CDN,CDN接受AVS2视频并打包分发。CDN支持AVS2视频全网组播或区域组播,以及单播分发。终端接收组播或单播的AVS2视频并支持解码播放。
直播服务频道快速切换(FCC)功能实现需要增加对AVS2格式帧类型的支持,在终端请求时,快速找到对应的I帧,以RTP包方式在网络分发。
2)点播服务
点播内容注入时,需要根据AVS2视频内容的I帧信息生成索引信息。用户请求指定时间点服务时,CDN可以根据AVS2索引信息快速找到对应时间点的内容,分发给终端用户。终端支持AVS2视频解码播放服务。
3)录制视频
时移和回看服务,需要录制AVS2视频,类似点播内容注入,根据直播媒体流中的AVS2视频的I帧信息生成录制内容的索引信息。
4)HLS服务
HLS内容由编码器识别AVS2格式,并生成HLS索引文件和HLS分片文件。编码器将内容推送到CDN,完成直播媒体注入操作。
CDN通过m3u8文件识别内容编码格式为AVS2。AVS2的I帧信息由编码器负责生成。
3.3.3现网IPTV CDN系统内容AVS2转码改造建议
1)内容源的云化转码
改造建议:内容源站对接云化转码系统,将源站视频内容转码成AVS2编码格式的视频内容,并接入IPTV CDN系统。
图3-6 云化转码方案
改造目标:
云化转码系统输出音视频参数需符合GB/T 33475.2 -2016和《IPTV业务系统视音频编解码规范》对AVS2、H.264的要求;
云化转码系统需支持多种输入视频编码格式,如AVS2、H.264、PRORES等;
云化转码系统建议提供基于内容感知的编码优化,转码前后的视频主观质量需无变化;
云化转码系统至少支持8bit、10bit两种位深的视频,支持分辨率最高可至4K,帧频最高可至60fps。
云化转码系统需支持同一视频多种分辨率多种码率转码输出,并要求视频序列的时间线和关键帧位置对齐;
云化转码系统需支持倍速转码,支持迅速上片能力;
云化转码系统需支持灵活的转码模板配置调用;
云化转码系统需支持视频内容质量自动监测,避免花屏、块效应、卡顿、音视频不同步等现象,提升人工审片效率;
云化转码系统需支持视频增强,用于改善老片、旧片等质量较差片源质量;
2)CDN实时转码(JITT)
改造建议:在现有CDN系统中媒体服务网元模块(边缘节点)增加实时转码功能(JITT),将CDN系统中视频内容根据STB等业务终端需求实时转码成AVS2、H.264编码格式的视频内容,提供给相应业务终端。
图3-7 实时转码方案
改造目标:
JITT实时转码功能不影响原有媒体服务网元能力;
JITT实时转码功能输出音视频参数需符合GB/T 33475.2 -2016和《IPTV业务系统视音频编解码规范》对AVS2、H.264的要求;
JITT实时转码功能需支持多种输入视频编码格式,如H.264、AVS2、H.265等;
JITT实时转码功能需提供基于内容感知的编码优化,转码前后的视频主观质量需无变化;
JITT实时转码功能至少支持8bit、10bit两种位深的视频,支持分辨率最高可至4K,帧频最高可至60fps。
JITT实时转码功能需支持同一视频多种分辨率多种码率转码输出,并要求视频序列的时间线和关键帧位置对齐;
JITT实时转码功能引入的额外时延需小于200ms;
3.4IPTV业务系统支持AVS2解码的机顶盒
3.4.1支持AVS2解码的IPTV机顶盒架构
如图所示,支持AVS2解码的IPTV设备由硬件和软件组成,应进行软硬件一体化定制以充分保证用户高清流畅观影体验。软件可划分为应用层、应用运行层、中间组件层、硬件抽象层和内核与驱动层:
应用层:视频APK查询机顶盒是否支持AVS2,支持则下发AVS2的节目。EPG模板查询机顶盒是否支持AVS2,支持则下发AVS2的节目。
应用运行层:包括Android应用框架和中间件浏览器引擎,为上层的Android应用和B/S模式的EPG页面提供运行环境。Android应用框架支持AVS2能力查询的API;浏览器引擎支持AVS2能力查询的JS接口
中间组件层:Android和中间件的系统能力层,提供AVS2库。中间件媒体播放框架支持AVS2的处理逻辑和API。SQM(Service Quality Management)探针支持AVS2的视频质量分析算法。
硬件抽象层:负责适配芯片平台和Linux内核,分为Android的硬件抽象层和中间件的硬件抽象层,分别提供AVS2的SDK。
内核与驱动层:驱动部分支持AVS2 Codec驱动。
芯片&硬件平台:视频硬件逻辑支持AVS2 Codec。
图3-8 支持AVS2解码的IPTV机顶盒基本架构逻辑
3.4.2支持AVS2解码的IPTV机顶盒与业务系统接口
1)机顶盒与业务管理平台接口:机顶盒通过S1接口与业务管理平台交互,完成开机用户应用认证、频道列表获取、业务入口地址获取、用户注销等功能。在频道列表获取接口方面,其中频道列表响应中应定义:
2)机顶盒与EPG服务系统接口:机顶盒业务使用接口、机顶盒浏览器解析业务页面,并展示。其中业务页面包含Javascrip,调用浏览器对象实现业务播放。浏览器JS对象MediaPlayer媒体相关参数的描述中,增加AVS2的枚举值:
3)机顶盒与TS内容分发系统接口:包结构和语法方面,PMT中的视音频components,增加AVS2定义:
4)JS接口, EGP模板读取机顶盒的能力
var sValue=Utility.getValueByName('codecs’);
返回值:
{"video":”H264,AVS2”}
5)安卓API接口, APK模板读取机顶盒的能力
SystemProperties.get("ro.codecs");
返回字符传{"video":”H264,AVS2”}
6)HLS M3U8
#EXT-X-STREAM-INF:BANDWIDTH=65000,CODECS="avs2",
支持增加AVS2的定义
7)CTC_MediaProcessor接口类扩展的数据参数及接口
MediaFormat.h
VIDEO_FORMAT_E枚举值扩充AVS2字段。
typedef enum {
VIDEO_FORMAT_UNKNOWN= -1,
VIDEO_FORMAT_MPEG1,
VIDEO_FORMAT_MPEG2,
VIDEO_FORMAT_MPEG4,
VIDEO_FORMAT_H264,
VIDEO_FORMAT_H265,
VIDEO_FORMAT_AVS2,
VIDEO_FORMAT_MAX,
} VIDEO_FORAMT_E;
void InitVideo(PVIDEO_PARA_T pVideoPara),在初始化解码器时使用以上枚举值。
3.4.3支持AVS2解码的IPTV机顶盒测试规范和量化指标
3.5IPTV业务系统AVS2编码内容的质量保障和分析
3.5.1终端软探针
IPTV业务系统提供端到端的业务质量指标监控,其中机顶盒终端部署内嵌探针以采集数据。IPTV业务系统支持AVS2后,探针需要如下改造:
1)支持从机顶盒采集TS、RTP、HLS协议传输的AVS2视频流;
2)支持解析TS、RTP、HLS协议封装的AVS2视频流,并获取到帧信息相关数据。
3)支持基于AVS2视频流的源质量评分、卡顿评分、花屏评分。
4)探针上报的采集数据需要扩展AVS2编码方式。
3.5.2直播监测硬探针
针对AVS2编码的直播频道,需要增加支持AVS2视频流的直播监测探针。
针对AVS2编码的内容,拨测服务器和各个拨测节点,需要增加支持AVS2编码内容拨测的完整流程,能够探测并且监控支持AVS2编码方式的IPTV节点的状态。
4.总结与行动
44.1总结:AVS2护航IPTV
IPTV经过十多年的持续创新发展,已成为融合传统媒体和新兴媒体网络传播的重要渠道,具备新技术产业化应用和创新的巨大优势:用户成规模、体系标准化、技术创新活跃、产业影响力强。
十五年来,我国自主技术标准实现了创新和突破,从AVS、AVS+到AVS2达到国际同类标准类似性能,通过创新的知识产权管理机制,促使国际同类标准的专利授权费用向公平合理方向转变。
2016年AVS2正式成为国家标准,2017年广电总局发文规范4K超高清电视发展的管理和标准体系,AVS2在广东省政府打造4K电视网络与产业发展计划中得到应用和验证,AVS2产业生态开始逐步具备。高效的视频编码技术和成熟的视频编码标准生态对于超高清视频业务发展尤为重要,2018年IPTV开展全4K技术升级,产业进入AVS2护航IPTV高速发展的阶段。
AVS2护航IPTV,在于发挥AVS2的编码特色和持续创新性,结合新一代超高清视频技术需求,开创视频体验的新高度和新时代。全4K空间分辨率、时间分辨率、量化分辨率、亮度动态对比度和色域空间多个技术维度的提升构成了新一代视频体验的新高度,AVS2通过发挥持续创新优化的工匠传统,可以支持全4K多个技术维度的高效率编解码优化处理。通过加强同产业的衔接,协调持续的创新,可以满足全4K、8K/VR创新驱动的需求,提前为产业发展奠定基础。
AVS2护航IPTV,更在于建立AVS2“开放式”专利运营模式以加速产业应用进程,降低标准应用和专利授权的不确定性。标准组织传统的FRAND(Fair,Reasonable And Non-Discriminatory)专利运营模式,与互联网时代的开放式属性和产业生态的共享竞合属性格格不入,在实践中也很难实施,而开放、生态恰恰是技术推广普及、加速落地的至高一环,通过开放技术专利、组建联盟,采用激励计划的方式,可以满足产业打造IPTV产业中国技术名片的各方需求。
AVS2护航IPTV,还在于多方协同、形成合力,激励产业撸起袖子加油干,打造AVS2应用的成功样板。广东应用AVS2的4K产业化样板经验,对于营造良好的政策环境和发展氛围,乃至在全国应用形成示范效应,具有特别的参考意义。AVS2发挥关键技术的原创力、IPTV发挥标准应用的凝聚力,可以通过“打造样板点、快速复制”的模式迅速在产业中形成规模。
4.2行动:IPTV推广AVS2
2018年3月,IPTV产业链在深圳召开AVS2编解码技术产业应用研讨会,产业链高度关注AVS2技术、关注AVS2的应用实施,IPTV的全4K超高清化进程与AVS2的产业化推广历史性的走到了一起。
IPTV在新的技术和业务阶段推进AVS2的产业化应用行动恰逢其时,纵观国内IPTV 4K超高清技术和产业发展的进程,2018年开始进入全4K标准和产业阶段,IPTV从高清升级到全4K超高清的技术规格、业务形态和用户体验将稳步进入一个新的时代。结合国内4K超高清广播电视和4K超高清视频产业的发展需求,IPTV“全4K、AVS2”的全新组合可以推动AVS2产业化和生态完善再上一个高度。
IPTV从推动用户视频体验提升和业务形态创新出发,积极谋篇布局8K/VR新技术的应用,2017年发布的IPTV VR技术产业白皮书、2018年计划推进的VR落地试点,都将给AVS2的产业化应用提供广阔的天地,也对AVS2提出更多挑战性的技术需求。
IPTV在智慧家庭中已成为娱乐视频、通信视频、行业视频的主入口,编解码是视频产业中最具广泛性、基础性、战略性的技术。IPTV推广AVS2,知行合一,最好的行动时机,就是现在始!
5.修订记录