搜索历史
热搜词
宋利:超分辨技术,破除4K内容缺失难题
DVBCN数字电视中文网 | 2015-06-24 16:06
2015年6月17日,中国电信上海研究院,中国电信IPTV 4K/HEVC技术与业务研讨会及业务演示正式召开,大会邀请了上海市信息家电协会朱静莲秘书长、上海通信学会唐伟民先生、上海电信研究院蒋力女士、中国电信上海研究院罗传飞博士、上海交通大学宋利先生、各IPTV业务大省代表和有合作意向的CP代表等出席此次会议,会议针对中国电信IPTV以及4K业务的研究以及技术解决方案进行了阐述和分析,研究院罗传飞博士针对于分辨率与终端尺寸的关系、如何减少帧率带给用户的视觉疲劳、CDN的运用及成本计算、码率的计算以及传输需要、音频全景声解决方案、内容的短缺以及超分辨技术等多方面问题进行了细节的介绍。
 
 
随着4K产业链的逐步成熟,从制播到传输再到终端都已经满足了4K市场化的必要条件,但目前4K内容的缺失无疑是阻碍着4K市场培植的最大障碍之一。上海交通大学专注于数字媒体处理与传输的宋利副教授拥有与上海电信多年合作的经验,在原本4K内容就缺失的现状下,如何将大量的优质“蓝光高清”通过超分辨率等先进的图像处理技术提升为受众所能观看的与 “真4K”无体验差别的内容源,已成为行业中提前将视频体验推进至“超高清时代”的重要技术手段。
 
会上宋教授表示,“超高清”体验的推进要从4个维度去演进,分辨率(HD向4K及8K演进),帧率(30p向60乃至120p演进),色域(Rec.709向Rec.2020演进),动态范围(8bit向10/12bit演进)。传统的消费类电子侧重在终端上做超高清后处理,而在“云-管-端”体系下,如何利用云端充足的计算资源和数据,在内容加工阶段一致地提升受众体验已经成为重点。
 
宋教授目前所采取的方案即为建立一个媒体处理中心(云),通过积累丰富的高质量HD节目构建视频大数据,然后利用云端可扩展的计算资源,并集成具有学习能力的智能处理算法。该方案综合了大数据、云计算、AI三大要素,形成一种新的处理范式,破除HD转4K仅是临时过渡方案的看法,将之变成一种长效的解决方案。媒体处理中心的全自动处理后,可实现批量HD源高效转码成高质量的4K节目,全面提升包括分辨率、帧率、色域以及动态范围等多个维度,使之真正成为让受众愿意为之买单的超高清4K内容。
 
要建立完全自动化的模型,就需要在整条视频链路上进行整体的优化,其中重点需要关注制作、编码以及机顶盒三个环节:
 
  • 从生产角度:要对图像细节进行增强(超分辨)、使对比度增加(边缘增强)、画质干净(去噪)、色彩饱和(调色)、标识引导以及音频(多声道/全景声)
 
  • 从编码角度要对编码参数进行调整,其中包括有格式、能力、级别、基准码率以及动态范围等
 
  • 终端上要分析不同帧率以及分辨率的适应性、后处理增强性能、显示器适配性等数据
 
要做到HD向4K视频全自动化处理,面临的一个挑战是缺乏与人主观视觉体验一致性的视频质量评分计算模型。
 
记者了解到,上海交通大学宋利副教授近年来重点关注基于机器学习的视频处理技术。当天他重点介绍了局部自相似模型、图像稀疏表示模型以及深度学习模型等新型超分辨率技术,这些方法的共性是通过LR-HR对应的图像块,找到由LR图像块到HR图像块的映射关系,并最终形成一个具有泛用性的“超分辨滤镜”。
 
其中值得一提的是,深度学习技术目前异常火热,该技术受大脑信号处理机制的启发,通过大量有结构、多层次的人工神经元组成具有超强学习能力的人工神经网络,可实现深层次、高效率的“深度学习”。近年来在包括图像分类、语音识别等应用中取得重大突破,已经成为这些领域通用的特征学习“大法”。
 
那么,该技术是否也可以应用于超分辨率等经典的图像处理领域呢?受这一思路启发,宋教授及其团队与中国电信上海研究院罗传飞博士紧密合作,经过持续不断的算法探索和工程优化,最终将该技术投入实用,同时整合其团队视频编码方面的长期积累,开发出将H.264高清视频源转换为HEVC 4K超高清体验的“i4K”解决方案。目前“i4K”已帮助内容提供商将多部蓝光影片重新编制为更高视听体验的4K节目。在现场体验过程中,相比于现有的高清节目,受众在画面清晰度、色彩饱和度、动态画面的稳定性方面都感受到了质量的明显提升,领略到超高清内容带来的全新视觉体验。
 
纵观4K产业链,内容始终被业界认为是阻碍4K市场化发展的最核心阻碍,如果该项技术真正实现商用,为4K内容的稀缺破冰,在海量内容的支撑下,相信IPTV及OTT将呈现出更多样化的超高清市场环境,也必然将进一步刺激消费者为内容买单的购买行为与收视习惯。
阅读 参与讨论 评论(0)

强化五一假期效应 虹魔方发力大屏运营
 04月28日
强化五一假期效应 虹魔方发力大屏运营
倪健中会长:推动中国发起全球元宇宙大会联合会
 01月04日
倪健中会长:推动中国发起全球元宇宙大会联合会
第五届数智中国科技周·全球元宇宙大会(深圳站)收官战报...
 01月04日
第五届数智中国科技周·全球元宇宙大会(深圳站)收官战报来啦!
学术盛宴!人工智能国际治理学术论坛12月18日下午重磅举办!
 01月02日
学术盛宴!人工智能国际治理学术论坛12月18日下午重磅举办!