视频修复与增强的背景
发展趋势——超高清
8K由于其差异化、高端化成为视频显示领域产业升级的下一个重要战略方向点。8K分辨率的像素总量是4K的4倍。8K使画面细节纤毫毕现,呈现更多的颜色层次,带来极致的画质体验。
8K技术的普及是未来几年显示视频技术的发展的目标。随着网络宽带传输技术、图像处理技术和硬件制造技术的共同迅猛发展和提升,视频媒体内容的生产和呈现方式发生新的变革。采、编、播、传输、显示各环节的技术,基本具备8K条件。
2021年2月1日,中央广播电视总台8K超高清电视频道试验开播、央视春晚8K电视直播,将加速8K超高清的落地普及。
海量珍贵历史视频亟需修复增强
现存大量的现有的低分辨率的珍贵视频,例如:中央新闻纪录电影制片厂保存60万分钟极其珍贵的历史影像资料,包括历代党和国家领导人的影像资料、涉及党和国家重大决策事件的影像资料、各历史时期重大事件的真实记录......
中央广播电视总台音像资料馆保存200万小时标/高清电视节目和素材,包括87版红楼梦、86版西游记等央视版经典四大名著,抗战、长征各类题材经典电视剧,新闻、晚会、赛事、直播、专题片、纪录片等......
此类影像资料或多或少存在画质问题,在超高清设备上显示时,画面问题会被放大,严重的影响观看体验,因此,有必要对它们进行修复与增强,让它们以更好的效果呈现。人工智能技术是很好的选择。
运用人工智能技术,支撑珍贵历史资料的修复与增强
《开国大典》于1989年拍摄,献礼建国40周年。2019年进行4K修复,献礼建国70周年:1082个镜头,24万帧画面,6%资料片,修复团队超过600人,每天修复20小时,耗时4个月。人工智能算法的应用,可以更高效的对老旧影片进行批量修复增强。
超高清标准
超高清的标准涉及多个方面,首先是分辨率,至少需达到4K,尽量达到8K,其他的指标帧率、色深、色域、动态范围、音频都有比较高的要求。理想情况下,老旧影片修复增强后是需要达到超高清标准的,但是老旧影片中包含的信息太少了,因此修复增强的工作存在很大的挑战。
修复增强技术
难点与挑战
老旧影片由于拍摄年代久远、设备落后、播放保存损伤等原因,导致画面主观视觉质量差:画面模糊不清晰,颜色暗淡,大量噪声;运动拖尾不流畅,对比度层次感差;噪点、斑块、划痕、污迹等画面损伤。
人工智能修复增强技术
智能修复,让画面变干净:建立目标检测网络,采用深度神经网络对斑块进行检测和定位;基于运动补偿原理,采用时域去除法,将当前斑块所在帧的前后帧对应位置图像作为参考,补充当前斑块遮挡的区域;利用空域修复法,将无法检测到的细小瑕疵,用空间补差的方式进行消除,并保证时域图像的连续性。
超分辨率,让图像更清晰,通过深度学习网络进行特征自动学习、非线性映射和上变换重建,把低分辨图像放大成高分辨率,提升画面清晰度和细节信息。
视频插帧,让动态更流畅:基于光流的运动估计补偿插帧技术,结合对角线补偿、清晰度增强,实现2倍或4倍的帧率放大,并消除消除运动抖动/拖尾、。
画质增强,让画面更好看:从锐度/清晰度、饱和度/对比度、降噪、灰度级变换(8bit→10bit)、亮度动态范围(SDR→HDR)、色域提升(8bit BT.709→10/12bit BT.2020)等方面提升画面整体质量。
徐小丽最后总结到,修复增强技术的应用,让历史影像有机会以更好的质量呈现。过程涉及的人工智能算法,可以快速提升8K超高清视频节目的产能,加快8K普及的步伐。为用户呈现更高分辨率、更有吸引力的视频内容,丰富用户的视听体验。
面向真实世界应用,仍存在一些挑战。修复增强后的老旧影片即使视频参数符合超高清标准,但是相对于真实拍摄的4K/8K影片,画面质量存在明显的差距。