H.264/AVC技术进展及发展策略思考

前言

随着NGN､3G及3G演进和NGBW等对视频､多媒体业务与网络应用的飞速发展需求，作为视频业务及存储应用核心技术的高效率视频数字压缩编(译码)技术，愈来愈引起人们的关注，成为目前广播､视频与多媒体通信领域中的亮点与热点。

制定视频编码标准的两大组织为ITU-T的视频编码专家组(VCEG)及ISO/IEC的活动图像专家组(MPEG)。

ITU-T于1993年制定了第一个视频编码标准H.261，其输出速率为p×64kbit/s，主要用于ISDN及ATM等准宽带及宽带信道视频，不适宜于PSTN及移动通信等窄带及带宽有限的信道与网络上应用｡为满足低速率视频通信需要，ITU-T于1996年又推出了适合在小于64kbit/s速率的信道上传输的视频编码标准H.263｡1998年又推出了H.263的第二版H.263+，提供了12种可选模式及其他特征，进一步提高了压缩编码性能;同时又开始制定进一步改进性能的近期与远期目标｡其近期目标即为2000年制定的H.263第三版H.263++，其远期目标即所谓标准H.26x，为H.264标准的制定奠定基础｡

在ITU-T推出H.26x系列标准的同时，ISO/IEC主导的相应视频编码标准，包括其业务管理在内，亦在积极推进，形成了众所周知的MPEG-x系列标准(MPEG-1､MPEG-2､MPEG-4､MPEG-7及MPEG-21等)，并获得了较广泛运用｡

2001年，MPEG认识到H.26L的潜在优势及与VCEG联合工作的必要性，从而两者合作成立联合视频组(JVT)｡2001年9月，在JVT的第一次会议上制定了以H.26L为基础的H.264标准草案和测试模型TML-9｡2003年3月，在泰国Pattaya举行的第七次JVT会议上，JVT形成了最终标准草案，分别提交ITU-T及ISO/IEC审批，从而形成了2003年第二季度发布的统一标准H.264/AVC｡该标准在ITU-T称为H.264;在ISO/IEC则称为MPEG4-Part10AVC(AdvancedVideo Coding，第10部分，先进视频编码)｡这便是H.264/AVC的基本由来｡

H.264/AVC在压缩编码效率､视频内容自适性处理能力方面及网络层面，特别是对IP网络及移动网络的自适应处理能力､抗干扰能力与顽健性等方面，相比H.263/MPEG-4均有大幅度提高，因而自2003年未以来，视频业界一些厂商与人士开始对H.264/AVC寄予极高的期望，甚至达到近乎狂热般追捧的境地｡不是说高的期望值不对，H.264/AVC的应用确属相当广泛，包括固定或移动的可视电话､移动电话､实时视频会议､视频监控､流媒体､多媒体(超媒体)视频､Internet视频及多媒体(超媒体)､IPTV､手机电视､宽带电话以及视频信息存储等，但对其成熟过程､复杂性及指定时期内的确切市场定位，亦必须要有一个冷静､理智的估计，才能确保其积极､稳妥､科学､务实地健康发展｡基于这一初衷，笔者拟结合NGN及3G演进的固定､移动视频业务实际需求状况，就H.264/AVC的重要技术进展及其务实发展策略谈一些个人看法，供分析参考｡

1 H.264/AVC的重要技术进展

NGN及3G､3G演进和NGBW发展的一个主要目标即为包括视频在内的多媒体应用｡对此，H.264/AVC定义了3种视频服务类型，即会话型服务(如可视电话､视频会议等)､现场或先期录制的视频流型服务和多媒体消息类服务MMS｡

为适应NGNIP网络及带宽资源有限的时变型移动/无线信道的传输需要，H.264/AVC无论从网络层匹配自适应能力､提高源压缩编码效率及信道抗干扰能力等方面均进行了较精心的设计，有较大幅度的性能增强与改进｡

1.1视频编译码结构的分层设计

视频编译码结构从功能和算法上分为两层设计，即视频编码层(VCL)及网络适配层(NAL)｡VCL负责高效率视频编码压缩;NAL负责网络的适配，即提供对不同网络性能匹配的自适应处理能力，它针对下层网络的特性对数据进行封装，包括成帧､发送相应信号给逻辑信道､利用同步信息进行处理等｡NAL从VCL获得数据信息，包括头信息､段结构信息及实际净荷信息，进而将它们映射到下层的各传输协议上｡这些协议诸如H.320､H.323､H.324､MPEG-2等｡NAL单元按RTP序列号顺序传送，序列号设置可发现丢失的是哪一个VCL单元，即使基本编码图像丢失，借助冗余编码图像，仍可获得较“粗糙”的图像恢复｡同时，借助图像的片(Slice)､片组､宏块(MB)结构及黑白宏块非扫描顺序的灵活宏块顺序(FMO)，安排与切换P帧(SP)､切换I帧(SI)的流切换､流拼接､随机接入与差错恢复等，都有利于提高其误码掩盖及抗干扰能力，并有助于压缩效率的提高｡NAL层的引入，大大提高了H.264/AVC对不同网络及复杂信道的适应能力｡

1.2高效率视频编码设计

1.2.1统一的可变长度编码(UVLC)码表

以往标准的熵编码通常采用变长度的哈夫曼编码，其码表不统一，不能适应变化多端的视频内容，从而影响编码效率的提高｡在此，即对H.263不同系数采用不同码表进行VLC作了改进，采用了一个统一码表的UVLC，同时，又对H.26L中的VCL方法进行了改进，使量化后的DCT变换系数使用基于内容的自适应可变长度编码(CAVLC)，此外还定义了一种基于上下文内容的自适应二进制算术编码(CABAC)，其性能比CAVLC更好，当然计算更复杂｡从而，借助UVLC､CAVLC及CABAC较好地提高了压缩编码效率｡

&[FS:Page]nbsp;1.2.2自适应帧､场编码(AFFC)

如众所知，帧中邻行空间相关性强，场中邻行时间相关性较强，从而帧编码可用于运动性较小图像编码，而场编码可用于运动性较大图像编码｡按此根据图像运动状况选择编码模式即构成图像自适应帧､场编码(PAFFC)，以提高编码效率｡进而，若一帧内包含一些运动快慢不同的区域，还可将此区域划分为“宏块对”进行AFFC，此时即称为宏块自适应帧､场编码(MBAFFC)｡

1.2.34×4块的整数变换

H.264/AVC中的DCT变换与H.263中的情况不同，它采用的变换单位不是8×8块，而是4×4块，且变换是整数操作，而不是实数操作｡其优点为:运算速度快､精度高并占用较少内存｡整数操作，编译码有严格的反变换，避免了截取误差，减少了运动边缘块的编码噪声｡同时，4×4变换比8×8变换产生的方块效应亦要小｡

为进一步利用图像的空间相关性，在对色度分量预测残差及16×16帧内预测的预测残差进行DCT变换后，还对每个4×4变换系数块中的DC系数组成的2×2和4×4大小的块进一步做哈达玛(Hadamard)变换，以更好改善性能｡

1.2.4动目标估值(ME)算法的改进

a)搜索精度增强:首先，进一步增强了动目标估值的搜索精度，在半像素预测后的生成矩阵基础上，内插一次扩展至1/4像素精度矢量，在1/4像素基础上再内插一次，获得1/8像素更高精度的运动矢量｡

b)宏块(MB)更精细与多样化分解:对每一个MB，进行更精细与多样化分解，此时MB拥有和此类小块数相对应的运动矢量｡这种多模式的灵活细致的分块划分，更切合实际动目标形状，大大提高了动目标估值精度｡

c)多参考帧模式预测:采取多参考帧模式，进行多于一帧的先前帧(最多5帧)动目标估值｡此时对某个MB进行动目标估值时，会从过去的2个或3个刚编码过的参考帧中选一帧作参考，以改善动目标估值性能，提高译码器的误码恢复能力，取得更好的预测效果｡

d)变尺寸块运动补偿(MC):例如平坦区可取16×16尺寸块，而细节区可采用8×8甚至4×4等更精细尺寸块，此时MC预测精度更高､灵活性更好，更符合视频内容不断变化的实际情况｡

e)加权预测:H.264/AVC还允许对MC预测信号进行加权预测，可较大幅度改善无线信道衰落之类信道变化时的编码效率｡

f)MC时的环路去方块滤波:H.264/AVC把去方块滤波引入MC预测环路中，既可去除方块效应，又能保护图像细节边缘，同时亦改善了图像的主､客观评定质量｡而且经过滤波后的图像根据需要放在缓存中用于帧间预测，此滤波器位于译码环中而非译码环外，从而又称环路滤波｡