和一般的业务不同,视频是流特性业务,数据量很大。例如,数字电视图像中的SIF格式、NTSC制式、彩色、4∶4∶4采样,每帧的数据量为2028Kb,每秒的数据流量可达60.8Mb;CCIR格式、PAL制式、4∶4∶4采样的彩色视频的数据流量可达148.8Mbps。实验表明,176×144的YUV原始视频在10Mbps的LAN上传送速率是3帧/秒左右。可见,未压缩的视频在Internet上传输的效果是无法容忍的,而且会很容易地将Internet资源吞没,造成网络拥塞甚至崩溃。因此,IP视频通信的第一步就是视频压缩。
视频压缩编码的理论基础是信息论。压缩就是从时域、空域两方面去除冗余信息,即将可推知的确定信息去掉。编码方法大致可分为三类:
1.考虑到图像信源的统计特性采用的预测编码方法、变换编码方法、矢量量化编码方法、子带-小波编码方法及神经网络编码方法等;
2.考虑到视觉特性采用的基于方向滤波的图像编码方法、基于图像轮廓/纹理的编码方法;
3.考虑到图像传递的景物特征,采用的分形编码、基于模块的编码方法。
在IP视频通信应用中,编码方法的选择不但要考虑到压缩比、信噪比,还要考虑到算法的复杂性。太复杂的编码算法可能会产生较高的压缩比,但也会带来较大的计算开销,软件实现时会影响通信的实时性。目前,在众多视频编码算法中,影响最大并被广泛应用的算法是MPEG和H.26x。
MPEG编码
MPEG是国际标准化组织ISO/IEC下的一个制定动态视频压缩编码标准的组织,它为视频压缩编码技术的标准化、实用化做出了巨大贡献。如针对CD-ROM的1.5Mbps传输率的MPEG-1、针对HDTV的6Mbps以上传输速率的MPEG-2都已成功地得到应用,并创造了巨大的商业价值。MPEG-4是针对视频会议、可视电话的甚低速率编码标准,它融入了基于内容的检索与编码,可对压缩数据内容直接访问;即将于2001年制定完毕的MPEG-7标准被称为"多媒体内容描述接口",这种标准化的描述可以加到任何类型的媒体信息上。不管视频信息的表达形式或压缩形式如何,具有这种标准化描述的多媒体数据均可被检索。因此,MPEG-7的应用领域主要是数字化图书馆和广播式媒体。
H.263编码
H.261编码是一种帧间预测减少时域冗余、变换编码减少空域冗余的混合编码方法,具有压缩比高、算法复杂度低等优点,得到较为广泛的应用。Mbone的重要应用工具之一IVS的视频编码采用的就是H.261编码算法。在H.261的基础上,1996年ITU-T推出了H.263编码标准。H.263在许多方面对H.261进行了改进和扩充,如在编码算法复杂度增加很少的基础上,H.263能提供更好的图像质量、更低的速率,十分适合于IP视频会议、可视电话应用。目前,H.263编码是IP视频通信采用最多的一种编码方法,并已被许多多媒体通信终端标准所吸收, 如:ITU-TH.310(B-ISDN)、H.320(ISDN)、H.324(PSTN)、H.323(LAN、 WAN、Internet)。
随着计算机性能的快速提高,对于可视电话和视频会议等应用(一般使用QCIF图像),纯软件编码器(codec)即可以满足应用要求。我们实现的H.263纯软件编码器在主频为166MHz的主机上编码帧率可达60帧/秒以上,平均图像质量(用信噪比表示)大于38dB。
1998年ITU-T推出的H.263+是H.263建议的第二版,它提供了12个新的可协商模式和其他特征,进一步提高了压缩编码性能。如H.263只有5种视频源格式,H.263+允许使用更多的源格式,图像形状和时钟频率也有多种选择,拓宽了应用范围;另一重要的改进是可扩展性,它允许多显示率、多速率及多分辨率,增强了视频信息在易误码、易丢包异构网络环境下的传输。另外,H.263+的图像分段依赖性也可以是受限的,以减少差错传播。H.263+对H.263中的不受限运动矢量模式进行了改进,加上12个新增的可选模式,不仅提高了编码性能,而且增强了应用的灵活性。