随着芯片技术的发展,FPGA的容量已经达到上百万门级,从而使FPGA成为设计的选择之一。Altera公司的FPGA芯片 EPXA10应用SOPC技术,集高密度逻辑(FPGA)、存储器(SRAM)及嵌入式处理器(ARM)于单片可编程逻辑器件上,实现了RISC和 FPGA的完美结合。本文使用EPXA10芯片,利用片上的ARM微处理器对MPEG-2传输流进行解码,得到必要的解码参数,实现了将传输流分成视频流和音频流的解复用。
EPAX10器件
简要介绍
ALTERA公司的EPXA10器件单片集成了ARM硬核,百万门级的FPGA,以及SDRAM存储器的接口。它将FPGA和ARM处理器完美结合在一起,是一个典型的SOPC结构,该器件的模块框图如图1所示。
其中ARM处理器是32位的ARM922T,工作频率可以达到200MHz,具有8K的数据缓存和8K的指令缓存。通过板上的JTAG接口,可以实现断点调试功能。
片上的百万门级FPGA可用于实现用户自定义的逻辑。它通过AHB总线和ARM处理器相互连接。为了更加灵活的使用,FPGA用户自定义逻辑可以定义为主模块(master),在总线通信时处于发起端;或是定义为从模块(slave),在总线通信时处于接收端。FPGA器件内部有3M大小的存储器,同时集成了SDRAM控制器。在FPGA开发板上可以外接128M的SDRAM,为了便于内部FPGA和外部SDRAM大数据量的交换,用户还可以定义自己的 DMA模块,用于访问外部SDRAM。通过UART、网卡接口、JTAG接口,FPGA可以很方便地同外部计算机通信、下载程序,及调试程序等。
图1 EPAX10器件的模块框图
图2 MPEG-2码流形成示意图
MPEG-2传输流解复用原理
MPEG-2传输流简要介绍
作为数字视频压缩技术的国际通用标准,MPEG-2标准于1994年被运动图像专家组制定出来,分成系统层、视频压缩层和音频压缩层。系统层主要用来描述音、视频的数据复用和音、视频的同步方式。在系统层定义了TS(传输流) 和PS(节目流)两种形式的码流。PS通常用于相对无错的环境,例如DVD中,其长度为2048字节;TS通常用于相对有错的环境,例如数字电视的地面广播传输中,分组长度规定为188字节。TS流和PS流都是由编码后的基本数据流(ES)根据一定的格式打包形成PES包,再加入一些系统信息而构成的,码流形成过程如图2所示。根据MPEG-2协议,在发送端,基本流的PES打包由音/视频编码器完成,复用器接收编码端的音、视频数据流以及辅助数据流,按照一定的复用方法将其交织成为单一的TS流。为了实现音、视频同步,在码流中还必须加入各种时间的标志和系统的控制信息。接收端和发送端正好相反。
传输流及其PSI表
传输流TS的结构长度为188字节,分成包头和包负荷两部分。包头主要包括同步字节和PID以及其他的信息,同步字节用来指示一个TS包开始(0x47), PID表示TS包的类型。例如一个节目里的音频PES包,在转换成为TS包后会具备同样的PID,这样,接收端只需要接收具有此PID的TS包,就可以将该节目的音频解出来了。包负荷是包的实际内容,根据具体情况,可以放置PES包或PSI包。传输流由一个或者多个节目构成,而每一个节目由视频流、音频流、私有信息流以及其他的数据包构成。
PSI包在传输流解复用中占据重要地位,它通过四个表格来定义码流的结构,分别是节目关联表(PAT)、节目映射表(PMT)、条件接收表(CAT)和网络信息表(NIT)。其中最为关键的部分是PAT表和PMT表。
PAT 表是PSI信息的索引表,PID值固定为0。在PAT表中列出了该传输码流中所有节目的PMT表的PID值。如果接收方希望接收其中的一个节目,即可根据这个PID值解出对应于该节目的PMT表,从中可以查询到与该节目相关的所有音频流、视频流,以及私有信息的PID,在接收时就可以只接收具有这些PID 值的包。
如图3所示,PAT表的PID值为0,根据PAT表可以得到各个节目对应的PID值,如节目0,PID=122,对应NIT网络信息表;节目1,PID=60;节目20,PID=200等。如果希望看节目20,就根据200这个PID值得到节目20对应的PMT表,再进一步查到节目20的视频、音频及私有信息包对应的PID值,分别为500、510和540。解有这些PID值的传输包就可以解出音频和视频的PES包,最终解出音频流和视频流。CAT表的PID值固定为1,用来传递加密信息,不在本文的讨论范围内。[page]
在MPEG-2系统层解码时,需要由一个解复用器按照上述的原理对PSI表进行处理,同时将各个音、视频基本流从传输流中分离出来,送入对应的解码器中,所以解复用器在MPEG-2解码中占据重要的地位。
图3 PSI表格解码
图4 系统结构框图
图5 软件流程图解复用系统的具体实现
本文设计的是DVB的SDTV系统集成解码芯片,视频解码最高支持MPEG-2的MP@ML,分辨率为720×576,实时解码;音频解码满足AC-3标准。
从前面的部分可知,解复用器需要承担将数据分流的工作,所以数据处理量相当大,很多解复用器都采用DSP或者专用ASIC进行处理。本文中,有别与以往的结构,利用EPXA10的片上ARM处理器,以及片上内嵌的SDRAM控制器和DMA控制器的特性,来实现对MPEG-2的传输流进行解复用,同时由硬件完成对PID包过滤的任务。所有的数据分解过程都由系统软件来完成,因此在数据处理方面更加灵活,保证了系统对于MPEG-2传输流解码的灵活性,同时避免了语法上的不兼容。
系统结构如图4所示,系统硬件由PID过滤、片上缓存及DMA等构成;系统软件部分由ARM实现。片外SDRAM用来存放数据。音/视频解码模块使用硬件实现,在本文中不涉及到相关内容。
系统硬件的功能是:当外部的8位传输流数据输入到FPGA上时,根据传输流包头进行同步,并将同步好的数据送入到PID过滤器。如果在传输过程中有错误,也就是包头中有sequence-error-code=1,就丢弃这个包;如果没有,则检查PID码表的数据,如果在码表中有这个PID值,那么就将这个传输流的包送入到FPGA的片上缓存中;否则就丢弃这个包。PID过滤器工作完成后,数据送入FPGA片上缓存部分,为了加快数据处理速度,使用DMA将缓存中的数据传输到片上SDRAM对应的传输流缓冲区。
ARM上的软件流程如图5所示,如果片外SDRAM的传输流缓存中有未处理的包,则取出该包,判断PID的值。如果PID=0,表示当前的包是PAT,那么就对该包进行解析,根据选定的节目号,确定需要解码的PMT包的PID,再更新FPGA 上PID码表中PMT的PID,并将PMT的状态位设定为需要解码。
如果PID等于PID码表中PMT包的PID,则判断PMT的状态位。如果不需要解码,就丢弃这个包;如果需要解码,则进入PMT包解析子程序,提取出该解码对应的音、视频传输流包的PID,将提取[FS:Page]出的音、视频传输流包的PID值对FPGA片上的PID码表进行更新。
如果PID等于PID码表中的音、视频PID值,那么就进入到音/视频处理程序,对音、视频的传输流包进行解包,将解得的PES包的内容(就是实际的音、视频流)通过DMA发送到片外SDRAM的音/视频缓冲区中,供下一级的音/视频解码器完成解码功能,最终完成MPEG-2码流的解码过程。
结语
本文使用了Altera公司的一款具有ARM硬核的FPGA器件EPXA10,提出了一种基于ARM微处理器的对MPEG-2的传输流进行解复用的解复用器设计方案。根据传输流的特点,使用硬件实现了数据量操作比较大的PID包过滤、DMA传输等任务,并利用ARM处理器完成较为复杂的 PAT、PMT包的解包工作,同时也将音、视频包解包,并将解出的音、视频发送到片外SDRAM上的音/视频缓冲区中。
最终设计的解复用器能对码率最高为19 Mbps的传输流进行解复用,对系统层的数据和其他辅助数据进行解码。解复用得出的视频流和音频流可供下一级的音/视频模块进行实时解码。
参考文献
1 ISO/IEC 13818-1 Information technology: General coding of moving pictures and associated audio information (system).
2 YUKIO Fujii, Junkio Nakaso. Implementation of MPEG-2 Transport Demultiplexer with DSP-base Controller. IEEE Transaction on consumer Electronics 2001,43,(3), 431-435[page]
3 杨伟建. 面向HDTV的视频集成解码芯片的软硬件协同设计. 浙江大学博士论文, 2001