搜索历史
热搜词
FPGA主导3D视频处理市场 ASIC遭遇标准瓶颈
中国电子报 | 2010-04-13 16:00

  在电影《阿凡达》中,当Neytiri救了地球人状态的JakeSully时,JakeSully一句深情的“Iseeyou”推动剧情走向最高潮,这句台词随之也被人们广为传诵。JakeSully和Neytiri对世界美好的愿望和共同的追求,使双方互相看到了地球人和纳威人之间不可分割的联系,而观众则通过先进的3D视频处理技术,观赏到了3D电影的逼真效果,感受到这部电影带来的震撼。
  FPGA主导3D视频处理市场

  《阿凡达》3D电影的热映,引发了前所未有的3D热潮。不仅3D电影频频出击,3D电视也着实火了一把,在前不久举办的CES(国际消费电子产品展)展上,各大电视厂商包括索尼、三星、松下等等都纷纷推出3D电视,使之成为CES的最大亮点之一。而无论是电影、电视还是其他3D产品,其实都离不开一项关键技术 ———3D视频处理,目前在这方面唱主角的则是FPGA(可编程逻辑门阵列)技术。

  由于3D产业刚刚开始发展,在标准等方面还不完善,摄像设备与终端产品在视频处理上都还没有很成熟的ASIC(专用芯片)解决方案,因此FPGA就成为产品设计者的首选。据悉,FPGA两大厂商赛灵思与Altera都在积极与3D产品制造商合作,并受益于该市场的发展。赛灵思公司亚太区市场及应用总监张宇清告诉记者,在当前3D市场发展初期,半导体供应商对3D视频解决方案的投入多半不深,有些甚至还抱持着观望态度,这段过渡期正是FPGA大显身手的时机。

  在2D视频处理中常用的 DSP(数字信号处理器)也难以满足3D的复杂需求,而FPGA在3D应用中则有诸多优势。另一家FPGA大厂Altera通讯及广播应用业务部资深技术市场经理杜泽心表示,传统的DSP处理器体系结构只能够实时完成不太复杂的视频处理功能,可以用在消费类产品方面,但在广播设备方面功能不够强大,而最新的FPGA方案内置了硬核DSP和存储器模块,效率和灵活性要远远优于DSP器件。

  记者对3D厂商的采访也印证了上述观点。深圳掌网立体时代视讯技术有限公司推出了3D照相机、数码相框等多种产品。公司副总经理夏登海告诉记者,由于市场及标准的不确定性,目前3D视频处理多采用 FPGA来实现,它被集中应用在图像的获取和2D转3D上。他们目前采用FPGA来完成立体图像的获取、同步、合成以及显示。“FPGA的优势在于它是全硬件处理,要求的极限速度低、外围简单。”他表示。

  ASIC处理器遭遇标准瓶颈

  根据以往的经验,在有些消费市场,FPGA虽然具备设计的较大灵活性,但当市场大规模启动之后,FPGA主导地位往往由于不具备成本优势而逐渐被ASIC取代。据悉,由于《阿凡达》等3D电影的带动,3D产业很可能将快速启动,产品规模量产的进程也将被提速。中国立体视像(3D)产业联盟秘书长唐斌告诉记者,3D电影的火爆必将带动整个3D消费电子的大发展,2010年被业内人士称作“3D电视元年”,这一年将有很多国际厂商将自己的3D电视推向市场。而 3D笔记本、投影仪、摄像机、照相机、数码相框等产品也将随之发展。因此,3D视频处理ASIC的进展也值得业界关注。

  据夏登海预计,今年应用于电视的3D处理芯片将大量上市,目前正在积极开发的有三星等公司,预计在年中会出现在电视产品中。记者注意到,泰鼎微系统公司也推出了一款 3D电视视频协处理器,其电视业务部门市场经理JosKlippert对记者表示,这款芯片能够处理3D帧序列(以多种输入格式),采用该款器件的产品无须为了3D而采用FPGA,从而降低了3D系统的整体成本。

  虽然未来将有ASIC的竞争,但FPGA厂商对3D视频处理市场的看法仍然十分乐观。杜泽心认为,尽管在消费类产品市场当标准最终完善后,由于成本原因ASIC或者ASSP(专用标准芯片)或将替代FPGA,但在专业广播设备领域,仍将是FPGA的天下。3D终端售价高是其不能普及的关键问题之一,从这个意义上说,FPGA能否提供不断降低成本的方案将是其生命力的关键所在。

  在成本降低方面,夏登海也提出了另一种看法,他认为将3D立体处理芯片与压缩编码芯片、CPU等合成一个SoC(系统级芯片),将是有效降低成本的办法。

  但不管是ASIC还是SoC方案,都必须有一个前提,就是标准必须明确,在没有相关行业标准的时候,FPGA无疑还是会被大多数厂家所采用。

 3D市场成FPGA厂商蓝海

  ●3D相关市场还处于早期发展阶段,正是FPGA大显身手的时机。

  ●3D视频对芯片硬件的处理效能要求更高,因此在系统设计中FPGA扮演的角色也有所转变。

  3D 视频特别是3D电视是目前比较热门的话题之一,但在当前3D市场发展初期,由于芯片供应商必须审慎评估市场风险,所以不管是标准产品或定制化解决方案的选择现在均相当有限,从而让FPGA得以在这片蓝海市场中大展身手。在这波3D风潮中,赛灵思也顺势占据了有利位置。

  视频处理主要分为视频编解码和目标信息识别两大类。其中,各类编解码算法,特别是视频处理算法对计算性能的要求已经远远超出了传统DSP处理器的能力。

  3D 视频技术使摄像头数量翻番,进而推动所需视频数据带宽也翻了一番。制造商需要灵活的硬件来支持10G-SDI、12G-SDI和DisplayPort等各种不同的新标准。超高端FPGA可提供处理2k×4k和8k×16k标准视频所需的密度、性能以及高存储器缓冲带宽。统一架构则能提供设计可扩展性,满足不同终端产品的性价比要求。

  因为3D视频对芯片硬件的处理效能要求更高,因此在系统设计中,FPGA扮演的角色也有所转变。以客户应用设计为例,FPGA已经在扮演类似超级电脑应用中的硬件加速器角色。

  3D 立体处理器制造商SENSIO公司的S3D-PRO处理器采用了赛灵思的Spartan-3可编程器件来进行设计,该可编程器件是适用于众多应用、成本最低的FPGA解决方案之一。与传统的高分辨率播放器结合使用,这款处理器可实现任何设备、任何格式的3D视频输出,从而可提供一种低成本、影院品质的视频体验。

  FPGA视频处理在专业广播市场唱主角

  ●FPGA一直在大部分专业数字广播产品中扮演着主要角色。

  ●用户一般会采用FPGA定制他们的设计,以提高产品竞争力。

  FPGA 设计一直在大部分专业数字广播产品中扮演着主要角色,例如演播摄像机、视频交换机、路由器、服务器、编码器等视频传输设备。影院中用于播放3D影片的数字电影设备也被认为是专业产品。3D与2D的区别不大,只是需要规模更大、密度更高的FPGA来处理多维视频流。因此,FPGA会继续在3D视频内容制作方面扮演重要角色。在消费类市场方面,会采用某些FPGA设计进行产品的初步原型开发,在3DLCD和LED电视等产品中也会被采用。

  最新的FPGAIC内置了硬核DSP和存储器模块,效率和灵活性要远远优于DSPIC。目前的DSPIC速度还没有快到足以处理最新的专业2D1080p高分辨率的广播视频,对于3D,DSP在处理其他的功能时显得更[FS:Page]加困难。

  用户一般会采用FPGA定制他们的设计,以提高产品竞争力。SDI是典型的FPGA前端视频接口。FPGA接收这一未经处理的视频流,进一步处理缩放、滤波,并进行格式转换和颜色空间转换。这类功能需要使用FPGA的内部DSP模块、板上高速收发器接口和内部存储器模块。

  FPGA可以帮助消费类产品生产商在竞争中突出他们的优势。与ASSP或者ASIC相比,由于逻辑是可编程的,为标准IC增加FPGA将有助于增加更多的功能,适应新标准。考虑到成本问题,我们需要把专业广播和消费类市场分开,对于专业市场,成本并不重要,重要的是性能。对于消费类市场,增加FPGA则会提供更多的功能,但是对产品成本会有影响。

  高集成度协处理器满足3D需求

  ●泰鼎微系统公司的视频协处理器能够处理3D帧序列。

  ●采用这种处理器的产品无须为了3D而采用FPGA。

  将 3D内容显示出来有两种方法,一种是将含有“差异性”的左帧与右帧按顺序显示(一个接一个),同时输出一个同步信号到主动性玻璃屏,当显示左帧的时候,关闭左边的玻璃屏,当显示右帧的时候,关闭右边的玻璃屏,从而实现3D的显示;另一种方法是在奇数线上显示左帧,在偶数线上显示右帧,可以选用被动性玻璃屏来实现3D效果。但采用这种方法垂直精度被减半,而且从目前来看,线偏光器也比较昂贵。

  泰鼎的PNX5130是一个非常先进的可编程器件,能够处理3D帧序列(以多种输入格式),使用运动预计/运动补偿来避免图像“颤动”,并使用再定时来确保左右帧在时间上的同步。

  采用PNX5130器件的产品无须为了3D而采用FPGA,从而降低了3D系统的整体成本。

  PNX5130架构是基于功能强大的VLIW处理器,能够提供一种非常灵活的视频处理方式。这种灵活性使得我们能够与快速演进的3D行业合作。

  3D电视普及将先行

  ●相关3D标准尚未制定,导致3D产品无法量产。

  ●从目前来看终端的发展趋势,3D电视的普及将先行。

  电影《阿凡达》以其所向披靡的骄人票房和身临其境的3D效果赢得了全球影迷的满堂彩,实实在在地印证了消费者对于3D视听走进家庭的迫切期望。3D娱乐在 2010CES(国际消费电子产品展)上成为绝对的主角。各消费电子巨头索尼、三星、松下、LG等纷纷亮出各自的“3D杀手锏”,欲在未来的3D消费电子大战中大显身手。

  3D电影的火爆必将带动整个3D消费电子的大发展。毫无疑问,2010年是中国3D产业发展的关键之年。我们不能袖手旁观,要尽快行动起来,联合中国3D企业加入3D产业的大潮中,建设整个3D产业链。我们正在全力推进相关3D行业标准制定工作的开展,这是迫在眉睫的事情。

  坦白地说,目前我国3D终端市场的推广效果不甚理想,主要原因有三:一是相关3D标准尚未制定,导致3D产品无法量产;二是 3D内容的严重缺乏,现在3D设备基本已经具备,但是缺乏内容支持,无法大面积推广应用;三是戴眼镜的观看方式一定程度上制约了部分消费者(弱视、散光等)的使用,如果裸眼3D显示技术能广泛应用,对3D终端市场的发展将有很大的推动作用。

  从目前来看,3D电视的普及将先行。据了解,各大电子巨头包括索尼、松下、三星、LG等今年都有3D电视上市的计划。3D笔记本可能配合3D游戏加快其普及速度;3D投影机将率先进入行业市场 (教育、演示)的应用,而随着内容的普及,它进入家庭,打造3D家庭影院的势头也不错;大量3D内容(电影、电视节目)的制作需求,对专业3D摄像机的普及有至关重要的推动作用;3D数码相框、3D数码相机、3D手机市场也将有不错的市场前景。

合成SoC将降低3D设备成本

  ●今年,应用于电视的3D处理芯片将大量上市。

  ●将立体处理芯片与压缩编码芯片、CPU等合成一个SoC是有效降低成本的办法。

  由于市场及标准的不确定性,目前3D处理多采用FPGA来实现,比如富士的照相机、华映的2D/3D转换等都采用FPGA。目前FPGA集中应用在图像的获取和2D转3D上。现在看到产品的是富士的立体相机和很多厂家的立体电视。

  我们目前采用FPGA来完成立体图像的获取、同步、合成以及显示。FPGA的优势在于它是全硬件处理,要求的极限速度低、外围简单,便于降低成本。在没有很复杂的图像运算与数据处理的条件下,FPGA比DSP在开发速度、运算速度、成本上均有优势。

  在立体摄录一体机没有面世前,3D内容的匮乏以及产品成本的高昂是必然的,一体机是立体普及的第一步骤。立体摄录一体机的成本比普通的2D摄像机虽然要高,但是较以前的3D方案要方便、便宜得多。在未来有两种方法可以降低成本,一是将立体处理芯片与压缩编码芯片、CPU等合成一个IC,组成SoC,这是有效降低成本的办法,但它的前提是标准必须明确,必须兼容绝大多数格式;二是开发专业的立体镜头,目前立体摄像机的做法是采用两个独立的镜头,这种镜头在2D 状况下应用没有什么问题,但在3D中应用问题就比较多,比如偏心率、ZOOM和FOCUS的不同步等等,造成立体影像的破坏。

  FPGA 在处理复杂运算的时候成本显得偏高,ASIC是最后必然的趋势。在今年,应用于电视的3D处理芯片将大量上市,目前正在积极开发的有三星等公司,预计在年中会出现在电视产品中,但摄像机芯片的出现要相对较晚,应该在明年初,因为应用在摄像机上的芯片对功耗、成本的要求更低。

  3年前三星制造了第一部立体手机。他们现在采用的是ASIC的方案,但这个方案的缺陷是视频分辨率很小,只能满足低端需求。而我们新的FPGA方案在价格上与这种 ASIC差不多,但可以实现720p的高清视频同步、立体合成与立体显示,该芯片已经被某知名品牌使用,预计在今年3月可以给客户演示其效果,其价格也具有较大的优势。

阅读 参与讨论 评论(0)

强化五一假期效应 虹魔方发力大屏运营
 04月28日
强化五一假期效应 虹魔方发力大屏运营
倪健中会长:推动中国发起全球元宇宙大会联合会
 01月04日
倪健中会长:推动中国发起全球元宇宙大会联合会
第五届数智中国科技周·全球元宇宙大会(深圳站)收官战报...
 01月04日
第五届数智中国科技周·全球元宇宙大会(深圳站)收官战报来啦!
学术盛宴!人工智能国际治理学术论坛12月18日下午重磅举办!
 01月02日
学术盛宴!人工智能国际治理学术论坛12月18日下午重磅举办!