GPFS技术在央视制作系统中的应用与实现

2007-11-12 13:23:53来源:央视科技 作者:中央电视台 刘玓热度:

从2002年至今,中央电视台先后完成了面向新闻制作的业务系统、面向节目存储的音像资料馆系统以及面向体育节目制作和播出的业务系统等。2003年底中央电视台联合松下公司、大洋公司开始共同建设基于P2半导体存储技术的经济频道节目制作业务系统一期。

本系统首次采用了GPFS+千兆以太的网络存储架构来实现各种业务数据的存储及传输,这在中央电视台以至国内广播电视行业内均属先例。该网络存储架构的传输链路完全基于千兆以太技术,并通过以太捆绑技术充分保证传输带宽和传输安全。经实际运营阶段的观察,其性能满足系统原设计预定指标并存在相当的扩展裕度。

一、GPFS定义及框架

GPFS——GeneralParalletFileSystem,即通用并行文件系统。

基于AIX或linux操作系统的并行文件系统(GPFS)允许使用者共享分布在多个节点和多个磁盘上的文件。它允许并行的应用程序同时从GPFS节点组(nodeset)中的任何节点访问相同或不同的文件(节点组nodeset被定义为一组运行相同版本GPFS的节点)。

二、优点及特性

1.高性能的并行文件系统

GPFS文件系统的设计目标就是使数据分布在一个集群中的所有节点上,允许应用程序通过标准的UNIX文件系统接口来访问数据。大多数的UNIX文件系统被设计在单一服务器环境下使用,在这一环境下,增加文件服务器也不会提高特定的文件存取的性能。GPFS被设计成通过将I/O分布在多个硬盘提高性能,通过日志和复制的方式提高可靠性,和通过增加节点的方式提高系统的可扩展性。基于其特性,可以将其应用到中央集中存储架构当中,这就使得我们的系统能够承担成千上万的高码率并发冲突。将服务器以及存储本身的节点连接起来的技术,使得广播电视行业用户在视音频制作的时候可以应用本身的高吞吐量和高数据。

2.虚拟化的分区

经济频道节目制作业务系统在设计中要求采用开放标准的存储架构,使得系统可以支持层级存储。本系统中设计了节目在线制作存储区、媒体资产在线缓冲区和基于数据流磁带库的近线存储区。

而GPFS分区化管理在存储本身是逻辑化的,而非物理化。数据文件的存储位置和数据文件本身位置指针关联,这就使得数据文件根据工作流模式在分区间进行迁移的时候,并不是真正数据拷贝迁移,而是数据文件本身位置指针内容的改变。

虚拟化分区的特性使我们能够将数据文件本身和工作流程的关系分离,意味着不需要在存储管理流程设计的时候把工作流程和数据文件紧紧的捆绑起来,不需要因为迁移管理服务器的服务器主机性能、网络带宽限制或者安全等因素制约,而增加成本。并且在GPFS存储的两级数据迁移效率得到大幅提升。通过图2可以简单的表达刚才提到的含义。

3.冗余性

GPFS在文件结构表上对于存储数据本身和文件系统本身是共存的结构,这一特点使得访问和锁定对于节点永远是可用的,所以基本不存在单点故障的可能性,其安全性和可靠性在文件系统级别上已经能够得到保证。

4.同质性

客户端无论是NIFS系统或者是苹果的AFP系统的文件协议,或者是CIFS的系统,对于GPFS这样的文件系统来讲都是等同性的,所以它们可以用同样的结构访问GPFS文件系统。

5.缓存管理

每一个GPFS的节点都有独立的缓存管理空间,使得不同客户端通过不同的节点访问时,都有自己的缓存空间,令访问速度大大提

责任编辑:51DTV编辑部

为您推荐

央视网络电视春节期间落地重庆可免费收看

国内最大的网络电视平台,央视网络电视春节期间落地重庆,算上此前入渝的上广电和北京华夏互动,至此国内知名网络电视品牌已齐聚重庆。不少重庆宽带用户在家中的电脑上可点播各种电影和电视节目。除夕夜懒得和家里人争电视的李先生到网上混时间,无意间从网友处得知可从网上看春节晚会,一试果然能行,不仅如此,央视目前的十多个频道都能收看。李先生还不知道,他看到的正是目前很时髦的网络电视。所谓网络电视,即在网上收看DVD、电视、电影等影视节目,节目来自央视、上广电等内容商,只要有电脑和电信、网通、移动等宽带运营商提供的宽带网就能收看。与电视相比,网络电视最大特点是可随时进行点播,而不是被动收视。从技术上讲,网络电视

《央视精品》三月新春献礼——春天的记忆

电影已经成为现代人生活中一个不可或缺的娱乐内容。《第十放映室》最新推出系列片“香港电影传奇”,分为“动作片岁月”、“周星驰”专辑、“金庸群侠转”、“仁者无敌——黄飞鸿”等系列7个板块。将动作片的前身剑仙片开始到早期动作片的萌芽,到动作片的新浪潮运动再到近期动作片的成败,一一历数,脉络清晰。由于该特别节目的切入点都是以影片或人物切入,所以更具有极强的可视性,娱乐性。每期85分钟的超长篇幅,观众不仅能欣赏到新奇、刺激、惊险、搞笑的电影片断,更能联想到每一个所经历的时代的变迁和自我成长的记忆,也能感受到香港电影里中华传统文化的无穷魅力。值得一提的是,春节前夕,《第10放映室》摄制组特地到香港录制了主

中央节目平台--央视风云

《风云音乐》频道:风云动,音乐随心动《风云音乐》频道在内容上以美欧流行音乐演唱会为主打,并且提供韩日、港台、内地演唱会精华。曲风涵盖流行、摇滚、舞曲、电子、爵士,等等。我们的目标是:流行现场,尽在风云音乐。在这里,你可以随时目睹最经典的乐队、最走红的歌手,在最热烈的音乐现场、感受最深切的音乐体验。经典系列:猫王演唱会、TinaTurner演唱会、R.E.M演唱会……当红系列:艾薇儿演唱会、RobbieWilliams演唱会、ChristinaAguilera演唱会……个性系列:比约克演唱会、AlanisMorrisette演唱会、RedHotChiliPeppers演唱会……如果说这些最好的演

央视梦想中国获批文 超女通行证冠名难产

国家广电总局对于2006年各省级卫星频道的选秀节目批文迟迟不发,引起了社会各界的广泛关注。3月13日,随着一则“通知”的下达,更让人对各选秀节目的命运猜测不已。央视的《梦想中国》、上海东方卫视的“我型我SHOW”两大选秀活动先后获得了批文,而“超级女声”截止3月25日,仍没有任何正式启动的迹象,湖南卫视今年的“超级女声”选秀似乎遇到了“大难题”。消息,多是失望和负面关于2006年超女的各种传言,以及何时启动、赛区设置等疑问不断,湖南卫视曾表示将针对这些混乱的消息,于3月24日发布正式声明,但该声明并未如期公布,给人留下许多猜想的空间。近两天里,本报记者多方打探,力求证实“超级女声”的消息,仍是