GPFS技术在中央电视台制作业务系统中的应用与实现

从2002年至今，中央电视台先后完成了面向新闻制作的业务系统、面向节目存储的音像资料馆系统以及面向体育节目制作和播出的业务系统等。2003年底中央电视台联合松下公司、大洋公司开始共同建设基于P2半导体存储技术的经济频道节目制作业务系统一期。

本系统首次采用了GPFS+千兆以太的网络存储架构来实现各种业务数据的存储及传输，这在中央电视台以至国内广播电视行业内均属先例。该网络存储架构的传输链路完全基于千兆以太技术，并通过以太捆绑技术充分保证传输带宽和传输安全。经实际运营阶段的观察，其性能满足系统原设计预定指标并存在相当的扩展裕度。

一 GPFS定义及框架

GPFS——General Parallet File System，即通用并行文件系统。

基于AIX或linux操作系统的并行文件系统 （GPFS）允许使用者共享分布在多个节点和多个磁盘上的文件。它允许并行的应用程序同时从GPFS 节点组（nodeset）中的任何节点访问相同或不同的文件（节点组 nodeset 被定义为一组运行相同版本GPFS的节点）。

图1为其基本框架。

二 优点及特性

1. 高性能的并行文件系统

GPFS文件系统的设计目标就是使数据分布在一个集群中的所有节点上，允许应用程序通过标准的UNIX文件系统接口来访问数据。大多数的UNIX文件系统被设计在单一服务器环境下使用，在这一环境下，增加文件服务器也不会提高特定的文件存取的性能。GPFS 被设计成通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高可靠性，和通过增加节点的方式提高系统的可扩展性。基于其特性，可以将其应用到中央集中存储架构当中，这就使得我们的系统能够承担成千上万的高码率并发冲突。将服务器以及存储本身的节点连接起来的技术，使得广播电视行业用户在视音频制作的时候可以应用本身的高吞吐量和高数据。

2. 虚拟化的分区

经济频道节目制作业务系统在设计中要求采用开放标准的存储架构，使得系统可以支持层级存储。本系统中设计了节目在线制作存储区、媒体资产在线缓冲区和基于数据流磁带库的近线存储区。

而GPFS分区化管理在存储本身是逻辑化的，而非物理化。数据文件的存储位置和数据文件本身位置指针关联，这就使得数据文件根据工作流模式在分区间进行迁移的时候，并不是真正数据拷贝迁移，而是数据文件本身位置指针内容的改变。

虚拟化分区的特性使我们能够将数据文件本身和工作流程的关系分离，意味着不需要在存储管理流程设计的时候把工作流程和数据文件紧紧的捆绑起来，不需要因为迁移管理服务器的服务器主机性能、网络带宽限制或者安全等因素制约，而增加成本。并且在GPFS存储的两级数据迁移效率得到大幅提升。通过图2可以简单的表达刚才提到的含义。

3. 冗余性

GPFS在文件结构表上对于存储数据本身和文件系统本身是共存的结构，这一特点使得访问和锁定对于节点永远是可用的，所以基本不存在单点故障的可能性，其安全性和可靠性在文件系统级别上已经能够得到保证。

4. 同质性

客户端无论是NIFS系统或者是苹果的AFP系统的文件协议，或者是CIFS的系统，对于GPFS这样的文件系统来讲都是等同性的，所以它们可以用同样的结构访问GPFS文件系统。

5. 缓存管理

每一个GPFS的节点都有独立的缓存管理空间，使得不同客户端通过不同的节点访问时，都有自己的缓存空间，令访问速度大大提高。

6. 支持SANergy客户端

同时支持SANergy和非SANergy客户端。

三 系统实际运行状态

如图3所示。

此次经济频道节目制作业务系统一期使用两个 IBM P630服务器作为GPFS节点，AIX操作系统。每个GPFS节点配备8个以太网网卡，作为一组捆绑，通过以太网络和前端工作站连接。GPFS节点后端通过FC Channel（每个节点6个FC HBA）连接后台存储。另外，为了部署便捷以及传输性能需求，CCTV首次使用了10G以太网技术，作为传输主链路，用于GPFS核心、各类服务器和工作站的通信和数据传输。

GPFS服务器本身的高性能、节点捆绑满足高并发量数据读写特点，此系统两个GPFS节点可为工作站提供3Gbps的极限并发写带宽和4Gbps的极限并发读带宽。很好的满足了这些工作站实时编辑、实时上下载功能。

系统实际运行过程中，GPFS结合千兆以太网络的存储架构很好地支持15 台精编（每台读带宽150Mbps）、6台上载（每台写带宽50Mbps）、4台配音（每台读带宽150Mbps）、3套演播室录制（每台写带宽50Mbps）、30套粗编（每台读带宽2.4Mbps），两台广告编辑（每台读写带宽200Mbps）、8个编目（每台读带宽800Kbps）、1台转码（每台读带宽100 Mbps）、1台打包（每台读写带宽200 Mbps）等功能工作站的数据读写。

业务系统实际运行过程中，GPFS结合千兆以太网络的存储架构很好地支持15 台精编（每台读带宽150Mbps）、6台上载（每台写带宽50Mbps）、4台配音（每台读带宽150Mbps）、3套演播室录制（每台写带宽50Mbps）、30套粗编（每台读[FS:Page]带宽2.4Mbps），两台广告编辑（每台读写带宽200Mbps）、8个编目（每台读带宽800Kbps）、1台转码（每台读带宽100 Mbps）、1台打包（每台读写带宽200 Mbps）等功能工作站的数据读写。

该系统在建设完成后很好地满足了节目部门的制作需求，确切提高了节目制作的效率。

四 建设过程中注意事项

1. 线缆的选购和铺设

若GPFS节点使用六类线捆绑（不是光纤）连接交换机。需要注意： 由于视音频制作业务要求数据响应的实时性，因此对于以太网络电气性能指标较高。在大型存储和服务器集中部署的情况下，虽然以太链路测试指标符合国际标准，GPFS NODE到交换机之间的以太链路依然容易受到电磁干扰，视音频流数据的传输就存在丢包或者延时。通过测试和实际使用，建议将该段的以太链路采用成品屏蔽六类线直连替代（中间不经过线架），并且最好做好线槽屏蔽工作。

客户端利用光纤和六类线连接交换机千兆端口，作为传输链路同GPFS直接实时传输高码率视频数据。由于以太网并不像FC技术是为了大块数据传输而设计，些许的外界因素影响都可能导致数据传输的不稳定。因此，在线缆的选择和铺设上一定要严格根据以太网千兆传输的标准进行质量控制，以防止由于链路的衰减或电气性能不满足造成数据传输的不稳定。

2. 微码的匹配问题

GPFS存储系统的微码包括两个方面：硬盘本身的firmware以及GPFS本身的firmware。如果硬盘组中的各硬盘firmware不一致，或者GPFS的firmware不适配，都会造成数据读写的不稳定。在系统试运行阶段，曾出现视频数据传输抖动现象，造成了用户无法进行正常的编辑和下载工作。在经过一系列的分析处理、IBM工程师在对系统作了相应版本升级之后，系统的传输效率得到明显的改善，数据从核心到客户端的传输正常平均延时小于70ms。

因此建议在系统调试阶段一定要注意硬盘组firmware的一致性，以及选择成熟稳定的GPFS服务器firmware 版本。

3. 网络环境的适配

由于前端客户端采用单以太网传输。并且需要GPFS节点作捆绑。以太网交换机的性能非常重要。

在经济频道节目制作业务系统的建设过程中，我们曾经发现过GPFS读写为1Gbps的瓶颈现象，经过测试发现，瓶颈在CISCO交换机端口分配上。测试现象为：经过IBM工程师的调试，GPFS NODE端的本地IO已经达到380MBps，但是在网络上进行写测试，只能达到1Gbps的带宽。

经过咨询CISCO 工程师以及查阅大量资料得知，CISCO 4506的24口千兆铜缆模板每4个相邻端口共享1G带宽，共6G带宽，双工模式理论值达12G，如图4所示。

同理，CISCO 4506的48口千兆铜缆模块每8个端口共享1G带宽，共6G带宽，双工模式理论值达12G。

为了确认该现象，我们项目组共同做了以下测试：

测试之前

GPFS两个NODE与CISCO 4506 的48口千兆铜缆模块连接方式如图5。

测试结果：访问每个NODE的读、写最大带宽分别为1Gbps，符合CICSO 工程师的解释。

测试一

将GPFS的两个NODE移至CISCO 4506 的24口千兆铜缆模块上，连接方式如图6。

测试结果：访问每个NODE的写入最大带宽为2Gbps，同样符合CISCO 工程师的解释。

测试二

将GPFS的两个NODE如图7所示连接，即每个NODE享用4G带宽。

测试结果：GPFS NODE1 的写入带宽可以压到290MBps，即2.3Gbps。

以上两个测试结果表明，之前的带宽瓶颈确实发生在交换机的端口分配方式上。因此，在其他项目中如果采用GPFS，最好选择背板性能较高（满足传输带宽），端口都是线速的交换机。如果交换机端口共享，需要特别注意端口的分配，不要分配到捆绑到一组的端口，以防止由于端口带宽共享引起捆绑带宽达不到性能要求或者影响并发工作站读写GPFS的性能。交换机要支持使用802.3ad或思科私有捆绑协议对端口绑定。

在调试阶段和试运行阶段要不断查看交换机连接端口参数状态，以避免可能由于交换机工作状态不正常而引起数据传输的不稳定。

总的来说，GPFS结合千兆以太网络的存储架构，对实际项目建设有着非常实在的意义：

首先，系统建设和网络管理的成本大大降低。由于中央电视台的办公平台的地域性的分散，铺设光纤网络（包括光纤介质和楼层光纤交换机）再加以客户端光纤网卡和文件共享软件的成本，投入成本非常昂贵。而单以太网络结构则不同，网络铺设成本低，客户端无需另外的投入（如今的主流计算机主板基本已经集成千兆网卡）。而且使得文件系统和存储系统一体化，部署简单，不必像之前采用sanergy或storenext技术需要两套甚至三套网络的支持，客户端的网络设备和网络布线都只需要部署一套来满足以太网数据传输应用即可。

其次，系统安全性得以提升。GPFS节点基于AIX操作系统的构建比起以往基于Windows操作系统的文件共享服务器要强壮安全的多。此外由于其条带化特性，不会因为某个硬盘工作不正常而影响文件的保[FS:Page]存和数据的读取，还可以在不重新启动GPFS服务情况下添加新GPFS节点。当系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。