短视频“崛起”背后的数据中心存储架构选择

2017-12-26 09:25:50来源:青海新闻网 作者:编辑 王刚热度:
过去二十年,从看文字资讯,到后来看图片集锦,再到现在看视频,互联网内容不断更新迭代,信息量变得越来越大、可视性也越来越强。短视频也因此应运而生,并且迅速占据我们工作、生活之余的大部分碎片时间,目前,单独一个短视频平台的日播放量就能高达到100亿次。
 
在短视频业务快速扩张的背后,是各种技术的不断革新包括移动终端性能的提升,移动网络的提速,当然还有后端计算平台的日益强劲和稳健。
 
当我们从看图时代转向视频时代时,数据中心又需要什么样的变革来适应新的业务应用?
 
开展短视频业务前,你需要先了解这些数字
 
每月PB级的数据存在哪?
 
相对于文字和图片,视频的存储需要更大的空间。以国内某短视频平台的对外公开数据来看,其平台注册用户超过5亿,日活跃人数8000万,每天新增的段视频数量1000万,按照1条57s的视频大小6MB左右来算,仅从存储的视频容量来看,平台每月新增的短视频容量都将超过1PB。那我们再算下,按照单块硬盘8T,每台服务器12块硬盘,那么每月仅为了存储这些视频就新增12台服务器。
 
如何面对80%的“冷”却不可舍弃的数据?
 
视频行业,不论是短视频,还是直播,又或是视频网站,他们的数据都有着一个共同的特点——数据的热度不均且变化较快。比如据统计,大部分上传的数据的高热度状态仅能保持1周甚至更短的时间。在数据中心中热数据、温数据和冷数据占总数据量的比例约为5%、15%、80%。冷数据也可以被叫做“低价值度的数据”,因为它们占用着大部分的存储空间,但是通常不会再产生价值(被观看)。
 
但是,从一方面来看短视频从本质上来讲类似QQ空间、微信朋友圈,是一种记录生活的平台,因此平台需要保证保有的数据不会被删除,因此这80%的数据成为“没有价值”但是不能被舍弃的“鸡肋”数据。
 
如何安全且低成本地保存这些低价值度的视频数据?
 
高功耗的存储服务器将带来居高不下的运营成本
 
服务器产品在维护阶段具有周期长、维护成本高的特点,一般而言2年的维护成本就会超过购买成本。所以在设备运行过程中降低耗电量和简化维护成了必须重视的工作。
 
目前国内大部分的存储服务器仍是采用通用服务器的配置,并没有针对温冷数据的存储应用进行优化。因此目前大多数数据中心中的存储系统都处于低负载却高功耗的状态,如何把存储集群的功耗降下来,是把数据中心从成本中心转为利润中心的关键之一。
 
短视频背后的数据中心需要怎样的存储架构
 
计算和存储分离,让专业的机器做专业的事
 
短视频背后的数据中心架构其实并不是特别复杂,从视频采集端到客户端,编解码、用户特征分析由专门的计算节点完成;CDN节点负责热点视频的缓存加速和分发;高密度的存储节点用于存储平台的视频数据。
 
CDN节点,考虑如何让热点数据最快发出
 
由于视频流量大,因此CDN节点所承载的吞吐量较大,因此对于存储容量和扩容的便捷度要求更高。另外由于CDN需要存储的数据热度不一,比如1年前的自拍视频,和最热网红的最新出品的点击率有天壤之别。因此,视频数据需要分级存储,将不同热度数据放在不同的存储介质中,充分发挥部件的利用效率,提升存储能效比。
 
对于CDN服务器的选择,通常会需要计算和存储两类服务器来支撑:计算型主要用于处理分发任务等,CPU采用较高主频即可,对于内存和硬盘容量的要求并不高;存储型则用于在关键节点的数据存储和快速分发,因此要求IT架构中需要大容量的SSD或者高速HDD来应对。
 
在服务器的选择上可以考虑浪潮SA5212M5这种计算存储均衡类服务器,。在存储性能上,SA5212M5搭配12块大容量SATA硬盘,单块容量达到8T,单机可容纳96T的CDN数据,满足CDN集群的庞大数据容量需求。而对于相对热的数据,SA5212M5中可加入的4块2.5寸SSD盘位,将提升系统整体响应速度,经实测,使用SSD固态硬盘后单台服务器的服务能力提升了1倍以上。
 
高密存储节点,考虑如何提升存储能效比
 
作为存储节点的高密度服务器本身不需要太高的计算处理性能,因此可以选择基于Intel Xeon-D处理器家族的SA5224M4机型,搭配单颗D-1521 CPU,借助Xeon-D的SOC特性和低功耗优势,通过大容量8T硬盘的使用,以追求更优的TCO收益。
 
从实际测试数据来看来看,搭载D-1531 CPU的SA5224M4的计算性能已经达到原E5-2620V3 平台服务器的80%左右,但是单CPU的TDP(散热设计功耗)只用45W,相比传统E5 CPU功耗降低35W以上。一般服务器的生命周期为三年,这样算下来,1000台的存储服务器集群就能节省下至少1050万的电费。
 
在短视频的传递链条中,从用户端上传的视频可以直接存入4U36盘位组成的存储集群中,并通过分布在各地的CDN节点传送给用户端观看,这样自然对后端存储服务器的硬盘IO表现有着较高的要求。而目前应用的SA5224M4机型,其36盘位顺序写的总带宽接近4.8GB,顺序读接近6GB,有力支撑了这种硬盘高IO读写的性能需求。此外,借助SA5224M4的板载万兆优势,可构建起10Gb的内部高速互联网络,保障了数据访问和传输所需的网络带宽。
 
更高的机柜部署密度
 
同时,衡量服务器的磁盘密度不仅要看每U空间支持的磁盘数量,更要放在机房供电环境下评估单机柜支持的磁盘密度。基于Intel Xeon-D平台的集成性和低功耗优势,在20A的机柜中,42U的空间内,SA5224M4可部署9-10台,单机柜磁盘部署密度提升25%,即以往双路4U36需要部署5个机柜的磁盘密度,当前4个机柜就能解决。不仅提高了单机柜供电利用效率,更减少了租赁机柜的数量,节省服务器生命周期内的运营成本。
 
短视频无疑是2017年投资的风口,在互联网巨头争相布局的同时,不妨审视一下自己的数据中心:你真的为海量视频资源找到理想的存储选择了吗?

责任编辑:王刚

为您推荐

享乐高清数字 华硕TS mini迷你家用服务器

近年来,随着IT技术的飞速进步,功能全面的数字化终端广泛普及。用户对于数据处理的实时性、交互性以及安全性都有着越来越高的要求,客观上推动了个人数字产品由单一功能转向多元应用,并更加高效地实现各种设备之间的资源共享,打造出内容丰富、功能强大、灵活易用的个人/家庭数字平台。家用服务器的出现,加快了资源整合的过程,有力推进了个性化数字梦想照进现实。为什么普通家庭也需要一台服务器呢?比尔.盖茨曾作此解释:“如果你有多台电脑,那么,要想随时获得文件,无论电脑关闭与否,你可能就会希望有一台能够实现自动存储功能的服务器。这样,你就不需要记住驱动器的名称或者带着文件到处跑了。”与商业应用不同,家用服务器旨在为

新视界 新网络——建设数据中心级电视台网络研讨会在杭州举行

“新视界新网络”--建设数据中心级电视台网络研讨会在杭州召开江苏广电总

节能IDC:存储绿色化 数据中心模块化

一提起数据中心里的用电大户,许多IT技术人员首先想到的就是电力或者空调制冷设备。但近年来来随着存储设备使用量的增多,存储设备26—40%的耗电量显然已经受到诸多数据中心运维人员的关注。在增加性能的同时减少负荷,是每个存储经理人面临的挑战。存储经理人需要在这方面采取新的措施,比如找到一种方法可以既降低存储系统上的能耗,同时还能提供给用户所需要的容量。许多厂商都考虑到的设备的能耗问题,力求为用户打造安装方便、易于维护和扩展的存储产品,同时最大程度的减少用电量。究竟哪些技术能够有效的减少数据中心能耗,实现绿色存储呢?我们不妨在这里盘点一下。虚拟化:拯救数据中心的高能耗虚拟化技术可以说是数据中心能耗的

靳东滨:中电信计划明年正式推云主机及云存储

图:中国电信(微博)集团公司副总工程师靳东滨9月26日消息,中国电信集团公司副总工程师靳东滨在ICT中国·2011高层论坛上透露,中国电信计划在明年正式推出云主机,云存储等系列产品。靳东滨表示,在新兴领域,物联网和云计算将作为中国电信在ICT领域发展的重点,ICT产业正呈现出高速发展的良好势头,面临千载难逢的大好机遇。不过他也坦言,目前ICT产业发展仍不均衡,产业链比较薄弱,技术标准体系仍不够完善,业务模式仍不够成熟,行业融合也不够广泛,缺少有利于产业化推进