土豆的视频云:存储与交付的混合是核心

2012-06-14 08:46:00来源:ZDNet 热度:

如今,视频这样一种新媒体方法已经被广大的网络用户所接受,视频网站的数据量和访问量也迅猛增长,于是在云计算的大时代下,不少国内视频网站已经逐步开始视频云平台的部署,不仅有助于解决视频网站的技术和成本难题,而且让受众可以随时随地、快速地观看视频内容。在不久前,土豆网产品技术副总裁黄冬受邀介绍了土豆网在视频云、云存储和云交付方面的应用实践,“诞生于互联网世界的土豆网,现在以云计算为基础,提供视频云的服务。与新浪等互联网公司相比,以视频为基础的土豆网在存储、计算和交付方面都会有所不同。”

据黄冬介绍,土豆网每天有2亿次的视频播放量和3500万独立访客,每月有2.3亿用户覆盖,现在视频总数超过7500万,有超过1亿的注册用户。“用户上传和快速分发、小部分内容被集中快速地索取,这是整个平台两个非常核心的地方。”

如何支撑整个平台如何庞大的用户和流量?从技术和产品形态上讲,土豆网的云包括三个部分加一个服务:快速的并行计算、大容量存储、交付及访问,三者结合起来就是视频云服务。

与亚马逊EC2弹性云计算不同的是,土豆网主要针对三件事情做了优化:优化,上传、转码和分发,最核心的是转码。也就是说,首先用户可以很容易地把数据上传到土豆网,其次把大量的视频转换成可观看的内容,第三是把这些视频分发让业务可以加以利用。

与亚马逊S3不同是,土豆网选择就近上传的方法,有多个转码集群,计算采用单一编解码,多种格式输入和输出,但用不同码流多路径分发到存储节点上。

在土豆运用云计算的实践中,有几点是十分重要的。第一件事情,就是一用户来源区域为核心的上传调度,其中DNS以及七层的二次调度是互联网最基础的也是帮助用户获得数据很关键的部分;第二,基于多服务器多核心的并发转码,其中采用了任务调度和优先级机制,发送到多个服务器并进行转码;第三,是核心的MateDB管理,这需做提前的去重和版权管理;最后,是跨网络、跨机房和跨运营商的快速分发,这也就是云中“计算”的部分。

黄冬认为,未来视频云有三个可以不断优化的方面:

首先,视频转码的优化,只有对各种输出做好优化才能在最终交付的时候兼容足够多的设备,减少CPU的损耗,此外加快转码;

其次是视频计算的大IO优化,硬盘IO优化。土豆曾经尝试过用128GB甚至更大的内存替代磁盘,但有时候用户上传到一台设备的数据会超过128GB;另外尝试使用固态盘,读性能虽然非常出色,但既写又读的时候性能相对较差,因此黄冬认为这是未来的一个竞争点,“对于硬盘I/O我们还没有找到一个很好的机制,相信未来这是云计算优化的关键,谁做得好谁就会抢得先机。”

最后,分布式MateDB的改造,做好异地复制和同步机制。黄冬认为,未来像EC2这样纯粹在云端的计算差的就是存储,而Hadoop这样将设备CPU用于本地存储计算是云计算的最好模型。

存储与交付的混合是核心

据黄冬介绍,土豆网云存储和云交付的模型是将自己的存储放在运营商那里,每一个运营商内部会有若干个保存着视频文件的小组,小组之间有不同一组机器在不同IDC中有特殊的通道通过调度专门做热交换。这个调度的流程是,每当有用户要访问一个视频的时候,先看到哪一个小组调度最快,再看这个小组到哪一个数据中心快,其次是这个数据中心内有没有文件去完成这个操作。

热交换的部分是将热点数据放在节点中的热点部分,让所有服务器所有硬盘片区都有这些热点数据,这样用户就可以最快速度地读取这些数据。

“因此,土豆的计算其实就是纯粹的文件编解码工作,最核心的部分还是在存储和交付。它把整个互联网当作一个大型计算集群,并虚拟成了一套存储系统。”

云计算给存储带来的变得不言而喻,“以前一台计算机里的硬盘,如今在云计算中变成了一台服务器,一个文件里的分区表变成了一个MateDB,原来的磁盘控制器变成了调度器,文件系统则变成了云存储。”

在黄冬看来,存储对于土豆网的云计算来说是至关重要的,交付与存储应该走向混合。“存储是最核心的地方,它既应该是存储也应该提供交付。互联网最公共的HTTP的协议应该是存储的最主流协议,缓存是在节点级别的缓存,而不只是在内存级别的缓存。未来,我认为云存储一定是基于HTTP协议的大容量存储,最核心仍是存储与交付能够并行化,这样才能够解决存储容量大、交付时单一视频或者单一存储IO比较密集时的问题。”

在土豆而言,一切云计算都是围绕视频展开的,对外要支持多个平台、多个协议、多个码流,用户看不到具体的存储、计算和交付方式,但他们能体会到是多平台、多协议、多个码流的视频观看体验。

总的来看,土豆的云视频服务主要基于两个入口。第一个入口,用户可以简单方便地上传和转码,这其中计算部分是特别优化的云计算——不是通用的而是一个专用于编解码的云计算。其次,存储和分发提供大容量的高效的云存储和云交付。所以对土豆网来讲,与存储和高效支持多协议相结合的云视频交付,是未来一项关键的工作,也是未来的一个愿景。

责任编辑:方珍

为您推荐

互动电视邀网友拍日全食故事

日前,上海文广互动电视(SiTV)与土豆网联合举办互动观日活动,邀请网友拍下今天日全食当天的奇妙故事。据悉,今明两天,将视频上传至活动指定页面,除了有机会得到由SiTV提供的精美奖品外,优秀作品还将在SiTV的互动电视点播专区进行展播。同时,经过专业评委推选,最优秀的DV作品将有机会在全纪实频道播出,赢取千元大奖,与DISCOVERY纪录片同台献映。

土豆重提IPO申请 欲登陆纳斯达克融资1.2亿美元

4月29日消息:根据最新SEC文件显示,土豆网已重新向SEC提交上市申请,上市地点为纳斯达克交易所,代码TUDO。文件显示,瑞士信贷和德意志银行为主承销商,不过融资规模、发行时间和价格暂未披露。去年11月,土豆网提交上市申请,IPO计划融资1.2亿美元,但由于CEO王微在土豆正处于秘密提交上市文件阶段向外宣布了上市计划,以及王微因离婚财产纠纷被前妻诉至法庭等猜测,影响土豆网上市进程。土豆网在最近的12个月营收为4040万美元,亏损2040万美元。就在前不久还有传言称,土豆网正在寻找收购方,并正与优酷进行收购谈判,土豆网不愿就此置评。

土豆网折价逆势冲击上市 IPO或已迫不得已

时隔9个月土豆网的IPO(首次公开募股)终于迎来曙光,如无意外土豆将于8月17日登陆纳斯达克,成为中国视频网站的第三家上市公司。之所以选择这个并非最佳,甚至可以说是比较糟糕的时机逆势冲击上市,包括CEO王微在内的管理层可能已经别无他选。市值为何仅有优酷十分之一?土豆网提交的修订版F-1A招股书显示,本次IPO的发行价区间为28-30美元,IPO后总股本为2836万股ADS,按照发行价中间29美元计算,目前的市值仅有8.2亿美元,优酷目前市值37.85亿美元,尚不足后者的四分之一。根据艾瑞咨询的数据,今年5月,土豆网独立用户访问量约为2亿,相比之下,今年3月优酷网独立用户访问量为2.31亿,两家

优酷CEO古永锵谈收购土豆:永远持开放态度

8月9日消息,如果土豆网此番上市失败,优酷是否会收购土豆?对此,今天上午,在优酷第二季度财报沟通会上,优酷CEO古永锵说:“我们永远保持开放的态度。”近期,土豆提交了新的上市申请,但整个资本市场黯淡。而据腾讯科技的调查显示,超过6成的网民并不看好土豆IPO。此前,有传言土豆现金流仅能维持到今年,如果土豆上市再次遇阻,或将被优酷收购。今天,优酷股价达到上市来的最低点。对此,古永锵说:“当前资本界的态势是全球的现状,不是中国概念股的独有现象。国际资本环境比较动荡,但优酷通过上市和增发,有着足够的现金储备可应对市场变化。”据优酷发布第二季度财报显示,优酷第二季度净营收1.978亿元,同比增长178%