未来云计算将在大数据领域扮演怎样的角色?

2016-08-11 10:37:47来源:太平洋电脑 热度:

企业存储环境主要是围绕记录系统构建起来的,侧重于这些问题:为数据记录长度固定的文件购买哪些类型的存储介质和管理系统,所存储数据的性质是实时数据、准实时数据,还是只是偶尔需要访问或完全可以用数据归档保存起来的批量填充的数据等。
 
自从大数据进入企业数据中心和业务部门,一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料,存储方面要考虑的因素随之变化。
 
这种变化在数据分析和高性能计算领域体现得最为明显。这个领域以Hadoop应用程序为主,它们借助算法分析方法并行处理数PB级数据,用于数据科学及其他复杂查询。就高性能应用程序而言,很难考虑像虚拟化存储或基于云的存储这些概念,因为你只有通过数据中心的物理处理器和存储平台,才能直接处理并存储数据和查询结果。
 
因此,这种工作具有的计算密集性和存储密集性使数据中心管理人员(包括存储专业人员)不再像过去十年那样,迫切寻求的虚拟化或云计算。作为大数据对象存储特点的单一数据集的庞大性也是如此,它们使用元数据标签来描述非传统数据图像,比如照片、视频、音频记录和文档图像等。
 
鉴于这些发展动向,云计算在大数据领域可以扮演什么角色呢?
 
答案是冷存储(cold storage),这个领域仍没有得到企业界的充分利用。冷存储是极其便宜、速度很慢、驻留在磁盘的数据,存储起来放到归档上,妥善保存起来。在日常的IT中,这些数据很少有机会需要用到,所以如果你把它转移到异地数据存储库很方便,不必让它在你的数据中心或运营系统中占用空间。如果该数据存储库在云端,你就能够从数据中心远程访问它,没必要大老远跑到异地拿起磁盘或磁带。
 
云计算和虚拟存储在数据集市也存在发展前景。现在许多公司使用数据集市为不同的部门运行批量查询。数据集市中所用的数据大多是批量创建,基本是过去用来查询的传统数据。不同之处在于,用户现在拥有比过去更多的分析报告创建工具和选项用于查询,而且数据管理员更能够生成从不同来源聚合的数据。在这种批量环境下,磁盘存储解决方案用起来就跟过去一样有效。
 
存储管理员需要应对大数据带来的变化,尤其是如何应对众多极其庞大的大数据文件。这就需要专门的磁盘和处理,在大多数情况下,还需要与云计算和虚拟化项目背道而驰的本地存储。在另一方面,商用冷存储解决方案可能会最终消除这个困境:很少使用的数据驻留在机房的过时磁盘和磁带驱动器上,无人照管。

责任编辑:王刚

为您推荐

危机下的开源大势

经过多年的不断努力,开源软件已经完全有能力为饱受金融危机困扰的企业带来转机,应用开源软件成为企业在信息化建设中的一种有益尝试,尤其是在移动和云计算领域,开源成为了重要选择。全球性金融危机的深入影响,使得很多企业开始整合自己的IT基础设施,“复用”、“重用”在不同的应用场景被反复提及,企业寄希望于在自己已经搭建好的应用系统上做更多的事情。同时,成本投入的锐减,使得企业的信息化建设陷入了泥潭,很多企业的信息化建设被停滞或放缓。经济因素甚至成为了制约信息化建设继续向前的桎梏,企业开始将目光投向了一个存在多年但并未受到足够重视的领域,开始关注和了解源自开源社区开发模式的开源技术,涉及和应用为信息化建设

国际电信联盟成立新工作组制定云计算标准

新成立的小组被称为“云计算专项工作组”,旨在达成一个“全球性生态系统”,确保各个系统之间安全地交换信息。工作组将评估当前的各项标准,将来会推出新的标准。ITU认为,为节省部署基础架构费用,加快应用开发,将有越来越多的企业采用云计算。ITU电信标准主管马尔科姆·约翰逊(MalcolmJohnson)称:“云计算是信息与通信市场极具潜力的领域,有许多协议需要制定,许多标准需要推广,从而确保用户更好地管理数字资产。”约翰逊说:“新成立专项工作组的目的就是要让这一切变得更得更加清晰、明确。”

科博会展会精彩纷呈 自主创新低碳绿色唱主角

3D、三网融合、物联网、云计算、低碳经济等新产品、新技术、新概念,国家未来重点发展的新能源、新医药、信息通信、节能环保、高端制造业等战略性新兴产业的重大项目,成为本届展览会的新亮点。消费电子与信息技术展馆里,联想集团的乐Phone手机和绿色电脑、台湾华硕集团全球最小的绿能风扇吸引了刘淇的注意,他关切地询问产品的市场销售情况。北京南部制造业新区展示了未来产业发展规划,总面积达165平方公里的产业区力争2015年实现产值1万亿元,刘淇嘱咐区负责人抓紧招商引资,加快发展步伐。在中关村自主创新成果展馆,刘淇察看了时代凌宇公司的智能身份感知系列产品、威讯紫晶公司的地铁无线安防系统,详细了解这些物联网企业

杜百川:从国家战略高度看三网融合

2010年6月9日(第十六届)“上海电视节白玉兰国际广播影视技术论坛”(简称“IBTC2010”),于2010年6月9日在上海大宁福朋喜来登集团酒店(上海市共和新路1928号)隆重举行,DVBCN数字电视中文网作为直播媒体将对这次“IBTC2010”论坛进行全程播报。