由EMC赞助的IDC数字宇宙研究《从混沌中提取价值》指出,全球的数据量每两年翻一番, 2011年创建和复制的数据量为1.8ZB(1ZB=106PB)。2005年以来,为处理大量数据,企业的投资已达到4万亿美元。大数据将催生社会、技术、科学和经济的变革。
以前,我们习惯称大量数据为海量数据。从2010年下半年开始,大数据这个概念逐渐为人们所熟知。那么,大数据比海量数据到底多了些什么呢?EMC中国卓越研发集团首席技术官陶波表示:"大数据与海量数据从本质上讲并没有不同,两者都反映出数据快速增长的趋势。但是,海量数据主要是从存储的角度去考虑问题,而大数据除了包括数据存储,还包括商务智能和数据分析。"正是基于这种认识,EMC收购了数据仓库厂商Greenplum。其实,在大数据时代,企业对存储的要求也有变化,具备横向扩展(Scale-out)能力的存储越来越受到用户的欢迎。EMC收购Scale-out NAS厂商Isilon就是为了顺应这种趋势。Isilon与Greenplum的组合成了EMC迈入大数据时代的敲门砖。
存储随需而变
美国一家知名的DVD租赁企业,每年都会邀请一些协同处理算法的专家对其用户数据进行分析,从而了解租赁客户的需求。一些美国金融企业甚至提出了分析即服务的理念。陶波表示,金融、电信、互联网等企业大数据的处理和分析有迫切的需求。与传统的商务智能应用相比,大数据对企业数据的处理能力和商务智能软件本身提出了更高的要求:首先,企业必须具备处理大量数据的能力,因为有的企业可能一天之内就要多次处理PB级的数据,这是一些传统的存储设备所不能胜任的;传统的数据仓库软件是针对结构化数据设计的,而大数据包含的主要是非结构化的数据,因此传统的数据仓库软件必须改变。
谈到大数据对存储的影响,陶波表示,具有横向扩展能力的存储才能更好地处理大量文件。Isilon集群NAS产品的主要技术优势就是横向扩展能力。最新的EMC Isilon IQ 108NL在4U节点中采用3TB企业级Hitachi Ultrastar驱动器,在单一文件系统和单个卷中可扩展至超过15PB。EMC还推出了Isilon SmartLock数据保留软件应用,可实现大数据资产从建立到归档的完整性和连续性。随着大数据时代的到来,NAS存储将大行其道。为了提高系统的处理性能,SSD在存储中的应用也会越来越普遍。
云计算、大数据相辅相成
为了满足大数据的需求,商务智能软件必须改变。陶波举例说:"随着多核处理器的普及,商务智能软件也要从针对单线程的应用转为针对多线程的应用,因此商务智能软件的代码可能也要改变。"EMC已与许多商务智能软件厂商开展了合作。EMC的硬件平台针对Greenplum软件进行了优化,此外还能支持第三方的商务智能软件。
今年5月,EMC针对常用于数据密集型分布式应用的Hadoop开源软件推出了一个定制的、高性能的Hadoop专用数据协同处理设备--Greenplum HD数据计算设备(Data Computing Appliance)。该设备结合了Hadoop和EMC Greenplum数据库,从而在一个单一、无缝的解决方案中实现了结构化和非结构化数据的协同处理。此外,EMC还推出了面向Hadoop的EMC Greenplum HD社区版和EMC Greenplum HD企业版软件。
在大数据时代,如何同时处理好结构化数据与非结构化数据对厂商和用户来说都是一个挑战。陶波表示,EMC正在对此进行研发。
目前,Greenplum有一半的工程师在中国。Greenplum的一些重要功能也是在中国研发的,比如Greenplum与Hadoop、VMware虚拟化平台以及云平台的相合都是在中国完成的。云计算将成为大数据处理的一个支撑平台。许多中小企业可以在云平台上进行深入的数据分析。

大数据比海量数据多了什么相关推荐

  1. 大数据与海量数据的区别

    如果仅仅是海量的结构性数据,那么解决的办法就比较的单一,用户通过购买更多的存储设备,提高存储设备的效率等解决此类问题.然而,当人们发现数据库中的数据可以分为三种类型:结构性数据.非结构性数据以及半结构 ...

  2. 文件系统技术内幕:大数据时代海量数据存储之道

    我们无时无刻不在使用文件系统,进行开发时在使用文件系统,浏览网页时在使用文件系统,玩手机时也在使用文件系统. 对于非专业人士来说,可能根本不知道文件系统为何物.因为,通常来说,我们在使用文件系统时一般 ...

  3. 大数据运维:大数据平台+海量数据

    大数据开发独揽大权 大数据技术很早就在BAT这些公司生根发芽,但直到14.15年大数据技术才广泛应用在各大互联网公司,大数据技术由此深入各行各业. 此时大数据开发人才非常紧缺,很多公司大数据从立项,到 ...

  4. 2013大数据全球技术峰会观后感

    今天很荣幸参加了51CTO举办的大数据全球技术峰会,并聆听了各行各业的专家们对于大数据的阐释,非常感谢51CTO举办这次峰会.以前,我认为大数据就是海量数据.但是今天我懂得了海量数据只是大数据的一部分 ...

  5. 大数据营销的7个雷区,千万别中招

    这年头说到营销,不扯扯大数据,不说说娱乐化,都不好意思说自己是营销圈中人了.印象中,今年参加过的活动中,没有提及这两个词的几乎没有. 在<大数据时代>一书中,译者周涛引用了苏珊·朗格在&l ...

  6. 大数据面试题及答案 汇总版

    版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/albg_boy/article/det ...

  7. [渝粤教育] 厦门大学 大数据技术原理与应用 参考 资料

    教育 -大数据技术原理与应用-章节资料考试资料-厦门大学[] 第1章 大数据概述 单元测验 1.[单选题]第三次信息化浪潮的标志是: A.个人电脑的普及 B.互联网的普及 C.云计算.大数据.物联网技 ...

  8. 大数据 深度 分页_机器学习、深度学习、大数据 ?傻傻分不清楚?

    提起机器学习四个字,不知你的脑海中是否会有一丝印象?毕竟身处信息时代,在日常生活中,无论通过什么媒介,接触到这个名词概念的机会还是挺大的.与之类似,还有以下这些名词概念:数据分析.数据挖 掘.深度学习 ...

  9. 2015年《大数据》高被引论文Top10文章No.2——大数据时代的数据挖掘 —— 从应用的角度看大数据挖掘(上)...

    2015年<大数据>高被引论文Top10文章展示 [编者按]本刊将把2015年<大数据>高被引论文Top10的文章陆续发布,欢迎大家关注!本文为高被引Top10论文的No.2, ...

  10. 【2015年第4期】大数据时代的数据挖掘 —— 从应用的角度看大数据挖掘(上)...

    大数据时代的数据挖掘 -- 从应用的角度看大数据挖掘 李 涛1,2,曾春秋1,2,周武柏1,2,周绮凤3,郑 理1,2 1. 南京邮电大学计算机学院 南京 210023:2. 美国佛罗里达国际大学 迈 ...

最新文章

  1. tensorflow中的lstm的state
  2. 在CcentOS系统上将deb包转换为rpm包
  3. 跨域 (3) window.name
  4. svn 设置post-commit后 报错svn: Can't convert string from 'UTF-8' to native encoding
  5. Ansible 安装和入门
  6. 美观实用 最新《生化危机》主题人体工学游戏椅公开
  7. linux配置ip地址 routes,CentOS 7 设置网络IP地址(示例代码)
  8. sql排名名次分页mysql_mysql 实现排名及中文排序实例[分页累加行号]
  9. js常用方法之Array对象方法扩展
  10. java IDEA 手动替换更新jar包
  11. 十二、Shell脚本编程函数应用
  12. 友图自动排料引擎 V1.0 开发指南
  13. HCIE证书有用吗?
  14. java实现图片反色处理代码示例
  15. [ffmpeg][issues] bit_equal_to_one out of range: 0, but must be in [1,1]
  16. 山海镜花vivo服务器微信号,《山海镜花》正式公测!开服说明
  17. java耗时操作_耗时操作方案总结
  18. Spring Bean 配置相关的注意事项
  19. linux使用百度网盘(bypy)
  20. 硬件MSB最高位优先、LSB最低位优先的CRC计算原理详细解释和程序,正算反算成功等效,DS18B20和HTU31D传感器CRC

热门文章

  1. java对象值传递和对象传递的总结
  2. LDA-math-MCMC 和 Gibbs Sampling (我爱NLP)
  3. 关于Activity的四种启动模式详解
  4. 【Nowcoder - 5670 C Easy】2020牛客暑期多校训练营(第五场)【生成函数、组合数学】
  5. 中科大和东北大学计算机考研,我国39所985高校,一共被分为五个档次,复旦大学处于第二档...
  6. SpringBoot2.0高级案例(02) :整合 RocketMQ ,实现请求异步处理
  7. Linux -- file 命令
  8. mssql sqlserver 使用sql脚本 清空所有数据库表数据的方法分享
  9. 20155338《网络对抗》Web安全基础实践
  10. 利用ST MCU内部的基准参考电压监测电源电压及其它