破除迷障:企业对Hadoop的六大误解
迄今为止,Hadoop和大数据实际上是同义词。然而随着大数据的炒作不断升温,出现了很多对Hadoop如何应用于大数据的误解。
Hadoop是一种用于存储和分析大型数据集开源软件框架,可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据,因此通常被认为是一种大数据操作系统。而这正是第一个误解的来源:
1、Hadoop是一个完整的解决方案。
事实并非如此。无论你把它称为“框架”或“平台”都可以,只是不能认为Hadoop可以解决大数据方面的所有问题。
“市场上没有标准的Hadoop产品,”《太大而无法忽略:大数据的商业案例》一书的作者菲尔·西蒙说:“这不像别的东西,你可以从IBM或SAP那里,得到一个标准的数据库。”
然而西蒙不认为这是一个长期的问题。首先,由于Hadoop是开源项目,许多其他Hadoop相关的项目,如Cassandra和HBase,都可以满足特定的需求。HBase提供的分布式数据库,支持大数据表的结构化数据存储。
此外,正像红帽、IBM和其他厂商将Linux打包成各种用户友好的产品一样,有很多大数据方面的创业公司,正在对Hadoop做同样的事情。所以,虽然Hadoop本身不是一个完整的解决方案,大多数企业实际上还是会在比较完整的大数据解决方案中遇到它。
2、Hadoop是一种数据库。
Hadoop是经常被当作数据库,但事实并非如此。Damballa安保公司的一名软件工程师,Marshall Bockrath-Vandegrift说:“Hadoop核心中没有任何类似于查询或索引的核心平台。”Damballa公司利用Hadoop来分析实时的安全风险。
“我们使用HBase来帮助我们的风险分析师针对被动DNS数据运行实时查询。HBase和其他实时技术不仅与Hadoop是互补的,而且多数依赖Hadoop核心的分布式存储技术(HDFS)来实现高性能的分布式数据集的访问。”他补充说。
Bloom Reach数据营销分析公司的科学家Prateek Gupta也表示:“Hadoop不是为替代数据库系统而生的,但却可以用来建立数据库系统。”
3、企业级Hadoop应用过于冒险。
许多企业担心Hadoop太新,未经考验,不适合企业级应用。没有什么想法比这更错误的了。别忘了,Hadoop是基于谷歌文件系统的分布式存储平台和运行于该文件系统上的GoogleMapReduce数据分析工具建立的。雅虎在Hadoop上投入了资金和精力,并于2008年推出其第一个大型Hadoop应用,一种搜索“站点地图”,可对所有已知的网页和相应的元数据进行索引,从而完成对这些页面的搜索。
现在,Hadoop被包括Netflix、Twitter和eBay等公司所采用,包括微软、IBM和甲骨文这样的公司都有Hadoop工具出售。目前,将Hadoop称为“成熟”的技术还为时尚早,这一点与任何大数据平台的情况类似,然而它确实已经得到了大型企业的采纳和验证。
这不意味着它是一种没有风险的平台,安全问题本身就是一个比较棘手的问题。但企业远不该就因此被Hadoop平台的年轻而吓跑。
4、要使用Hadoop,就得请一堆程序员。
取决于你要做的事情,这个说法或许是对的。如果你计划开发优秀的下一代Hadoop大数据套件,可能需要专业的Java和MapReduce编程人员。反过来,如果你愿意利用他人的成就,编程就不是一个问题。数据集成供应商Syncsort的建议分析师们利用Hadoop兼容的数据集成工具来运行高级查询,这样做无需任何编码工作。
大多数数据集成工具都有图形化界面,可以屏蔽MapReduce编程的复杂性,很多还带有预置的模板。此外,包括Alpine Data Labs、Continuuity和Hortonworks在内的创业型公司,还提供可以简化大数据和Hadoop应用的工具。
5、Hadoop不适合中小企业。
许多中小企业担心会被“大数据”的趋势拒之门外。IBM、甲骨文等大型厂商自然倾向于兜售大而昂贵的解决方案。这并不意味着市场上没有适合中小企业的相关工具。
云计算正在迅速推动一些尖端技术的大众化应用。“云计算正将资本支出转化为运营成本,”《大数据》的作者菲尔·西蒙指出。“你可以和Netflix利用相同的云服务。同样的事情也开始发生在大数据领域,一个只有五个员工的企业,照样可以使用Kaggle。”
Kaggle称自己为“在数据问题和数据方案间搭建桥梁的市场。”例如,创业公司Jetpac以5000美元悬赏一种算法,以找出最有吸引力的度假照片。多数度假照并不好,而从中筛选是一个繁琐,耗时的过程。
Jetpac让人手工评选出了30000张照片,并且寻求一种能够与人工方式类似,只是通过分析元数据(照片大小、标题,描述信息)来进行排序的算法。如果该公司自行开发这一算法,花的钱绝对不止5000美元。而且他们只能得到一种方案,而不是从各种方案中优选。Jetpac的图像处理工具,最终帮助其获得了240万美元的风投资金。
6、Hadoop比较便宜。
这个误解对任何开放源代码的软件都适用。省下最初的采购成本,并不意味着你一定会省钱。例如,云计算的问题之一就是,要在亚马逊平台上建立一个科研项目非常容易,以致于很多人都在AWS建立了自己的项目,在持续付费的同时,却忘了这些项目本身。
虚拟服务器的盲目扩张,已经使物理服务器的增加相形见绌。虽然Hadoop可以帮助你存储和分析数据,但你又如何将老的数据导入到新的系统中?如何实现数据的可视化?如何分享数据?对于这些会更多被大家分享的数据,你又如何去保护它?
Hadoop实际上一种东拼西凑的解决方案。你可以从Cloudera这样的公司获得完整的企业级解决方案,也可以着手建立自己高度定制化的解决方案。无论你选择的路线如何,都要认真做好预算,因为免费软件从来都不是真正免费的。
作者:李焕珠
来源:IT168
原文链接:破除迷障:企业对Hadoop的六大误解
破除迷障:企业对Hadoop的六大误解相关推荐
- 新书《区块链实战》中信出版:破除迷思 推动技术落地 | ArcBlock 新闻
PR@arcblock.io ArcBlock区块基石 来自专辑 ArcBlock DevCon 由 ArcBlock 区块基石创始人兼 CEO 冒志鸿与副总裁陈俊合著的<区块链实战:从技术创新 ...
- 专家看台:柯莱特CTO谈企业选择CRM的六大目标
[CSDN 1月24日消息]CRM之所以能够成为热点与CRM所能够实现的强大功能是密不可分的.CRM的快速发展与企业的迫切需求有直接的关系:而企业的需求又与CRM在新经济的环境下所能解决的问题密切相 ...
- 柯莱特CTO谈企业选择CRM的六大目标
CRM之所以能够成为热点与CRM所能够实现的强大功能是密不可分的.CRM的快速发展与 企业 的迫切需求有直接的关系:而企业的需求又与CRM在新经济的环境下所能解决的问题密切相关. 柯莱特 公司 首席技 ...
- OA、CRM、ERP、OMS、WMS、SCM、BRP,电商企业需知的六大管理系统
CRM.ERP.OMS.WMS.SCM.BRP,电商企业需知的六大管理系统 OA 比如典型的OA系统,模板如:OA(点击可直接使用) 框架是这样的: CRM CRM(Customer Relation ...
- hdu 2570 迷障(贪心)
迷瘴 Time Limit : 2000/1000ms (Java/Other) Memory Limit : 32768/32768K (Java/Other Font: Times New R ...
- 企业网站建设的六大价值
首先应明确建站的意义.企业建站不是为了赶一时的潮流或是博取一个好听的名声才做的,只有把网络技术同企业管理体系.工作流程和商务动作实现紧密地集成,才能真正发挥企业网站的作用.一个企业建网的最终目的和它的 ...
- 破除对于XP半开连接数限制的误解
转贴自very资源网:http://board.verycd.com/t463463.html 最近看到有些帖子说"XP SP2每秒只允许10个人连接你的电脑"之类的误导性言论,深 ...
- 谁是“少数幸福的人”?
子曰:"五十而知天命".现今五十岁上下的中国知识分子,很少不知道有一本法国小说叫做<红与黑>的,因为他们当中的许多人都在年轻的时候读过这本书,都怀着激烈昂奋甚至矛盾的情 ...
- 大数据公司MapR被惠普企业收购,看重竟然不是Hadoop能力
中国软件网 报道 | 公众号:Hapiweb-soft6 (图片源自网络) 传言成真! 大数据软件公司MapR难以为继,被惠普企业HPE收购 . 8月6日,惠普企业HPE宣布将收购大数据基础软件企业. ...
最新文章
- Repeater 使用小技巧 内部radio 横排
- SSM中实现分页与JUnit单元测试
- 第三次学JAVA再学不好就吃翔(part99)--File类
- 基于 Springboot 和 Mybatis 的后台管理系统 BootDo
- geoserver集成以及部署arcgis server瓦片数据
- Python+matplotlib绘制函数曲线查找函数极值
- saltstack的探索-salt指定目标和分组
- java查询oracle数据库_Oracle数据库之java 从Oracle数据库到处数据到Elasticsearch全文检索库进行全文查询...
- Nhibernate学习的第一天
- 脚本录制软件python 按键精灵 tc_Keymouse Go鼠标键盘脚本录制下载|开源版按键精灵软件_最火软件站...
- 读《人工智能,李开复王咏刚》
- iperf3网络测试工具下载网址
- FU-A STAP-A 拆包 打包 小议
- 动态物体检测(python)
- Microbiome:鸡肠道微生物宏基因集(张和平、魏泓、秦楠点评)
- Android前景与背景
- Weight the Tree CodeForces - 1646D
- 虚函数、纯虚函数、虚继承、多继承
- 运用js绘制SVG图片
- 人工智能中的顶级期刊
热门文章
- 请你回答一下map底层为什么用红黑树实现
- BQ40Z50 配置与学习方法
- 爬虫取中间文本_Python爬虫追美剧?你咋这么溜溜溜上篇
- SSH组合工程之-struts2hibernatespring(工程下载)
- 英语chrismatite黄蜡石Chrismatite单词
- oracle向前推一个小时,oracle SQL里常用的时间函数,经典推荐
- 福利,程序员如何走向软件架构师?
- ERP软件市场占有率(2012/2013)
- ANSYS Workbench中各种设置选项都不理解怎么办?(附实例surface effect)
- halcon开闭运算