Spark和Hadoop，孰优孰劣？

Spark已经取代Hadoop成为最活跃的开源大数据项目。但是，在选择大数据框架时，企业不能因此就厚此薄彼。近日，著名大数据专家Bernard Marr在一篇文章中分析了Spark和Hadoop的异同。

Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具。但确切地说，它们所执行的任务并不相同，彼此也并不排斥。虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统。而分布式存储是如今许多大数据项目的基础。它可以将PB级的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘。因此，Spark需要一个第三方的分布式存储。也正是因为这个原因，许多大数据项目都将Spark安装在Hadoop之上。这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据了。

与Hadoop相比，Spark真正的优势在于速度。Spark的大部分操作都是在内存中，而Hadoop的MapReduce系统会在每次操作之后将所有数据写回到物理存储介质上。这是为了确保在出现问题时能够完全恢复，但Spark的弹性分布式数据存储也能实现这一点。

重要通知：接下来InfoQ将会选择性地将部分优秀内容首发在微信公众号中，欢迎关注InfoQ微信公众号第一时间阅读精品内容。

另外，在高级数据处理（如实时流处理和机器学习）方面，Spark的功能要胜过Hadoop。在Bernard看来，这一点连同其速度优势是Spark越来越受欢迎的真正原因。实时处理意味着可以在数据捕获的瞬间将其提交给分析型应用程序，并立即获得反馈。在各种各样的大数据应用程序中，这种处理的用途越来越多，比如，零售商使用的推荐引擎、制造业中的工业机械性能监控。Spark平台的速度和流数据处理能力也非常适合机器学习算法。这类算法可以自我学习和改进，直到找到问题的理想解决方案。这种技术是最先进制造系统（如预测零件何时损坏）和无人驾驶汽车的核心。Spark有自己的机器学习库MLib，而Hadoop系统则需要借助第三方机器学习库，如Apache Mahout。

实际上，虽然Spark和Hadoop存在一些功能上的重叠，但它们都不是商业产品，并不存在真正的竞争关系，而通过为这类免费系统提供技术支持赢利的公司往往同时提供两种服务。例如，Cloudera就既提供Spark服务也提供Hadoop服务，并会根据客户的需要提供最合适的建议。

Bernard认为，虽然Spark发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达。在他看来，Spark在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法。

感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号：InfoQChina）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群（已满），InfoQ读者交流群（#2））。

Spark和Hadoop，孰优孰劣？相关推荐

何必分个孰优孰劣呢？！
最近在相当多的BBS上看到这个SBO和哪个R3相比,和金算盘,用友,金蝶相比.很是心烦,也颇为不屑. 我的Blog也不是太多人来看,大部分是关心业内的一些人士吧,所以我才会尽可能地说些实在 ...
网络推广专员浅析网络推广中如何分析网站建设水平孰优孰劣？
随着网站建设开发技术的成熟,网站建设从业人员也越来越多,很多站长并不是专业从事网站建设工作是半路出家的,像这种半路出家的群体并不在少数,他们在经过网站建设知识的积累后正式进入网络推广市场.那么对于这部 ...
话里话外:家族化管理模式和职业化管理模式孰优孰劣
中国改革开放三十年,在民营企业中有大批老板现今五六十岁,现在或未来都要考虑为企业选好接班人的问题.他们该如何传位呢?"世袭制"古已有之,"能者居之"亦古已有之. ...
京东与淘宝孰优孰劣？
标准是什么? 按照商业的一般标准,大致上可以依照市值来评估企业的成功与否,并且由于投资者是天生带有盈利的目的所以往往也能体现出企业未来的前景.目前阿里巴巴系的市值为5917.16亿,京东系为911.8 ...
刷新翻看我关注实时疫情物联网卡小知识:互联网流量卡vs物联网流量卡孰优孰劣?
大家好,最近很多朋友问小编,互联网最离不开的其实是流量卡,很多互联网应用离开了流量卡没有网络就实现不了互联网的便利,那么物联网其实也是建立在物联网流量卡的基础上的,那么互联网流量卡和物联网流量卡之间有 ...
孰优孰劣：基于工业模型的数字化与基于数字互联网的工业化
孰优孰劣:基于工业模型的数字化与基于数字互联网的工业化这其实代表了两种商业思路,前者以德国工业4.0为特征,后者以美国GE提出的工业互联网为典型. 工业4.0 关键字:数字孪生Digi ...
实时流处理框架Storm、Spark Streaming、Samza、Flink，孰优孰劣？！
https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247486490&idx=1&sn=e25a05be8cf98c ...
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣
From http://www.dataguru.cn/article-9532-1.html 分布式流处理需求日益增加,包括支付交易.社交网络.物联网(IOT).系统监控等.业界对流处理已经有几种适 ...
11款物联网开发平台对比：功能孰优孰劣？
全文共4901字,预计学习时长10分钟图片来源:https://www.pexels.com/photo/three-men-standing-in-front-of-racing-arcade-m ...

Spark和Hadoop，孰优孰劣？

Spark和Hadoop，孰优孰劣？相关推荐

最新文章

热门文章