Spark与MR的区别

2024-05-27 10:21:45

速度

spark把运算的中间数据存放在内存，迭代计算效率更高；MR的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘IO操作，影响性能

容错性

spark容错性高，它通过弹性分布式数据集RDD来实现高效容错，RDD是一组分布式的存储在节点内存中的只读性质的数据集，这些集合是弹性的，某一部分丢失或者出错，可以通过整个数据集的计算流程的血缘关系来实现重建；

MR的话容错可能只能重新计算了，成本较高

适用面

spark更加通用，spark提供了transformation和action这两大类的多个功能的api，另外还有流式处理sparkstreaming模块，图计算GraphX等；MR只提供了map和reduce两种操作，流计算以及其他模块的支持比较缺乏

框架和生态

Spark框架和生态更为复杂，首先由RDD、血缘lineage、执行时的有向无环图DAG、stage划分等等，

很多时候spark作业都需要根据不同的业务场景的需要进行调优，以达到性能要求，MR框架及其生态相对较为简单，对性能的要求也相对较弱，但是运行较为稳定，适合长期后台运行

运行环境：

MR运行在YARN上，

spark

local：本地运行
standalone：使用Spark自带的资源管理框架，运行spark的应用
yarn：将spark应用类似mr一样，提交到yarn上运行
mesos：类似yarn的一种资源管理框架

参考

Spark和MR的区别 - 任重而道远的小蜗牛 - 博客园

Spark与MR的区别相关推荐

大数据---spark和mr的区别
首先最核心的两点:内存和磁盘的区别:job中途失败重新计算的区别. ---spark最核心的概念是RDD(弹性分布式数据集),它的所有rdd在并行运算过程程中,可以做到数据共享,也就是可以重复使用mr ...
Spark 和 MR 的区别: 多进程与多线程模型
精选30+云产品,助力企业轻松上云!>>> 先说结论:Hadoop MapReduce采用了多进程模型,而Spark采用了多线程模型接下来,来一起分析,这两种模式的区别以及优缺点: ...
Spark和Hadoop的区别和比较
Spark主要用于大数据的计算,而Hadoop以后主要用于大数据的存储(比如HDFS.Hive.HBase等),以及资源调度(Yarn). Spark的特点: 速度快:Spark基于内存进行计算(当然 ...
谈谈spark.sql.shuffle.partitions和 spark.default.parallelism 的区别及spark并行度的理解
谈谈spark.sql.shuffle.partitions和 spark.default.parallelism 的区别及spark并行度的理解 spark.sql.shuffle.partitio ...
[转载]智能科普：VR、AR、MR的区别
智能科普:VR.AR.MR的区别 http://news.zol.com.cn/553/5534833.html news.zol.com.cn 2015-11-23 16:00 近日, 获得谷歌5亿 ...
Spark:Yarn-cluster和Yarn-client区别与联系
我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和yarn-client,它们究竟有什么区别与联系?阅读完本文,你将了解. Spark支持 ...
Hive on Spark与SparkSql的区别
Hive on Spark与SparkSql的区别 hive on spark大体与SparkSQL结构类似,只是SQL引擎不同,但是计算引擎都是spark! 核心代码 #初始化Spark SQL # ...
spark和tez的区别
MapReduce MapReduce是一种编程模型,mapreduce是hive的默认执行引擎,用于大规模数据集(大于1TB)的并行运算.概念"Map(映射)"和"Re ...
NPL程序设计语言，CNN，RNN，LSTM ，spark和hadoop的区别，云计算，kubeflow
目录 NPL程序设计语言深度学习框架建模:CNN,RNN,LSTM spark和hadoop的区别云计算

最新文章

热门文章