MapReduce核心思想

需求：有一个五层的图书馆，需要获取图书馆中一共有多少本书。

(1)只有一个人时，是能一本一本的数！工作量巨大，耗时较长。

(2)分配五个人由你支配。此时你怎么支配？
五个人，每个人数一层的书量最终将五个人的量汇总求和，就是图书馆中最终书的数量。

MapReduce的思想核心是==“分而治之，先分后合”。即将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并==。适用于大量复杂的、时效性不高的任务处理场景（大规模离线数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。
MapReduce由两部分组成，分别是Map 和Reduce两部分。
Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。例如前面例子中的分配每个人数一层楼。
Reduce负责“合”，即对map阶段的结果进行全局汇总。例如前面例子中将五个人的结果汇总。
这两个阶段合起来正是MapReduce思想的体现。

MapReduce核心思想相关推荐

MapReduce核心思想及其步骤原理
1.1MapReduce核心思想分而治之,先分后和:将一个大的.复杂的工作或任务,拆分成多个小任务,最终合并. MapReduce是由Map和Redecu组成 Map:将数据进行拆分 Reduce: ...
MapReduce介绍及核心思想
1.定义 MapReduce 是一个分布式运算程序的编程框架,是用户开发"基于 Hadoop 的数据分析应用"的核心框架. MapReduce 核心功能是将用户编写的业务逻辑代码和 ...
橙子05-Mapreduce核心思想与工作过程
Mapreduce核心思想与工作过程 Mapreduce核心思想与核心函数 Mapreduce核心思想 Mapreduce核心函数 Mapreduce工作过程本文有配套视频可以在B站观看 <M ...
[Hadoop入门] - 1 Ubuntu系统 Hadoop介绍 MapReduce编程思想
Ubuntu系统 (我用到版本号是140.4) ubuntu系统是一个以桌面应用为主的Linux操作系统,Ubuntu基于Debian发行版和GNOME桌面环境.Ubuntu的目标在于为一般用户提供一 ...
Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
深入理解Spark：核心思想与源码分析
大数据技术丛书深入理解Spark:核心思想与源码分析耿嘉安著图书在版编目(CIP)数据深入理解Spark:核心思想与源码分析/耿嘉安著. -北京:机械工业出版社,2015.12 (大数据技术 ...
主成分分析（Principle Component Analysis）PCA的核心思想是什么？PCA算法的优缺点？增量PCA模型, 随机PCA, 模型、核化PCA分别是什么？使用时如何选择？
主成分分析(Principle Component Analysis)PCA的核心思想是什么?增量PCA模型, 随机PCA, 模型. 核化PCA分别是什么?使用时如何选择? 主成分分析(Princip ...
php单例模式的核心语句,PHP单例模式的核心思想
Singleton Pattern(中文称单例模式),可以说是最容易理解的设计模式了,也充分体现了DRY (Don't Repeat Yourself)的思想. 单例模式的核心思想是:保证一个对象存在 ...
《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章,第1.2节Spark初体验,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 ...

MapReduce核心思想

MapReduce核心思想

需求：有一个五层的图书馆，需要获取图书馆中一共有多少本书。

MapReduce核心思想相关推荐

最新文章

热门文章