MapReduce中名字的通俗解释--故事会

想必大家在学习hadoop/mapreduce的时候对于遇到的好些学术名词已经很是头疼，虽然老外已经是很实诚的使用一些字面词义的单词了，但是要全部理解并指导整个mapReduce的运作还是有点费劲的，本人就是，于是就给自己编了一个故事，方便自己记住和了解。

名词：Map ,Reduce, job, JobTracker ,TaskTracker ,Task ,Speculative Task

BOSS

有一天BOSS说：“我要吃蜂蜜”，注意，这个时候你就必须要响应BOSS，否则以后怎么加工资啊，所以job 就来了,这个job是啥？

BOSS要吃蜂蜜，那job就是把蜂蜜端到BOSS面前，立马的，赶紧的。

这个时候BOSS的助手喊了一声“MAP”

好，下面的人都懂的，一个虔诚的boss信徒站了出来，注意这个时候信徒就是JobTracker ，信徒吹了一声很响的口哨，马上几只蜜蜂串了出来，嗡嗡围在信徒周围；

这时蜜蜂就是TaskTracker 了，信徒向蜜蜂介绍了下BOSS的情况，情况就是BOSS要吃蜂蜜，那个想啊，快要到了夜不能眠的地步了，我们要急BOSS所急，马上采集

蜂蜜。

蜜蜂飞到花那边，采啊采，采啊采，采啊采，采啊采，这些歌蜂蜜比较笨，采好后都拽在手里（当然也有不笨的，采完就放桶里了）。。。。太阳快下山了，task也该完成了吧，（服务器性能不好，task花了那么长时间，task就是采集花蜜这件事），

晚上了，要开吃了，甜点蜂蜜呢？这个时候BOSS的助手又喊了一声“Reduce”，

喊得比较响，蜜蜂听到了，他们赶紧把手中的花蜜放到桶里，注意每个蜜蜂的桶都是一模一样的，这个动作就是Reduce。注意，前面有蜜蜂已经采完就放桶里了，那说明啥？

说明map和reduce可以同时进行的。

那Speculative Task是啥？那个是防止BOSS的蜂蜜吃不饱，特意多采的，备用的。

听说后来老板喝蜂蜜喝的很满意，觉也睡好了，大家都知道了，后来通说这个蜜蜂采蜜的花园名叫做HDFS, 过去采蜜的也多了，有HIVE ,有.

MapReduce中名字的通俗解释--故事会相关推荐

Python中 __init__的通俗解释是什么？
可能大家常常会在面向对象编程中看到__init__,而且几乎每个类中都会有,它的作用都是是什么呢? 要想明白__init__,你首先要弄清楚面向对象是什么? Python是一门面向对象的编程语言,面向 ...
spring中注解的通俗解释
我们在没有用注解写spring配置文件的时候,会在spring配置文件中定义Dao层的bean,这样我们在service层中,写setDao方法,就可以直接通过接口调用Dao层,用了注解写法后,在配置 ...
python里init什么意思_Python中 __init__的通俗解释是什么？
Python是面向对象的编程语言,因此我从Class.Instance以及属性(property/attribute)的角度出发解释. _init_根据其英文意思(initialize),用来初始化一 ...
java web中Jdbc访问数据库步骤通俗解释（吃饭），与MVC的通俗解释（做饭）
一.Jdbc访问数据库步骤通俗解释(吃饭) 1)加载驱动 Class.forName("com.microsoft.jdbc.sqlserver.SQLServer"); 2) 与 ...
三维重建中经常遇到的拓扑学概念的通俗解释
点云重建过程中,经常遇到恶心的概念,读文献时候,尤其英文文献,看到这些东西完全读不下去. 吐槽一下,在学习时候,直接上来这些概念让人很蒙,对于概念,学习还是先有一个直观的形象比较好,要想明白为什么这样 ...
通俗解释机器学习中的召回率、精确率、准确率
赶时间的同学们看这里:提升精确率是为了不错报.提升召回率是为了不漏报网络上很多地方分不清准确率和精确率,在这里先正确区分一下精确率和准确率,以及他们的别称切入正题很多人分不清召回率和精确率的区别 ...
循环神经网络（RNN）原理通俗解释
循环神经网络(RNN)原理通俗解释 1.RNN怎么来的? 2.RNN的网络结构及原理 3.RNN的改进1:双向RNN 4.RNN的改进2:深层双向RNN 4.1 Pyramidal RNN 5.RNN ...
MapReduce 示例：减少 Hadoop MapReduce 中的侧连接
摘要:在排序和reducer 阶段,reduce 侧连接过程会产生巨大的网络I/O 流量,在这个阶段,相同键的值被聚集在一起. 本文分享自华为云社区<MapReduce 示例:减少 Hadoop ...
Linux与网络服务（一）网络服务相关概念通俗解释（科普向）
Linux与网络服务(一)网络服务相关概念通俗解释(科普向) 前言专业名词及概念的通俗解释云服务器云/云服务云计算弹性伸缩负载均衡公网IP 域名/域名备案端口 SSH(安全外壳协议)/ ...

MapReduce中名字的通俗解释--故事会

MapReduce中名字的通俗解释--故事会相关推荐

最新文章

热门文章