MapReduce的详细工作流程

MR的详细工作流程

上图给的是MR（任务：将200M的数据按照单子首字母是a-p，q-z分为两个区）的工作流程
1.获取将要处理的文本数据
2.将数据进行切片处理
3.提交所需的基本信息，class文件等
4.计算Map阶段应该需要几个MapTask（和切块的数量有关，一般128M就会切成一块）
5.将切片切好的数据块，调用RecorderReader类，读取数据
6.将5中读取完成的数据交给MapTask处理，处理之后的结果就是一种以键值对存在的数据，通过Context中的write方法将其写出
7.在Map和Reduce之间存在一个叫环形缓冲池的东西，这是Hadoop这个框架最为牛逼的概念，这个缓冲池的大小默认为100M，其实就是一段长为101M的空间（100M的数据还要有1M的索引空间），将Map阶段的数据不断写入到这个池子中，在数据在进行不断的写入操作时，到达80%的时候即数据输入到80M，这个时候，数据则会进行溢写操作，就是将数据从该内存写入到磁盘中，同时进行分区操作，与此同时，数据则会进行反向存储，因为此时还有20M的空间对吧，继续写，当你写到20M出头此时刚才的80M应该已经读写完成了，若没有完成则会进行等待。反复如此，进行溢写读取操作，直至任务完成。
8.经过7的操作之后，每一个MapTask已经进行了分区处理，那么将会在内部的分区中进行快拍排序
9.将经过8处理后的数据，同意汇总，交给Reduce进行最后的处理。
注意：环形缓冲区的大小会影响到MR的执行效率，缓冲区越大，io次数越少，执行的速度则会更快（但是，在MapTask中，默认给的内存为1G,而且在这中还要包括数据的写入，逻辑运算所需要的的内存，并不是越大越好！！！）

环形缓冲区机制

环形缓冲区具体的实现细节！！