MapReduce的工作原理，详细解释WordCount程序

本篇文章主要说两部分：简单介绍MapReduce的工作原理；详细解释WordCount程序。

MapReduce的工作原理

在《Hadoop in action》一书中，对MapReduce计算模型有了很好的描述，在这里我们直接引用过来：“

在 Hadoop 中，用于执行 MapReduce 任务的机器角色有两个：一个是 JobTracker；另一个是 TaskTracker， JobTracker是用于调度工作的， TaskTracker是用于执行工作的。一个 Hadoop集群中只有一台 JobTracker。

在分布式计算中， MapReduce 框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map 和 reduce，map 负责把任务分解成多个任务， reduce 负责把分解后多任务处理的结果汇总起来。

在 Hadoop 中，每个 MapReduce 任务都被初始化为一个 Job，每个 Job 又可以分为两种阶段： map 阶段和 reduce 阶段。这两个阶段分别用两个函数表示，即 map 函数和 reduce 函数。 map 函数接收一个<key,value>形式的输入，然后同样产生一个<key,value>形式的中间输出， Hadoop 函数接收一个如<key,(list ofvalues)>形式的输入，然后对这个 value 集合进行处理，每个 reduce 产生 0 或 1 个输出，reduce 的输出也是<key,value>形式的。”

从上面的解释我们可以看出：MapReduce把对大规模数据集的操作，分发给一个主节点（master）管理下的各个分节点（slaves）共同完成，然后通过整合各个节点的中间结果，得到最终结果。用 MapReduce 来处理的数据集（或任务）必须具备这样的特点：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。整个过程都是按照<key, value>的形式来输入输出。

下图很好的描述了MapReduce的工作过程：

下面我们结合一个简单的实例来说明MapReduce的内部运行流程，首先给出一个WordCount的数据流程图：

Step1：输入文件file1和file2先按照TextInputFormat形式被处理成两个InputSplit，然后输入到两个map中。此时map的输入格式为<key, value>的，需要指出的是此时的key为当前的行号（位移量），value为对应行的内容；

Step 2：Map对每行的内容进行切词，每切下一个词就将其组织成<word, 1>的形式输出，注意每个word的value均为1；

Step 3：把map的输出进入Reduce阶段，TaskTracker会接收到<word, {1,1,1,…}>形式的数据，reduce会进行统计频数，组织成<word, sum>的形式直接输出。

在以上过程初始的输入文件和最终输出结果都是放在HDFS上的，但是中间的map程序只是写到本地磁盘中，而不是写到HDFS中。这是因为Map的输出在Jpb完成后即可删除了，因此不需要存储到HDFS上。虽然存储到HDFS上会比较安全，但是因为网络传输会降低MapReduce任务的执行效率，因此Map的输出文件时写在本地磁盘的。如果Map程序在没来得及将数据传送给Reduce时就崩毁了，那么JobTracker只需要另选一台机器重新执行这个Task就可以了（JobTracker是要有这个功能的，JobTracker调度任务给TaskTracker，TaskTracker执行任务的时候，会返还进行报告，JobTracker则会记录进度的进行状况，如果某个TaskTracker上的任务执行失败了，那么JobTracker会把这个任务分配给另一个TaskTracker，直到任务执行完成）。

详解WordCount程序

WordCount程序是学习Hadoop的入门程序，我们有必要详解一下。能够完整的运行WordCount程序需要如下结果步骤：本地的文本文件上传到HDFS上，WordCount程序实现MapReduce过程，输出结果到HDFS上。

Step 1：进入CentOS系统（上篇博文已经介绍过在centos6.0上搭建hadoop框架），在本地新建一个file文件夹。在file文件夹中，新建两个文本文件file1和file2. file1的内容为Hello World，file2的内容为Hello Hadoop。

Step 2：在HDFS上创建输入文件夹，并把本地的file中文件上传到集群的input目录上；

Step 3：在集群上运行WordCount程序，以input为输入目录，以output为输出目录；

以上过程可以再centos的终端完成：

mkdir ~/file 在本地创建file文件夹
cd file

echo “Hello World” > file1.txt 在file1和file2文件中存放文本，
echo “Hello Hadoop” > file2.txt echo命令的作用是输出内容，> file1/2就是输出到文件中

hadoop fs -mkdir input 在HDFS上创建输入目录文件夹

hadoop fs -put ~file/file*.txt input 上传本地file文件夹中的文件到HDFS上

运行WordCount程序
hadoop jar /usr/local/hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount input output
“hadoop jar”——执行jar命令；
“/usr/local/hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jar”——WordCount所在的jar包的地址
“wordcount” 程序主类名
“input output” 输入、输出文件夹

hadoop fs -cat output/part-r-00000 查看输出文件中的内容

细心的读者会发现，hadoop框架下操作命令都是以hadoop fs -*的形式。下面我们就列举一下hadoop fs -*命令：

1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->HADOOPCONFDIR下的hadoop−default.xml−>HADOOP_CONF_DIR下的hadoop-default.xml->HADOOPCONFDIR下的hadoop−default.xml−>HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的DFS。如果传递uri做参数，那么就是特定的文件系统作为DFS。
2，hadoop fs –ls ：等同于本地系统的ls，列出在指定目录下的文件内容，支持pattern匹配。输出格式如filename(full path) size.其中n代表replica的个数，size代表大小（单位bytes）。
3，hadoop fs –lsr ：递归列出匹配pattern的文件信息，类似ls，只不过递归列出所有子目录信息。
4，hadoop fs –du ：列出匹配pattern的指定的文件系统空间总量（单位bytes），等价于unix下的针对目录的du –sb /*和针对文件的du –b ，输出格式如name(full path) size(in bytes)。
5，hadoop fs –dus ：等价于-du，输出格式也相同，只不过等价于unix的du -sb。
6，hadoop fs –mv ：将制定格式的文件 move到指定的目标位置。当src为多个文件时，dst必须是个目录。
7，hadoop fs –cp ：拷贝文件到目标位置，当src为多个文件时，dst必须是个目录。
8，hadoop fs –rm [-skipTrash] ：删除匹配pattern的指定文件，等价于unix下的rm 。
9，hadoop fs –rmr [skipTrash] ：递归删掉所有的文件和目录，等价于unix下的rm –rf 。
10，hadoop fs –rmi [skipTrash] ：等价于unix的rm –rfi 。
11，hadoop fs –put … ：从本地系统拷贝文件到DFS。
12，hadoop fs –copyFromLocal … ：等价于-put。
13，hadoop fs –moveFromLocal … ：等同于-put，只不过源文件在拷贝后被删除。
14，hadoop fs –get [-ignoreCrc] [-crc] ：从DFS拷贝文件到本地文件系统，文件匹配pattern，若是多个文件，则dst必须是目录。
15，hadoop fs –getmerge ：顾名思义，从DFS拷贝多个文件、合并排序为一个文件到本地文件系统。
16，hadoop fs –cat ：展示文件内容。
17，hadoop fs –copyToLocal [-ignoreCrc] [-crc] ：等价于-get。
18，hadoop fs –mkdir ：在指定位置创建目录。
19，hadoop fs –setrep [-R] [-w] <path/file>：设置文件的备份级别，-R标志控制是否递归设置子目录及文件。
20，hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…：修改文件的权限，-R标记递归修改。MODE为a+r,g-w,+rwx等，OCTALMODE为755这样。
21，hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH…：修改文件的所有者和组。-R表示递归。
22，hadoop fs -chgrp [-R] GROUP PATH…：等价于-chown … :GROUP …。
23，hadoop fs –count[-q] ：计数文件个数及所占空间的详情，输出表格的列的含义依次为：DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME或者如果加了-q的话，还会列出QUOTA,REMAINING_QUOTA,SPACE_QUOTA,REMAINING_SPACE_QUOTA。

MapReduce的工作原理，详细解释WordCount程序相关推荐

硬件MSB最高位优先、LSB最低位优先的CRC计算原理详细解释和程序，正算反算成功等效，DS18B20和HTU31D传感器CRC
wxleasyland@139.com 2022.7 以前写过<我学习CRC32.CRC16.CRC原理和算法的总结(与WINRAR结果一致)>长篇.经过十几年又忘记了. 这次碰到DS18 ...
Hadoop 4、Hadoop MapReduce的工作原理
一.MapReduce的概念 MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框就是mapreduce,两者缺一不可,也就是 ...
显卡结构及工作原理详细解读
显卡结构及工作原理详细解读标签: 显卡三维图像 2016-01-16 20:58 864人阅读评论(0) 收藏举报分类: 3D原理(11) 什么是显卡? 显卡的工作非常复杂,但其原理和部件 ...
《Hadoop MapReduce性能优化》一1.3　Hadoop MapReduce的工作原理
本节书摘来异步社区<Hadoop MapReduce性能优化>一书中的第1章,第1.3节,作者: [法]Khaled Tannir 译者: 范欢动责编: 杨海玲,更多章节内容可以访问云栖 ...
Hadoop 之 MapReduce 的工作原理及其倒排索引的建立
一.Hadoop 简介下面先从一张图理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍 ResourceManager:是YARN资源控制框架的中心模块,负责集群中所有的资源的统 ...
Java虚拟机工作原理具体解释
一.类载入器首先来看一下java程序的运行过程. 从这个框图非常easy大体上了解java程序工作原理.首先,你写好java代码,保存到硬盘其中.然后你在命令行中输入 javac YourClass ...
java虚拟机工作原理_Java虚拟机工作原理具体解释
一.类载入器首先来看一下java程序的运行过程. 从这个框图非常easy大体上了解java程序工作原理.首先,你写好java代码,保存到硬盘其中.然后你在命令行中输入 javac YourClass ...
系统构架及工作原理详细介绍
我们知道计算机网络依据物理连接和逻辑连接来实现不同网络之间.不同主机之间.主机与终端之间的信息交换与信息共享.绿盟安全隔离与信息交换系统既然隔离.阻断了网络的所有连接,实际上就是隔离.阻断了网络的 ...
mpls工作原理通俗解释_用这两种方法向最终用户解释NLP模型的工作原理还是不错的...
点击上方关注,All in AI中国上周,我看了一个关于"NLP的实践特性工程"的演讲.主要是关于LIME和SHAP在文本分类可解释性方面是如何工作的. 我决定写一篇关于它们的文 ...

MapReduce的工作原理，详细解释WordCount程序

MapReduce的工作原理，详细解释WordCount程序相关推荐

最新文章

热门文章