WordCount编程及执行流程

MapReduce程序分为三部分： map reduce driver

这里先放出最经典的wordcount程序源码:

public class WordCount extends Configured implements Tool{

//map

public static class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable>{
private Text MapoutputKey=new Text();
private final static IntWritable MapoutputValue=new IntWritable(1);
@Override
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
//得到value
String lineValue=value.toString();
//split
StringTokenizer stringTokenizer=new StringTokenizer(lineValue);
//迭代取出数据
while(stringTokenizer.hasMoreTokens()){
//得到输入的value
String wordValue=stringTokenizer.nextToken();
MapoutputKey.set(wordValue);
//输出
context.write(MapoutputKey, MapoutputValue);
}
}

}

//reduce
public static class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
private IntWritable outputValue=new IntWritable();
@Override
protected void reduce(Text key, Iterable<IntWritable> values,
Context context)
throws IOException, InterruptedException {
int sum=0;
for(IntWritable value:values){
sum+=value.get();
}
outputValue.set(sum);
//输出
context.write(key, outputValue);
}
}

//driver
public int run(String[] args) throws Exception{
//得到配置信息
Configuration configurable=getConf();
//创建Job
Job job=Job.getInstance(configurable,this.getClass().getSimpleName());
//运行jar
job.setJarByClass(this.getClass());
//设置job
//1. input
Path inPath=new Path(args[0]);
FileInputFormat.addInputPath(job, inPath);
//2.map
job.setMapperClass(WordCountMap.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//3.reduce
job.setReducerClass(WordCountReduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//4.output
Path outPath=new Path(args[1]);
FileOutputFormat.setOutputPath(job, outPath);
//提交job
boolean completion = job.waitForCompletion(true);

return completion ? 0 : 1;
}
public static void main(String[] args) throws Exception{
//得到配置信息
Configuration configurable=new Configuration();
//int status=new WordCount().run(args);
int status=ToolRunner.run(configurable, new WordCount(), args);
System.exit(status);
}
}

这个wordcount程序可以在本地或者yarn上运行，首先要在eclipse中打成jar包，当然上边的代码要想直接运行，需要在maven中加入hadoop的jar包坐标，然后自动下载到本地仓库才可以，打包好后就跟hadoop中自带的wordcount程序运行过程一样，这里不进行细说，如果打包到运行测试有问题可以在文章末尾留言

wordcount执行流程:

input---->map-----reduce------output

input:

会文件按行分割形成<key,value>对，如下图所示:

这一步由Mapreduce框架自动完成，其中key是偏移量，包含了回车所占的字符数，value是这一行的数据

map：

将分割好的<key,value>对交给用户定义的map方法处理，形成新的<key,value>对，如下图所示:

得到map方法输出的<key,value>对后，Mapper会将他们按照key值进行排序，得到Mapper的最终输出结果，如下图:

reduce：

Reducer先对从Mapper接受的<key,value>对进行shuffle处理，如下图:

然后再交给用户自定义的reduce方法进行合并处理，再得到新的<key,value>对，如下图:

最后将这个<key,value>对作为wordcount的结果输出

中，

WordCount编程及执行流程相关推荐

【大数据开发】SparkCore——Spark作业执行流程、RDD编程的两种方式、简单算子
文章目录一.Spark作业执行流程(重点) 二.RDD编程 2.1创建RDD的⼆种⽅式: 2.2Transformation算⼦ 2.3Action算子三.简单算子(必须掌握) 3.1 map.m ...
基于c++和asio的网络编程框架asio2教程基础篇：2、各个回调函数的触发顺序和执行流程
基于c++和asio的网络编程框架asio2教程基础篇:2.各个回调函数的触发顺序和执行流程以tcp举例: tcp服务端流程: #include <asio2/asio2.hpp>int ...
追源索骥：透过源码看懂Flink核心框架的执行流程
https://www.cnblogs.com/bethunebtj/p/9168274.html 追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 Hello,World WordC ...
MapReduce的执行流程
1.mapreduce原理 1.1.序列化和反序列化 (1)序列化:将内存的对象转换成字节序列,便于存储 (2)反序列化:将收到的字节序列或硬盘的持久化数据,转换成内存. 1.2.inputforma ...
追源索骥：透过源码看懂Flink核心框架的执行流程--来自GitHub
追源索骥:透过源码看懂Flink核心框架的执行流程联系qq2499496272可进行删除,需要文件版本的私聊!!~ 文章目录追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 ~~H ...
Python黑帽编程2.4 流程控制
Python黑帽编程2.4 流程控制本节要介绍的是Python编程中和流程控制有关的关键字和相关内容. 2.4.1 if -..else 先上一段代码: #!/usr/bin/python # - ...
MyBatis 的执行流程，写得太好了！
来源 | blog.csdn.net/zwx900102/article/details/108455514 MyBatis可能很多人都一直在用,但是MyBatis的SQL执行流程可能并不是所有人都清 ...
scala语言的底层是java实现的_Scala学习笔记一（与Java、Jvm的关系以及程序执行流程分析）...
一.Scala语言与Java.Jvm的关系分析 Scala语言是马丁奥德斯基接触Java语言后,针对Java语言的特点,将函数式编程语言的特点融合到Java中,由此发明的.Scala语言和Java语言 ...
openresty开发系列31--openresty执行流程
openresty开发系列31--openresty执行流程我们先看个例子 location /test { set $a 32; echo $a; set $a 56; ...

WordCount编程及执行流程

WordCount编程及执行流程相关推荐

最新文章

热门文章