MapReduce 中的计数器

计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务，更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易得多。

hadoop内置计数器列表

MapReduce任务计数器	org.apache.hadoop.mapreduce.TaskCounter
文件系统计数器	org.apache.hadoop.mapreduce.FileSystemCounter
FileInputFormat 计数器	org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter
FileOutputFormat 计数器	org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter
作业计数器	org.apache.hadoop.mapreduce.JobCounter

所有的这些都是MapReduce的计数器的功能，既然MapReduce当中有计数器的功能，我们如何实现自己的计数器？？？

需求：以上面排序以及序列化为案例，统计map接收到的数据记录条数

第一种方式

第一种方式定义计数器，通过context上下文对象可以获取我们的计数器，进行记录通过context上下文对象，在map端使用计数器进行统计

public class SortMapper extends
Mapper<LongWritable,Text,PairWritable,IntWritable> {private PairWritable mapOutKey = new PairWritable();private IntWritable mapOutValue = new IntWritable();@Overridepublic void map(LongWritable key, Text value, Context context) throwsIOException, InterruptedException {//自定义我们的计数器，这里实现了统计map数据数据的条数Counter counter = context.getCounter("MR_COUNT","MapRecordCounter");counter.increment(1L);String lineValue = value.toString();String[] strs = lineValue.split("\t");//设置组合key和value ==> <(key,value),value>mapOutKey.set(strs[0], Integer.valueOf(strs[1]));mapOutValue.set(Integer.valueOf(strs[1]));context.write(mapOutKey, mapOutValue);}}

运行程序之后就可以看到我们自定义的计数器在map阶段读取了七条数据

第二种方式

通过enum枚举类型来定义计数器

统计reduce端数据的输入的key有多少个，对应的value有多少个

public class SortReducer extendsReducer<PairWritable,IntWritable,Text,IntWritable> {private Text outPutKey = new Text();public static enum Counter{REDUCE_INPUT_RECORDS, REDUCE_INPUT_VAL_NUMS,}@Overridepublic void reduce(PairWritable key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {     context.getCounter(Counter.REDUCE_INPUT_RECORDS).increment(1L);//迭代输出for(IntWritable value : values) {context.getCounter(Counter.REDUCE_INPUT_VAL_NUMS).increment(1L);outPutKey.set(key.getFirst());context.write(outPutKey, value);        }}}

MapReduce-计数器相关推荐

MapReduce计数器
原文链接:http://itfish.net/article/61067.html 1.MapReduce计数器是什么? 计数器是用来记录job的执行进度和状态的.它的作用可以理解为日志.我们可以在程 ...
MapReduce计数器--详解
1.MapReduce计数器是什么? 计数器是用来记录job的执行进度和状态的.它的作用可以理解为日志.我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况. 2.MapReduce计数器能 ...
MapReduce计数器实验
一.实验目的通过实验掌握基本的MapReduce编程方法: 掌握用MapReduce解决一些常见的数据处理问题,编写计数器程序. 二.实验平台操作系统:Linux(建议CentOS6.5): Ha ...
MapReduce 计数器
1. MapReduce 计数器 1.1 计数器是什么计数器一般用来记录 job 执行进度和状态信息. 如果自己手动实现计数,需要考虑将多个线程的计算结果合并,编码过于麻烦,通常使用 MapRedu ...
Hadoop教程（四）：理解MapReduce、MapReduce计数器和连接、MapReduce Hadoop程序连接数据
本教程中的代码分为 3 个部分: 解释 SalesMapper 类解释 SalesCountryReducer 类解释 SalesCountryDriver 类 SalesMapper类的说明在 ...
MapReduce 计数器简介
2019独角兽企业重金招聘Python工程师标准>>> 1.计数器简介在许多情况下,一个用户需要了解待分析的数据,尽管这并非所要执行的分析任务的核心内容.以统计数据集中无效记录数 ...
MapReduce 计数器简介（转载自：http://www.tuicool.com/articles/qqyIBr）
1.计数器简介在许多情况下,一个用户需要了解待分析的数据,尽管这并非所要执行的分析任务的核心内容.以统计数据集中无效记录数目的任务为例,如果发现无效记录的比例相当高,那么就需要认真思考为何存在 ...
Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)
3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运 ...
Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)...
3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运 ...
大数据【四】MapReduce（单词计数；二次排序；计数器；join；分布式缓存）
前言: 根据前面的几篇博客学习,现在可以进行MapReduce学习了.本篇博客首先阐述了MapReduce的概念及使用原理,其次直接从五个实验中实践学习(单词计数,二次排序,计数器,join,分 ...

MapReduce-计数器

MapReduce 中的计数器

MapReduce-计数器相关推荐

最新文章

热门文章