MapReduce当中的计数器

计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计
计数器还可辅助诊断系统故障。
如果需要将日志信息传输到map 或reduce 任务，更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。
对于大型分布式作业而言，使用计数器更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易得多。
hadoop内置计数器列表

名称	包名
MapReduce任务计数器	org.apache.hadoop.mapreduce.TaskCounter
文件系统计数器	org.apache.hadoop.mapreduce.FileSystemCounter
FileInputFormat计数器	org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter
FileOutputFormat计数器	org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter
作业计数器	org.apache.hadoop.mapreduce.JobCounter

每次mapreduce执行完成之后，都会看到一些日志记录出来，其中最重要的一些日志记录如下截图

MapReduce当中的计数器相关推荐

实验七 MapReduce实验：计数器
实验指导: 7.1 实验目的基于MapReduce思想,编写计数器程序. 7.2 实验要求能够理解MapReduce编程思想,然后会编写MapReduce版本计数器程序,并能执行该程序和分析执行过 ...
MapReduce的自定义计数器
1. 在map端使用计数器进行统计: import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; impor ...
MapReduce当中自定义输出：多文件输出MultipleOutputs
自定义输出:多文件输出MultipleOutputs 对于刚才的单独订单topN的问题, 如果需要把单独的订单id的记录放在自己的一个文件中,并以订单id命名.怎么办?multipleOutputs可 ...
MapReduce-计数器
MapReduce 中的计数器计数器是收集作业统计信息的有效手段之一,用于质量控制或应用级统计.计数器还可辅助诊断系统故障.如果需要将日志信息传输到 map 或 reduce 任务, 更好的方法通常 ...
Hadoop分布式存储和计算MapReduce的使用以及Hive数据仓库等内容精讲
一,zookeeper环境搭建 ZooKeeper致力于为分布式应用提供一个高性能.高可用,且具有严格顺序访问控制能力的分布式协调服务服务器IP 主机名 myid的值 192.168.186.133 ...
【Hadoop离线基础总结】MapReduce增强（上）
MapReduce增强 MapReduce的分区与reduceTask的数量概述 MapReduce当中的分区:物以类聚,人以群分.相同key的数据,去往同一个reduce. ReduceTask的 ...
2021年大数据Hadoop（二十二）：MapReduce的自定义分组
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 MapReduce的自定义分组需求分析实现第一步: ...
第2节 mapreduce深入学习：4, 5
第2节 mapreduce深入学习:4.mapreduce的序列化以及自定义排序序列化(Serialization)是指把结构化对象转化为字节流. 反序列化(Deserialization)是序列化 ...
MapReduce 中文版论文（转载）
之前已经给贴了GFS和BigTable的论文,今天就把Google三大利器之一MapReduce中文版论文也发一下,原文地址,中文版原址,并在这里谢谢译者Alex,这个不是easy job. 摘要 M ...

MapReduce当中的计数器

MapReduce当中的计数器

MapReduce当中的计数器相关推荐

最新文章

热门文章