Reducer类——hadoop

1、Reducer类，由Map过程输出的一组键值对【（k2；v2）】将被进行合并处理，将同样主键下的不同value合并到一个列表【v2】中，因此Reduce的输入为（k2；【v2】）。Reducer对传入的中间结果列表数据进行某种整理或进一步的处理，并产生最终的某种形式的结果输出【（k3；v3）】

一个示例 Reducer类的基本定义

public static class IntSumReducer extend Reducer<Text, IntWritable , Text, IntWritable>

抽象类Reducer位于 org.apache.hadoop.mapreduce.Reducer<KEYIN , VALUEIN, KEYOUT, VALUEOUT> 主要方法

protected void cleanup(Context context);
protexted void reduce(KEYIN key, Iterable<VALUEIN> values, Context context);
public void run(Context context);
protected void setup(Context context);

2// reduce()方法

protected void reduce（KEYIN key ,Iterable<VALUEIN> values , Context context）throws IOException,  InterruptedException{}

其中，输入参数key是传入reduce的键值，values是对应键值的value值的列表，context是环境对象参数，供程序访问Hadoop的环境对象

3、setup()和cleanup()方法

Reducer类——hadoop相关推荐

MapReduce框架Mapper和Reducer类源码分析
一:Mapper类在Hadoop的mapper类中,有4个主要的函数,分别是:setup,cleanup,map,run.代码如下: protected void setup(Context con ...
OutputFormat类——Hadoop
转:http://blog.csdn.net/u014470581/article/details/51498325 1.OutputFormat是一个用于描述MapReduce作业的输出格式和规范的 ...
eclipse远程连接hadoop_1个文件，3个类，mapreduce就是这么简单，动手搭建Hadoop（8）...
01 ssh免密安装 02 jdk安装 03 hadoop伪分布式安装 04 hadoop全分布式 05 hadoop高可用 06 用hadoop的sdk进行开发 07 搭建yarn 上次在hdfs上 ...
027_编写MapReduce的模板类Mapper、Reducer和Driver
模板类编写好后写MapReduce程序,的模板类编写好以后只需要改参数就行了,代码如下: 1 package org.dragon.hadoop.mr.module; 2 3 import java. ...
2021年大数据Hadoop（二十二）：MapReduce的自定义分组
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 MapReduce的自定义分组需求分析实现第一步: ...
初学Hadoop之图解MapReduce与WordCount示例分析
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(GFS) ...
[ZZ]Map/Reduce hadoop 细节
转自:Venus神庙原文:http://www.cnblogs.com/duguguiyu/archive/2009/02/28/1400278.html 分布式计算(Map/Reduce) 分布式计 ...
Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别
Pig 一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了.当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护.不过现在还是有些公司在用,不过我 ...
Hadoop 4、Hadoop MapReduce的工作原理
一.MapReduce的概念 MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框就是mapreduce,两者缺一不可,也就是 ...
Hadoop Intellij IDEA 建demo
Hadoop Intellij IDEA本地开发环境搭建原文:http://blog.csdn.net/u010171031/article/details/53024516 首先我们需要新建一个j ...

Reducer类——hadoop

Reducer类——hadoop相关推荐

最新文章

热门文章