MapReduce之输入输出类型

使用Combiner遇到错误

找到原因：Mapper与Combiner的输出均要与Reducer对应

转载：http://blog.csdn.net/lucktroy/article/details/7957120

http://www.cnblogs.com/mdyang/archive/2011/07/12/data-intensive-text-prcessing-with-mapreduce-ch3_1.html

话说用hadoop MapReduce编程有一阵子了，但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。

我本以为Combiner的输入与Mapper的输出一致，Combiner的输出与Reducer的输入一致就可以了，就像图1：

图1 假想

我的程序Mapper输出是<Text, DoubleWritable>; Combiner的输入输出分别是<Text, DoubleWritable>, <Text, Text>; 然后Reducer的输入是<Text, Text>.

我本想逻辑上都没问题，但事与愿违，老出错.

在hadoop中，默认的job.setOutputkeyClass(*.class), job.setOutputValueClass(*.class)是针对Mapper与Reducer的，这里因为两者不同，我试着用job.setMapOutputKeyClass(*.class)与job.setMapOutputValueClass(*.class)区分. 但依然有错误.

在几经周折后，在看完一篇博文“《Data-intensive Text Processing with MapReduce》读书笔记第3章：MapReduce算法设计(1)”后，发现原来Mapper与Combiner的输出均要与Reducer对应（见图2），于是改了过来，终于通过，因为没有看过hadoop源码，所以也不知道它底层具体是如何实现的.

图2 实际

MapReduce之输入输出类型相关推荐

大数据课程基础与商城,共享单车,互联网广告实战视频
├─01-JavaSE基础-15天 │ ├─javaSE-day01 │ │ 01.什么是计算机软件--计算机能看懂的描述特定功能的剧本.mp4 │ │ 02.什么数据软件开 ...
ai 音乐创作算法_我尝试使用AI复制我的创作过程，这很奇怪
ai 音乐创作算法 The speculative-fiction writer Philip K. Dick used amphetamines and other stimulants to t ...
编写代码的软件用什么编写的_团队编写代码
编写代码的软件用什么编写的 Software is rarely written in a silo. Whether you're building the next social media ap ...
黑苹果英特尔网卡_英特尔如何失明和失去苹果业务
黑苹果英特尔网卡重点 (Top highlight) After 14 years of collaboration, Apple announced last month that it will ...
自动驾驶 l5 ai_强AI和弱AI的真实故事以及适用于自动驾驶汽车的信息
自动驾驶 l5 ai Dr. Lance Eliot, AI Insider AI Insider博士Lance Eliot博士 [Ed. Note: For reader's interested ...
Hadoop：The Definitive Guid 总结 Chapter 7 MapReduce的类型与格式
MapReduce数据处理模型非常简单:map和reduce函数的输入和输出是键/值对(key/value pair) 1.MapReduce的类型 Hadoop的MapReduce一般遵循如下常规格 ...
MapReduce输入输出的处理流程及combiner
MapReduce 的输入输出 MapReduce 框架运转在<key,value> 键值对上,也就是说,框架把作业的输入看成是一组<key,value>键值对,同样也产生一组 ...
mapreduce 丢数据_大数据之MapReduce详解
1.什么是Map/Reduce,看下面的各种解释: (1)MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapre ...
Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型 ,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...

MapReduce之输入输出类型

MapReduce之输入输出类型相关推荐

最新文章

热门文章