Hadoop的Mapreduce中Mapper的key和Map的key的区别

问题：我们知道Mapreduce 是以键值对的方式进行输入输出的，分为Mapper <k,v,k,v>和Reduce<k,v,k,v> ，

那么这里的<Key，Value>和JAVA的import java.util.HashMap的Map集合<Key，Value>是不是一个概念呢？

我们知道JAVA的Map键值对的key是不可以重复的，而Mapredue的key是不可避免会重复，所以要区分两者。。

经老师指点：

Map集合中key不是不能重复的吗---------这个Map指的是JAVA里面的import java.util.HashMap这个Map，这里是数据结构，key相同的话，value会覆盖。

那么Mapper的特性是否也是这样---------这里的Mapper是import org.apache.hadoop.mapreduce.Mapper; 这里指的是mapreduce框架里面的map阶段。context.write(word, one)表示那个key累加一次。key是可以重复的。不然wordcount，也统计不出次数了。

这两个完全不是一回事。

Hadoop的Mapreduce中Mapper的key和Map的key的区别相关推荐

Hadoop在MapReduce中使用压缩详解
Hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,Hadoop能够自动为我们将压缩的文件解压,而不用我们去关心. AD:51CTO学院:IT精品课程在线看! Hadoo ...
MapReduce中源码分析（map端的过程）
MapReduce阶段,map中key面向文章的偏移量=上一行面向文章的偏移量+本行相对于上一行的偏移量+本单词相对于本行的偏移量. 这个key为本单词相对于文章的偏移量这个是MapReduce中m ...
java map byte[],java中byte数组不能作为map的key使用
今天在使用java写代码的时候,用byte数组作为map的key来使用,发现在遍历的时候get到之前传进去的值总是为空,很是困惑,后来查了下资料发现java中的字节数组不能直接作为map的key来使用 ...
Java中List，Set和Map详解及其区别和使用场景（转）
Java中的集合包括三大类,它们是Set(集).List(列表)和Map(映射),它们都处于java.util包中,Set.List和Map都是接口,它们有各自的实现类.Set的实现类主要有HashS ...
java mapreduce示例,hadoop入门-MapReduce实例（一）
本机开发mapreduce,然后打包上传到hadoop服务器一.入门wordcount 1.新建maven项目,pom.xml内容: xmlns:xsi="http://www.w3.or ...
new Map()详细介绍 map .set(key,value)map.sizemap.get(key)map.has(key)map.delete(key)map.clear()
1.let map = new Map(); 2.let map = new Map([[key,value],[key,value]]); //默认带初始化参数的定义理解就是:new Ma ...
Hadoop大数据——mapreduce中的Combiner/序列化/排序初步
mapreduce中的Combiner (1)combiner是MR程序中Mapper和Reducer之外的一种组件 (2)combiner组件的父类就是Reducer (3)Combiner和red ...
Hadoop学习笔记—11.MapReduce中的排序和分组
Hadoop学习笔记-11.MapReduce中的排序和分组一.写在之前的 1.1 回顾Map阶段四大步骤首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行: 从上图中可以清楚地看出 ...
MapReduce 示例：减少 Hadoop MapReduce 中的侧连接
摘要:在排序和reducer 阶段,reduce 侧连接过程会产生巨大的网络I/O 流量,在这个阶段,相同键的值被聚集在一起. 本文分享自华为云社区<MapReduce 示例:减少 Hadoop ...

Hadoop的Mapreduce中Mapper的key和Map的key的区别

Hadoop的Mapreduce中Mapper的key和Map的key的区别

Hadoop的Mapreduce中Mapper的key和Map的key的区别相关推荐

最新文章

热门文章