Hadoop中Context类的作用和Mapper<LongWritable, Text, Text, LongWritable>.Context context是怎么回事【笔记自用】
问题导读:
1.Context能干什么?
2.你对Context类了解多少?
3.Context在mapreduce中的作用是什么?
下面我们通过来源码,来得到Context的作用:
下面主要对Setup函数进行深入探讨:首先看下两个程序的区别:
区别在于第一个程序把 context这个上下文对象作为map函数的参数传到map函数中,第二个程序则是在setup函数中处理了 context对象,从这个角度讲,在Map类的实例中是可以拿到Context这个上下文对象的,这一点是毋庸置疑的,不管是在类内部的哪个函数中使用都可以,既然是这样,那么讨论的重点就是map这个类中方法的声明及执行了,所以分析下Mapper类的源代码:
在mapper类中,只对这个方法进行了声明,也就是说它的子类可以重新实现这个方法,这一点很容易理解的。
下面从源码级分析下整个mapper类的结构和hadoop在设计这个类时的巧妙之处:
Map的主要任务就是把输入的key value转换为指定的中间结果(其实也是key value),这个类主要包括了四个函数:
Setup一般是在执行map函数前做一些准备工作,map是主要的数据处理函数,cleanup则是在map执行完成后做一些清理工作和finally字句的作用很像,下面看一下run方法:
这个方法调用了上面的三个函数,组成了setup-map-cleanup这样的执行序列,这一点和设计模式中的模版模式很类似,当然在这里我们也可以改写它的源码,比如可以在map的时候增加多线程,这样可以对map任务做进一步的优化,从以上的分析可以很清楚的知道setup函数的作用了。
下面为run方法:
/*** Expert users can override this method for more complete control over the* execution of the Mapper.* @param context* @throws IOException*/public void run(Context context) throws IOException, InterruptedException {setup(context);try {while (context.nextKeyValue()) {map(context.getCurrentKey(), context.getCurrentValue(), context);}} finally {cleanup(context);}}
从上面run方法可以看出,K/V对是从传入的Context获取的。我们也可以从下面的map方法看出,输出结果K/V对也是通过Context来完成的。
那么上文中提到的Context对象是怎么回事呢?
原来它是mapper的一个内部类,简单的说顶级接口是为了在map或是reduce任务中跟踪task的状态,很自然的MapContext就是记录了map执行的上下文,在mapper类中,这个context可以存储一些job conf的信息,比如习题一中的运行时参数等,我们可以在map函数中处理这个信息,这也是hadoop中参数传递中一个很经典的例子,同时context作为了map和reduce执行中各个函数的一个桥梁,这个设计和java
web中的session对象、application对象很相似。
Hadoop中Context类的作用和Mapper<LongWritable, Text, Text, LongWritable>.Context context是怎么回事【笔记自用】相关推荐
- .class与.java_Java中Class类的作用与深入理解
Java中Class类的作用与深入理解 在程序运行期间,Java运行时系统始终为所有的对象维护一个被称为运行时的类型标识.这个信息跟踪着每个对象所属的类.JVM利用运行时信息选择相应的方法执行.而保存 ...
- Hadoop中Context类的作用
问题导读: 1.Context能干什么? 2.你对Context类了解多少? 3.Context在mapreduce中的作用是什么? 下面我们通过来源码,来得到Context的作用: 下面主要对Set ...
- hadoop开发必读:认识Context类的作用
问题导读: 1.Context能干什么? 2.你对Context类了解多少? 3.Context在mapreduce中的作用是什么? 本文实在能够阅读源码的基础上一个继续,如果你还不能阅读源码,请参考 ...
- Hadoop中Writable类
1.Writable简单介绍 在前面的博客中,经常出现IntWritable,ByteWritable.....光从字面上,就可以看出,给人的感觉是基本数据类型 和 序列化!在Hadoop中自带的or ...
- 《小白兔到大黑牛》第十四篇Hadoop中五个进程作用
问题导读: 1.job的本质是什么? 2.任务的本质是什么? 3.文件系统的Namespace由谁来管理,Namespace的作用是什么? 4.Namespace 镜像文件(Namespace ima ...
- java中math类的作用_Java开发知识之Java的数字处理类Math类
Java开发知识之Java的数字处理类Math类 一丶Java.text.DecimalFormat类与NumberFormat类 首先 Java.text.DecimalFormat指的是Decim ...
- java中PageInfo类的作用及用法
作用 在我们使用SpringBoot查询数据时,可能会返回多个结果,而前端页面需要分页展示数据,PageInfo这个类帮助我们对数据进行分页,我们只需要传我们需要的页数和总条数即可 用法 首先我们要在 ...
- java中static类的作用是什么意思_java中static关键字是什么意思
java中static关键字是什么意思 发布时间:2020-11-11 11:01:11 来源:亿速云 阅读:86 作者:小新 这篇文章给大家分享的是有关java中static关键字是什么意思的内容. ...
- java中dateformat类的作用_java-SimpleDateFormat类中可用的日期格式是什么?
让我抛出一些示例代码,这些代码是从[http://www3.ntu.edu.sg/home/ehchua/programming/java/DateTimeCalendar.html]中获得的.然后, ...
最新文章
- SQL Server 创建约束图解 唯一 主键
- 牛客题霸 NC21 链表内指定区间反转
- 1702: [Usaco2007 Mar]Gold Balanced Lineup 平衡的队列
- .NET Core 1.0发布:微软开源跨平台大布局序幕
- 7-21 求特殊方程的正整数解 (15 分)
- openlayers之obj.js提供的功能函数
- 手动编译cloudfoundry
- CCF202006-4 1246【矩阵快速幂】(100分题解链接)
- 369Cloud控制台、IDE、组件、引擎升级全面解析
- java图片滑动_java图片滑动验证(登录验证)原理与实现方法详解
- 私活之安卓论坛Demo
- 下载丨66页PDF,云和恩墨技术通讯(2022年7月刊)
- NO PANIC!2019: A Blockchain Odyssey 上海启航
- ensp报错AR40,无法修改IP地址解决办法。
- 使用Aspose.Words设置word文档多倍行距
- 【转】objective-c基本数据类型之输出格式符
- html插入视频开始前图片,视频前面加图片|录制的视频前加一个图片介绍怎么弄...
- safari文件下载后缀加.exe
- Redis学习(八)哨兵机制
- 如何使用隐写术保护你的机密文件