hadoop中setup,cleanup,run和context讲解

hadoop 执行中的setup run cleanup context的作用
1.简介
1) setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！
2) Mapper或Reducer运行
3) cleanup(),此方法被MapReduce框架仅且执行一次，在执行完毕Map任务后，进行相关变量或资源的释放工作。若是将释放资源工作放入方法map()中，也会导致Mapper任务在解析、处理每一行文本后释放资源，而且在下一行文本解析前还要重复初始化，导致反复重复，程序运行效率不高！
4) run 程序启动运行
5) Context 是MapReduce任务运行的一个上下文，包含了整个任务的全部信息
context作为了map和reduce执行中各个函数的一个桥梁，这个设计和java web中的session对象、application对象很相似
注：建议资源初始化及释放工作，分别放入方法setup()和cleanup()中进行
2.执行顺序
setup---->Mapper或Reducer----->cleanup
| |
run
解：Setup一般是在执行map函数前做一些准备工作，map是主要的数据处理函数，
cleanup则是在map执行完成后做一些清理工作和finally字句的作用很像，
下面看一下run方法

public void run(Context context) throws IOException, InterruptedException {setup(context);while(context.nextKeyValue()) {map(context.getCurrentKey(),context.getCurrentValue(),context);}cleanup(context);}
}

转自：https://www.cnblogs.com/yyy-blog/p/5639218.html

hadoop中setup,cleanup,run和context讲解相关推荐

Hadoop中Context类的作用和Mapper＜LongWritable, Text, Text, LongWritable＞.Context context是怎么回事【笔记自用】
问题导读: 1.Context能干什么? 2.你对Context类了解多少? 3.Context在mapreduce中的作用是什么? 下面我们通过来源码,来得到Context的作用: 下面主要对Set ...
Hadoop中Context类的作用
问题导读: 1.Context能干什么? 2.你对Context类了解多少? 3.Context在mapreduce中的作用是什么? 下面我们通过来源码,来得到Context的作用: 下面主要对Set ...
Hadoop中的MapReduce框架原理、数据清洗（ETL）、MapReduce开发总结、常见错误及解决方案
文章目录 13.MapReduce框架原理 13.7 数据清洗(ETL) 13.7.1 需求 13.7.1.1 输入数据 13.7.1.2 期望输出数据 13.7.2 需求分析 13.7.3实现代码 ...
Hadoop中RPC协议小例子报错java.lang.reflect.UndeclaredThrowableException解决方法
最近在学习传智播客吴超老师的Hadoop视频,里面他在讲解RPC通信原理的过程中给了一个RPC的小例子,但是自己编写的过程中遇到一个小错误,整理如下: log4j:WARN No appenders ...
一脸懵逼学习Hadoop中的序列化机制——流量求和统计MapReduce的程序开发案例——流量求和统计排序...
一:序列化概念序列化(Serialization)是指把结构化对象转化为字节流. 反序列化(Deserialization)是序列化的逆过程.即把字节流转回结构化对象. Java序列化(java.i ...
Hadoop中关于MapReduce的编程实例（过滤系统日志）
框架 Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理).YARN(作业调度)和HDFS(分布式文件系统); 一.下载Hadoop相关文件 1.在Hadoop官网上下 ...
在hadoop中传递变量
在hadoop中传递变量 @(HADOOP)[hadoop] 在主类中定义的变量,如定义了一个outputname,需要将其写入conf分发至其它nodemanager: Configuration ...
考究Hadoop中split的计算方法
Hadoop中block块大小和split切片大小会影响到MapReduce程序在运行过程中的效率.map的个数.在本文中,以经典入门案例WordCount为例,通过debug的方式跟踪源代码,来分析 ...
Hadoop中RPC机制详解之Server端
2019独角兽企业重金招聘Python工程师标准>>> Hadoop 中 RPC 机制详解之 Client 端 1. Server.Listener RPC Client 端的 RP ...

hadoop中setup,cleanup,run和context讲解

hadoop中setup,cleanup,run和context讲解相关推荐

最新文章

热门文章