hadoop -- mapreduce执行过程
1、运行mapreduce程序 ---run
2、本次运行将会生成呢个一个Job , 于是JobClient向JobTracker申请一个JobID 标识该Job.
3、JobClient将Job需要的资源提交到HDFS中以一个JobID命名的目录中,这些资源包括JAR
包,配置文件,inputSplit等
4、JobClient向JobTracker提交这个Job
5、JobTracker初始化这个Job
6、JobTracker从HDFS中获取需要的信息。
7、通过heartbeat获取可用的DataNode,分配TaskTracker
8、各个TaskTracker向HDFS获取需要的资源信息
9、TaskTracker运行该任务
10、向HDFS返回执行的结果。
转载于:https://www.cnblogs.com/plxx/p/4533062.html
hadoop -- mapreduce执行过程相关推荐
- Hadoop MapReduce执行过程(一)
JobClient JobClient是提交job的客户端,当创建一个实例时,构造函数里面要做的事情是: public JobClient(JobConf conf) throws IOExcepti ...
- Hadoop学习之Mapreduce执行过程详解
一.MapReduce执行过程 MapReduce运行时,首先通过Map读取HDFS中的数据,然后经过拆分,将每个文件中的每行数据分拆成键值对,最后输出作为Reduce的输入,大体执行流程如下图所示: ...
- 简述MapReduce执行过程?
简述MapReduce执行过程? Map把一个函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集;Reduce是把两个或更多个Map中通过多个线程.进程或独立系统并行执行处理的结果集进行分类 ...
- MapReduce执行过程
Mapper任务的执行过程: 第一阶段是把输入文件按照一定的标准分片(InputSplit),每个输入片的大小是固定的.默认情况下,输入片(InputSplit)的大小与数据块(Block)的大小是相 ...
- hadoop MapReduce实例解析
1.MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然 ...
- (转载)Hadoop map reduce 过程获取环境变量
来源:http://www.linuxidc.com/Linux/2012-07/66337.htm 作者: lmc_wy Hadoop任务执行过程中,在每一个map节点或者reduce节点能获取 ...
- Hadoop详解(三)——MapReduce原理和执行过程,远程Debug,Writable序列化接口,MapReduce程序编写
MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和Re ...
- Hadoop的mapreduce的执行过程
一.map阶段的执行过程 第一阶段:把输入目录下文件按照一定的标准逐个进行逻辑切片,形成切片规划. 默认Split size = Block size(128M),每一个切片由一个MapT ask处理 ...
- python部署到hadoop上_python实现mapreduce(2)——在hadoop中执行
目的:将python实现mapreduce(1)中的python脚本部署到hadoop上,实现mapreduce. 1. 修改脚本执行权限 [tianyc@TeletekHbase ~]$ which ...
最新文章
- c语言小于n的素数和,关于求N以内素数的一点小问题(N小于一亿)
- linux之权限和chmod、chown命令
- python导入本地文件-Python使用import导入本地脚本及导入模块的技巧总结
- Python串行运算、并行运算、多线程、多进程对比实验
- 【noi 2.6_9284】盒子与小球之二(DP)
- OpenJudge计算概论-找出第k大的数
- Nexus协议,闲鱼一体化开发的幕后玩家
- (转)解读NTFS(一)
- 7-10 A-B (20 分)
- 阿里大文娱:不存在“优酷自制团队转入阿里影业”一说
- Csminify:C#源代码的合并/缩小器
- ajax同步、异步区别及应用
- [转载] 在Python中使用Matplotlib绘制常见图表
- java zoneid_java – ZoneId和LocalDateTime
- ftp服务器文件夹设置,ftp服务器对文件夹设置权限
- 游戏测试面试中问到的问题
- android 电视 竖屏 黑边 -平板,竖视频转换成横视频,要求画面满屏不变形及没有黑边(解决方案)...
- 虚化背景(深度映射篇)
- 【python远程linux、执行命令、读取excel】
- 最高要价 8888元,小米 11 邀请函现身闲鱼;马斯克曾考虑把特斯拉卖给苹果却被拒;我国区块链专利全球居首 | EA周报...