Yarn详细的工作流程

yarn详细工作流程

第一步：客户端向ResourceManager 申请运行程序
第二步：ResourceManager 检查是否有运行权限，如果有就会返回jobid和程序提交的资源路径
第三步：根据ResourceManager返回的信息，然后执行
第四步：客户端提交程序的资源到tmp/hadoop-yarn-staging/job_id目录下（jar程序本身，job.split逻辑切规划文件，job.xml mr配置文件）
第五步：申请程序运行的资源
第六步：RM根据请求结合mn 找出一台机器运行AppM
第七步：RM 返回MN位置给客户端
第八步：客服端到指定的NM上，通过NM启动container,运行MrAppMaster
第九步：MrAppMaster启动成功，向rm进行汇报并且注册自己
第十步：MrAppMaster读取tmp/hadoop-yarn-staging/job_id目录下job.split 数据（申请资源的多少）
第十一步：申请与切片数量相应的container
第十二步：RM根据请求返回X台可以用的容器所在的位置
第十三步：APPM执行NM上启动容器运行maptask,监督程序执行
第十四步：maptask执行结束，APPM向RM汇报，回收资源
第十五步：reduce执行结束，APPM向RM汇报，回收资源
第十六步：所有的task结束后，APPM申请运用结束，注销自己

Yarn详细的工作流程相关推荐

Yarn框架和工作流程研究
一.概述将公司集群升级到Yarn已经有一段时间,自己也对Yarn也研究了一段时间,现在开始记录一下自己在研究Yarn过程中的一些笔记.这篇blog主要主要从大体上说说Yarn的基本架构以及其 ...
Yarn框架和工作流程简介
大数据现在越来越火,各种计算框架不断出现,比如内存计算框架(Spark).流式计算框架(Storm).迭代式计算框架(iMapReduce)等新型计算框架的出现,经典MR计算框架(MRv1)的局限性日 ...
yarn的组成部分_Yarn 的组成及其工作流程
在 Hadoop1 中 MapReduce 框架即负责集群的资源调度,还负责 MapReduce 程序的运行.由于这种架构资源调度和计算高度耦合,导致了一个 Hadoop 集群中只能跑 MapRedu ...
【代码管理】GitHub超详细图文攻略 - Git客户端下载安装 GitHub提交修改源码工作流程 Git分支标签过滤 Git版本工作流
GitHub操作总结 : 总结看不明白就看下面的详细讲解. . 作者 :万境绝尘转载请注明出处 : http://blog.csdn.net/shulianghan/article/details ...
yarn的基本组成和工作流程
yarn的基本组成和工作流程 yarn是负责资源管理的,协调各个应用程序的资源使用情况一.基本组成 yarn主要由以下几个部分组成 1.resourcemanager 主要负责资源的调度和应用程序的 ...
springmvc工作流程_springMVC工作原理及流程详细讲解
简述本文主要介绍springMVC工作原理. 工作原理客户端发送HTTP请求,DispatcherServlet控制器拦截到请求,调用HandlerMapping 解析请求对应的Handler,H ...
详细解读SMT的工作流程
详细解读SMT的工作流程最常见的SMT贴片组装方式可以分为单面组装.单面混装.双面组装以及双面混装.其中,单面组装和双面组装所用的电路基板类型分别为单面PCB和双面PCB,而混装方式则更为复杂一点. ...
详细了解SMT的工作流程
详细了解SMT的工作流程最常见的SMT贴片组装方式可以分为单面组装.单面混装.双面组装以及双面混装.其中,单面组装和双面组装所用的电路基板类型分别为单面PCB和双面PCB,而混装方式则更为复杂一点. ...
2015年工作流程及常见问题，应聘人员请详细了解！
2015年工作流程及常见问题,应聘人员请详细了解! 特别声明:所招聘的岗位不收任何费用!(有任何收费行为请投诉!谢谢配合!) 据统计,每天有1万人上网开店,网店数量已经突破百万大关!一个没有信誉跟 ...

Yarn详细的工作流程

Yarn详细的工作流程相关推荐

最新文章

热门文章