MapReduce on Yarn 的流程和架构图

Yarn:

job app application 都指的是作业

ResourceManager 资源作业管理者
Applications Manager 所有的作业管理
Resource Scheduler 资源调度

NodeManager 节点者

MapReduce on Yarn 的流程

**1.**用户向yarn提交应用程序(job)，
其中包括applicationMaster程序、
启动applicationMaster命令等

2.RM为该job分配第一个容器，
并与对应的NM通信，要求它在
这个容器中去启动job的MR applicationMaster程序。

3.applicationMaster首先向Applications Manager注册，
用户就可以直接在web界面查看job的整个运行状态
和日志。

4.applicationMaster向Resource Scheduler ，向申请资源，拿到资源调度器
采用轮询的方式通过RPC协议去申请和领取资源列表

5.一旦applicationMaster申请到资源的后，便于对应的NM节点通信，要求启动任务。

**6.**NM为任务task设置好运行环境(环境变量、jar包等)，将任务的启动命令写在一个脚本文件中，
并通过这个脚本【启动任务】；

**7.**各个task通过rpc向applicationMaster汇报自己的状态和进度。
以让applicationMaster随时掌握各个任务的运行状态，从而可以在任务运行时重新启动任务。
则web界面可以实时查看job的当前的运行状态。

**8.**job运行完成后，applicationMaster向RM注销并关闭自己。

2个阶段:
2.1 启动applicationMaster
2.2 由applicationMaster创建job，为它上去
资源，并监控它的整个运行过程，直到运行完成。

架构图：

MapReduce on Yarn 的流程和架构图相关推荐

浅显易懂入门大数据系列：二、MapReduce、YARN（超详细）
文章目录一.MapReduce概念及架构 MapReduce的定义 MapReduce的特点 MapReduce的架构二.YARN的背景及架构产生YARN的背景 YARN的架构三.YARN的调 ...
keepalived mysql双主架构图_MySQL数据库架构和同步复制流程
在分布式系统里面,往往制约整个系统发展的瓶颈点就是数据库,所以数据库的架构和高可用以及数据库的切分都是我们值得花大力气去学习的. 首先我们来说说数据库的架构. 1.mysql主从架构,如图: 这种架构 ...
YARN应用程序开发流程（类似于MapReduce On Yarn）本内容版权归（小象学院所有）...
MapReduce On Yarn和MapReduce程序区别 MapReduce On Yarn(由专业人员开发)1 为MapReduce作业运行在YARN上提供一个通用的运行时环境2 需要与Yar ...
一幅长文细学华为MRS大数据开发（五）——MapReduce和Yarn
5 MapReduce和Yarn 摘要:本文中主要讲述大数据领域中最著名的批处理和离线处理计算框架--MapReduce,包括MapReduce的原理.流程.使用场景,以及Hadoop集群中负责统一的 ...
2021年大数据Hadoop（二十七）：YARN运行流程
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn运行流程本系列历史文章 2021年大数据Hado ...
程序员必备技能：如何画好架构图？
目录先厘清一些基础概念 1.什么是架构 2.什么是架构图 3.架构图的作用 4.架构图分类怎样的架构图是好的架构图画架构图遇到的常见问题 1.方框代表什么? 2.虚线.实线什么意思?箭头什么意思 ...
如何画出优秀的架构图？
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章作者 | 三画来源 | 公众号「阿里巴巴云原生」导读:技术传播 ...
阿里巴巴的技术专家，是如何画好架构图的？
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料来源:阿里巴巴中间件技术传播的价值,不仅仅体现在通过商业化产品和 ...
架构师必备技能：教你画出一张合格的技术架构图
当我们想用一张或几张图来描述我们的系统时,是不是经常遇到以下情况: 对着画布无从下手.删了又来? 如何用一张图描述我的系统,并且让产品.运营.开发都能看明白? 画了一半的图还不清楚受众是谁? 画出来的 ...

MapReduce on Yarn 的流程和架构图

Yarn:

MapReduce on Yarn 的流程

架构图：

MapReduce on Yarn 的流程和架构图相关推荐

最新文章

热门文章