YARN 作业执行流程

YARN 作业执行流程：
1、用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令，用户程序等。
2、ResourceManager 为该程序分配第一个 Container，并与对应的 NodeManager 通讯，要求它在这个 Container 中启动应用程序 MRAppMaster。
3、MRAppMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManager查看应用程序的运行状态，然后将为各个任务申请资源，并监控它的运行状态，直到运行结束，重复 4 到 7 的步骤。
4、MRAppMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。
5、一旦 MRAppMaster 申请到资源后，便与对应的 NodeManager 通讯，要求它启动任务。
6、NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
7、各个任务通过某个 RPC 协议向 MRAppMaster 汇报自己的状态和进度，以让 MRAppMaster随时掌握各个任务的运行状态，从而可以在任务败的时候重新启动任务。
8、应用程序运行完成后，MRAppMaster 向 ResourceManager 注销并关闭自己。

YARN 作业执行流程相关推荐

Spark架构与作业执行流程简介
2019独角兽企业重金招聘Python工程师标准>>> Spark架构与作业执行流程简介博客分类: spark Local模式运行Spark最简单的方法是通过Local模式(即伪 ...
【大数据开发】SparkCore——Spark作业执行流程、RDD编程的两种方式、简单算子
文章目录一.Spark作业执行流程(重点) 二.RDD编程 2.1创建RDD的⼆种⽅式: 2.2Transformation算⼦ 2.3Action算子三.简单算子(必须掌握) 3.1 map.m ...
YARN作业提交流程剖析
YARN(MapReduce2) Yet Another Resource Negotiator / YARN Application Resource Negotiator 对于节点数超出4000的 ...
追源索骥：透过源码看懂Flink核心框架的执行流程
https://www.cnblogs.com/bethunebtj/p/9168274.html 追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 Hello,World WordC ...
Flink运行时架构及各部署模式下作业提交流程
1.运行时架构 1.1 核心组件 1.1.1 JobManager 作业管理器,对于一个提交执行的作业,JobManager 是真正意义上的"管理者"(Master),负责管理调度 ...
MapReduce的执行流程
1.mapreduce原理 1.1.序列化和反序列化 (1)序列化:将内存的对象转换成字节序列,便于存储 (2)反序列化:将收到的字节序列或硬盘的持久化数据,转换成内存. 1.2.inputforma ...
追源索骥：透过源码看懂Flink核心框架的执行流程--来自GitHub
追源索骥:透过源码看懂Flink核心框架的执行流程联系qq2499496272可进行删除,需要文件版本的私聊!!~ 文章目录追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 ~~H ...
YARN 作业 Staging目录的用途及配置
目录 staging目录的用途 MapReduce作业Staging的配置示例 Spark 作业Staging目录的配置示例 staging目录的用途关于staging目录可能很多人都不太会关注 ...
hadoop2 作业执行过程之作业提交
hadoop2.2.0.centos6.5 hadoop任务的提交常用的两种,一种是测试常用的IDE远程提交,另一种就是生产上用的客户端命令行提交通用的任务程序提交步骤为: 1.将程序打成jar包: ...
Spark源码阅读02-Spark核心原理之作业执行原理
概述 Spark的作业调度主要是指基于RDD的一系列操作构成的一个作业,在Executor中执行的过程.其中,在Spark作业调度中最主要的是DAGScheduler和TaskScheduler两个调 ...

YARN 作业执行流程

YARN 作业执行流程

YARN 作业执行流程相关推荐

最新文章

热门文章