yarn的基本组成和工作流程

yarn的基本组成和工作流程
yarn是负责资源管理的，协调各个应用程序的资源使用情况

一、基本组成

yarn主要由以下几个部分组成

1、resourcemanager

主要负责资源的调度和应用程序的管理

(1)调度器

调度器是将系统中的资源分配给各个正在运行的应用程序。

(2)应用程序管理

负责管理所有applicationmaster

2、nodemanager

定时告诉resourceManger，node节点的资源使用情况；任务的启动与停止

3、applicationmaster

向resourceManager请求资源，监听任务的执行进度

4、container

资源的抽象(包括cpu,内存等信息),当applicationMaster向resourceManager请求资源的时候，就是以Container抽象资源的形式返回，

限制资源的使用情况

二、工作流程

1、client想yarn提交一个应用程序

2、resourceManager为改应用程序分配一个Container，与对应的nodeManager进行通信，要求它在此container中启动appmaster

3、appmaster向rm注册，这样用户可以直接通过rm查看应用程序的运行状态

4、appmaster为各个任务想rm请求资源

5、请求到资源后与nodeManager进行通信，要求启动任务

6、启动任务

7、各个任务向appmaster报告状态和进度

8、appmaster向rm请求注销自己

yarn的基本组成和工作流程相关推荐

Yarn框架和工作流程研究
一.概述将公司集群升级到Yarn已经有一段时间,自己也对Yarn也研究了一段时间,现在开始记录一下自己在研究Yarn过程中的一些笔记.这篇blog主要主要从大体上说说Yarn的基本架构以及其 ...
yarn的组成部分_Yarn 的组成及其工作流程
在 Hadoop1 中 MapReduce 框架即负责集群的资源调度,还负责 MapReduce 程序的运行.由于这种架构资源调度和计算高度耦合,导致了一个 Hadoop 集群中只能跑 MapRedu ...
Yarn框架和工作流程简介
大数据现在越来越火,各种计算框架不断出现,比如内存计算框架(Spark).流式计算框架(Storm).迭代式计算框架(iMapReduce)等新型计算框架的出现,经典MR计算框架(MRv1)的局限性日 ...
Yarn详细的工作流程
yarn详细工作流程第一步:客户端向ResourceManager 申请运行程序第二步:ResourceManager 检查是否有运行权限,如果有就会返回jobid和程序提交的资源路径第三步:根 ...
githooks_使用Githooks改善团队的开发工作流程
githooks by Daniel Deutsch 由Daniel Deutsch 使用Githooks改善团队的开发工作流程 (Improve your team's development wo ...
大数据之-Hadoop3.x_MapReduce工作流程---大数据之hadoop3.x工作笔记0109
1.然后我们再去看MapReduce的详细工作流程,可以看到比如首先我们有个200m的文件ss.txt,然后首先,我们写的客户端程序,首先去获取待处理的数据,然后根据参数配置,形成任务规划,实际上就 ...
什么是MapReduce，MapReduce的工作流程和原理是什么
一.MapReduce的概念 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算.概念"Map(映射)"和"Reduce(归约)",和它 ...
MapReduce概述及工作流程
内容 mapreduce原语(独创) mapreduce工作流程(重点) MR作业提交流程(重点) YARN RM-HA搭建(熟练) 运行自带的wordcount(了解) 动手写wordcount(熟 ...
原来大数据工作流程可以这样理解------生米煮成熟饭！
碎碎念最近一直在思考作为测试工程师,如何以大数据为方向,提升自己的知识储备,适应接下来的市场需求,于是看了很多大数据相关的前辈们的文章,加上自己的理解,竟然觉着大数据工作处理流程,就好像我们在煮饭! ...

yarn的基本组成和工作流程

yarn的基本组成和工作流程相关推荐

最新文章

热门文章