分布式资源管理框架YARN的运行流程

YARN的运行流程

client 端向 ResourceManager 提交一个任务 jar包
ResourceManager 通过心跳机制连接获取NodeManager 资源的使用情况
ResourceManager 选定NodeManager 来分配资源容器 container （CPU,内存）主要是为了启动ApplicationMaster
运行 ApplicationMaster ：启动ApplicationMaster , ApplicationMaster 会向ResourceManager 注册，client端与Resource进行连接，找到ApplicationMaster，client直接可以和ApplicationMaster 通讯，ApplicationMaster 里面能够管理所有的MapReduce的应用程序，client端能够进行实时监控各个MapReduce程序的运行状态进度
ApplicationMaster 向ResourceManager注册，进行请求分配资源，MapReduce1的所有资源，ResourceManager 找到NodeManager 分配container 列表指向NodeManager 所在的节点
ApplicationMaster ---->各个节点 container —> 各个节点 NodeManager 启动container 容器，n多个MapReduce相应启动
ApplicationMaster可以监听和管理在容器中的MapReduce应用程序
container 被回收 NodeManager

YARN 工作流程
当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序
第一个阶段是启动ApplicationMaster；
第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成
在整个工作流程当中，ResourceManager和NodeManager都是通过心跳保持联系的，NodeManager会通过心跳信息向ResourceManager汇报自己所在节点的资源使用情况。

分布式资源管理框架YARN的运行流程相关推荐

Hadoop——分布式资源管理框架YARN总结
分布式资源管理框架YARN 1. YARN概述 YARN是"Yet Another Resource Negotiator"的简称. 在进一步了解 YARN 框架之前我们需 ...
Hadoop 2.0 中的资源管理框架 - YARN(Yet Another Resource Negotiator)
1. Hadoop 2.0 中的资源管理 http://dongxicheng.org/mapreduce-nextgen/hadoop-1-and-2-resource-manage/ Hadoop ...
大数据之-Hadoop伪分布式_启动YARN并运行MR程序---大数据之hadoop工作笔记0026
之前我们运行hadoop提供的案例是用hdfs运行的. 现在我们来配置一下yarn,我们用yarn,这个资源管理器来运行hadoop的mr程序. 首先我们要知道yarn包含两个主要的部分,当然还有其他 ...
2021年大数据Hadoop（二十七）：YARN运行流程
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn运行流程本系列历史文章 2021年大数据Hado ...
Spark 在YARN上运行
在YARN上运行Spark 安全在YARN上启动Spark 添加其他JAR 准备工作组态调试您的应用程序 Spark特性重要笔记的Kerberos YARN特定的Kerberos配置 Ker ...
Yarn 源码 | 分布式资源调度引擎 Yarn 内核源码剖析
曾有人调侃:HBase 没有资源什么事情也做不了,Spark 占用了资源却没有事情可做? 那 YARN了解一下? 01 YARN! 伴随着Hadoop生态的发展,不断涌现了多种多样的技术组件 Hive ...
跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！
背景用 Python 做过爬虫的小伙伴可能接触过 Scrapy,GitHub:https://github.com/scrapy/scrapy.Scrapy 的确是一个非常强大的爬虫框架,爬取效率高 ...
YARN作业提交流程剖析
YARN(MapReduce2) Yet Another Resource Negotiator / YARN Application Resource Negotiator 对于节点数超出4000的 ...
java spark yarn_《Spark官方文档》在YARN上运行Spark
原文链接 Spark在 0.6.0版本后支持在YARN(hadoop NextGen)上运行,并且在后续版本中不断改进. 在YARN上启动Spark 首先,确认 HADOOP_CONF_DIR或YAR ...

分布式资源管理框架YARN的运行流程

分布式资源管理框架YARN的运行流程相关推荐

最新文章

热门文章