Yarn HA 原理

RMStateStore : 存储在Zookeeper的/rmstore目录
ResourceManager:
- RecourseManager中有ZKFC线程
- 启动的时候会向zk的/rmstore中写look文件，写成功为active，否则为standby。ResourceManager的ZKFC会一直监控lock文件是否存在
- 当ZKFC被选举为active时，会从RMStateStore 中读取相应的作业信息，重新构建作业的内存信息，启动内部服务，开始接受NodeManager的心跳，构建集群的资源信息，并接受客户端的作业请求。
- 当active的ResourceManager挂了，另一个standby RecourseManager通过ZKFC选举为active，从RMStateStore 读取相应的作业信息，重新构建作业的内存信息，启动内部的服务
- active ResourceManager 向RMStateStore中写Application信息
- 接收和监控ApplicationMaster on NodeManager节点的container(作业的主程序)
NodeManager：
- 节点资源的管理
- 启动容器
- 运行task计算
- 上报资源

转载于:https://my.oschina.net/dreamness/blog/3068988

Yarn HA 原理相关推荐

YARN HA实现和原理
YARN将共享存储系统抽象成RMStateStore,以保存恢复ResouceManager所必须的信息,包括: Application状态信息ApplicationState.内部包含应用程 ...
搭建hadoop2.6.0 HA及YARN HA
以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP ...
flink on yarn HA高可用集群搭建
无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManage ...
大数据Canal（四）：Canal HA原理及安装
文章目录 Canal HA原理及安装一.Canal HA原理
Flink on yarn (HA)测试
前面已经介绍了Flink on yarn的相关部署,在yarn当中,启动Flink有两种模式,分别是客户端模式和分离式,下面将介绍Flink on yarn HA是如何在宕机后,重启Flink及k ...
hadoop集群的yarn ha配置,亲测
YARN HA部署 yarn-site.xml文件:<property><name>yarn.nodemana ...
Hadoop的HA原理
一.概述 Hadoop的HA应该分为HDFS 的 HA 和 YARN 的 HA,主要是解决NameNode和ResourceManager的单点故障问题,所以HA就是通过配置 Active/Stand ...
hadoop3节点hdfs ha,yarn ha配置
2019独角兽企业重金招聘Python工程师标准>>> 0 各机器职责进程 node1 node2 node3 NN NameNode 1 1 DN DateNode 1 1 1 ...
vSphere HA 原理与配置
内容预览: 1. vSphere HA 概述 2. vSphere HA 提供的保护级别 3. vSphere HA运行原理 4. vSphere HA 故障支持场景 5. vSphere HA接入控 ...

Yarn HA 原理

Yarn HA 原理相关推荐

最新文章

热门文章