Hadoop HA架构图

文章目录

一 HDFS HA架构图
- 1.1相关的缩写描述：
- 1.2 架构说明
- 1.3 NN active
- 1.4 NN standby
- 1.5 JN
- 1.6 zkfc
二 Yarn Ha架构图
- 2.1 ResourceManager(RM)
- 2.2 NodeManager(NM)
- 2.3 ApplictionMaster(AM)
- 2.4 RMstatestore
- 2.5 zkfc
三总结hdfs yarn ha架构区别
- 3.1 zkfc
- 3.2 从节点
- 3.3 共享数据

一 HDFS HA架构图

架构图如下：

1.1相关的缩写描述：

HA: High Availabilty 高可用的意思
zk: ZooKeeper 分布式应用程序服务的组件
NN: NameNode 管理文件系统的元数据信息
DN: DataNode 存储数据的
JN: JournalNode 主要用于NN的数据共享
zkfc: ZooKeeperFailoverControl 监控和管理NN的状态

1.2 架构说明

HA使用active NN和standby NN两个节点解决单点问题，两个NN节点通过JN集群共享状态，通过ZKFC选举active，监控NN的状态，实现自动备源，DN会同时向两个NN节点发送心跳

1.3 NN active

1.接受Client的rpc请求并处理，自己写一份editlog，同时向JN集群发送一份editlog
2.同时接受DN的块报告block report, 块位置更新block location updates和心跳heartbeat

1.4 NN standby

NN standby是NN active的一个热备，一旦切换active状态，可以及时对外提供服务
1.同样的会接受JN上面的editlog，并执行更新，与NN active的元数据保持同样的状态
2.同时接受DN的块报告block report, 块位置更新block location updates和心跳heartbeat

1.5 JN

用于同步active nn和standby nn之间的数据，本身由一组jn节点组成的集群，一般是奇数，保证高可用

1.6 zkfc

主要用来监控nn节点的健康状态
zkfc会向zk集群发送心跳，让自己被选举，如果自己被选举主时，会通过rpc调用nn，让nn变成active状态

二 Yarn Ha架构图

2.1 ResourceManager(RM)

a. 启动的时候RM会向zookeeper的目录/hadoop-ha写一个lock文件，如果成功则为active，否则为standby，standby RM会一直监控lock文件是否存在，如果不存在，则尝试创建lock文件，争取成为active RM
b. 会接受客户端的任务请求，接受和监控nm的资源报告，负责资源的分配和调用，并启动和监控ApplicationMaster(AM)

2.2 NodeManager(NM)

a. 负责节点上资源的管理，启动container容器，task任务计算，上报资源给RM
b. container情况汇报给RM
c. task任务处理的情况汇报给ApplicationMaster(AM)

2.3 ApplictionMaster(AM)

a. 负责每个appliction(job)的task管理和调度，并向rm发送资源申请，资源申请到之后，向nm发动launch container指令，接口task的处理状态信息

2.4 RMstatestore

a. RM的作业信息存储在/rmstore下，active RM会向这个目录写一些app信息
b. 当active RM挂掉之后，standby RM转换为active RM之后，会从/rmstore目录下读取相应的作业信息，重新构建内存的作业信息，然后启动内部服务，开始接受NM的心跳，构建集群资源信息，并接受客户端的提交作业等

2.5 zkfc

自动故障转移，作为RM进程的一个线程，并非独立的守护进程

三总结hdfs yarn ha架构区别

3.1 zkfc

hdfs ha中的zkfc是进程级别
yarn ha中的zkfc是RM进程里的线程

3.2 从节点

hdfs ha中的datanode会向两个namenode发送心跳
yarn ha中的nodemanager只会向active rm上报资源

3.3 共享数据

hdfs ha中是通过三个集群节点jn进行共享数据
yarn ha中的共享数据是存储在zookeeper上的