ResourceManager(RM)负责追踪集群的资源和调度应用作业(比如Mapreduce作业)。在Hadoop 2.4之前,ResourceManager是YARN集群的单点。高可用特性就是用来解决单点问题的,通过加入一个Active/Standby的ResourceManager对来解决。
架构图
Setting Up YARN High Availability
环境如下:
Setting Up YARN High Availability
1、编辑yarn-site.xml
加入如下内容:

yarn.resourcemanager.ha.enabled=true
yarn.resourcemanager.cluster-id=cluster1
yarn.resourcemanager.ha.rm-ids=rm1,rm2
yarn.resourcemanager.hostname.rm1=hdp01
yarn.resourcemanager.hostname.rm2=hdp04
yarn.resourcemanager.zk-address=hdp01:2181,hdp02:2181,hdp03:2181,hdp04:2181
yarn.resourcemanager.ha.automatic-failover.enabled=true
yarn.resourcemanager.ha.automatic-failover.embedded=true
yarn.resourcemanager.ha.automatic-failover.zk-base-path=/yarn-leader-election
yarn.resourcemanager.recovery.enabled=true
yarn.resourcemanager.address.rm1=hdp01:8032
yarn.resourcemanager.address.rm2=hdp04:8032
yarn.resourcemanager.scheduler.address.rm1=hdp01:8030
yarn.resourcemanager.scheduler.address.rm2=hdp04:8030
yarn.resourcemanager.resource-tracker.address.rm1=hdp01:8031
yarn.resourcemanager.resource-tracker.address.rm2=hdp04:8031
yarn.resourcemanager.admin.address.rm1=hdp01:8033
yarn.resourcemanager.admin.address.rm2=hdp04:8033
yarn.resourcemanager.webapp.address.rm1=hdp01:8088
yarn.resourcemanager.webapp.address.rm2=hdp04:8088

2、同步yarn-site.xml☞其他节点

[hadoop@hdp01 hadoop]$ for i in {2..4};do scp yarn-site.xml hdp0$i:/u01/hadoop/etc/hadoop;done

3、启动resourcemanager服务

[hadoop@hdp01 hadoop]$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /u01/hadoop/logs/yarn-hadoop-resourcemanager-hdp01.out
hdp03.thinkjoy.tt: starting nodemanager, logging to /u01/hadoop/logs/yarn-hadoop-nodemanager-hdp03.out
hdp02.thinkjoy.tt: starting nodemanager, logging to /u01/hadoop/logs/yarn-hadoop-nodemanager-hdp02.out
hdp04.thinkjoy.tt: starting nodemanager, logging to /u01/hadoop/logs/yarn-hadoop-nodemanager-hdp04.out
[hadoop@hdp01 hadoop]$ jps
4592 RunJar
1136 ResourceManager
2690 NameNode
1827 QuorumPeerMain
4087 HMaster
5031 SqoopJettyServer
3528 JobHistoryServer
3001 SecondaryNameNode
1433 Jps
4686 RunJar

4、Standby节点启动服务

[hadoop@hdp04 ~]$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /u01/hadoop/logs/yarn-hadoop-resourcemanager-hdp04.out
[hadoop@hdp04 ~]$ jps
2066 DataNode
1592 QuorumPeerMain
2971 RunJar
2604 HRegionServer
17437 ResourceManager
3071 RunJar
17487 Jps

5、Zookeeper验证

[zk: localhost:2181(CONNECTED) 4] ls /
[hivesrv2, zookeeper, yarn-leader-election, oozie, hive_zookeeper_namespace, services, hbase]
[zk: localhost:2181(CONNECTED) 5] ls /yarn-leader-election
[cluster1]
[zk: localhost:2181(CONNECTED) 6] ls /yarn-leader-election/cluster1
[ActiveBreadCrumb, ActiveStandbyElectorLock]
[zk: localhost:2181(CONNECTED) 7] 

Setting Up YARN High Availability
Setting Up YARN High Availability
6、命令行验证

[hadoop@hdp01 hadoop]$ yarn rmadmin -getServiceState rm1
active
[hadoop@hdp01 hadoop]$ yarn rmadmin -getServiceState rm2
standby

参考文献:
1、ResourceManager High Availability

转载于:https://blog.51cto.com/candon123/2053248

Setting Up YARN High Availability相关推荐

  1. 使用 Apache Atlas 进行数据治理

    本文由 网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采用 ...

  2. BLAS+BLACS+LAPACK+SCALAPACK安装

    最快的安装是用下面的scalapack_installer,它将自动联网安装SCALAPACK以及所需要的BLAS, BLACS,LAPACK. 下面是简短说明: INTRODUCTION The S ...

  3. 思科模拟器划分子网实验报告_模拟多子网群集以设置SQL Server Always On可用性组–实验设置

    思科模拟器划分子网实验报告 In this article, we are going to see how to create a multi subnet cluster spanning acr ...

  4. 【Hadoop集群】-集群搭建踩的那些坑之hadoop篇

    上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证,只有开启了公钥验证后才能够使用公钥登录,但是在开启并生成公钥后还需要对秘钥文件进行授权处理,一般生成的authorized_keys可能文件的归 ...

  5. prometheus 监控mysql数据库

    prometheus 监控mysql数据库 本文通过prometheus 来监控mysql数据库状态,主要利用mysqld_exporter来实现mysql状态上报. 主机信息如下: 主机IP 用途 ...

  6. Hadoop官方文档翻译—— YARN ResourceManager High Availability 2.7.3

    ResourceManager High Availability (RM高可用) Introduction(简介) Architecture(架构) RM Failover(RM 故障切换) Rec ...

  7. 深入浅出学大数据(五)Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍

      大家好,我是不温卜火,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样 ...

  8. Setting Up Hadoop NameNode High Availability

    Hadoop2.0以后,2个NameNode的数据其实是实时共享的.新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File S ...

  9. Yarn ResourceManager High Availability

    2019独角兽企业重金招聘Python工程师标准>>> 在 Hadoop 生态中(Hadoop2.x及以后版本), JobTracker 和 TaskTracker 演变为 Yarn ...

最新文章

  1. 环信联合创始人: Saas敏捷开发实践!
  2. React 组件 API
  3. Noriben沙箱:分分钟搞定恶意软件
  4. js移除字符串的中文/空格
  5. NoSQL数据库:数据的一致性
  6. 家用使用计算机组装,不能再简单了!家用电脑DIY组装实操
  7. SQL FILESTREAM和SQL Server全文搜索
  8. 20190807:排序数组删除重复项
  9. 让你的网站首页自动选择语言转跳
  10. linux怎么指定安装目录,Linux软件安装到指定目录方法
  11. C语言例题——密码校验
  12. 计算机组成原理(第三版)唐朔飞-课后习题(完整版)
  13. 间接效应值大于1是正常的吗?Q群答疑20200405
  14. Redis单线程模型
  15. 博观而约取,厚积而薄发
  16. Node-RED中建立Websocket客户端连接
  17. python算法详解 张玲玲_Python算法详解
  18. 大都会人寿线下培训第三天回顾
  19. 【解决方案】云看大熊猫,动物园直播解决方案EasyNVR+EasyNVS如何玩转动物IP
  20. 可以搜索相似网站的网站

热门文章

  1. 好物推荐 | 轻薄神器,妈妈再也不用担心我的颈椎了
  2. 那些年我用过的SAP IDE
  3. 【347天】跃迁之路——程序员高效学习方法论探索系列(实验阶段105-2018.01.18)...
  4. OSChina 周一乱弹 —— 程序员用什么浏览器能看出来品位么
  5. Linux/Unix shell 监控Oracle告警日志(monitor alter log file)
  6. Sublime Es6教程1-环境搭建
  7. 关于sybase数据库的锁
  8. oracle数据库结束进程后怎么重启,Oracle数据库的启动与关闭方法
  9. python100以内自然数之和_python—100以内素数之和 python123
  10. 5G UE — 手机的基带芯片