Setting Up YARN High Availability
ResourceManager(RM)负责追踪集群的资源和调度应用作业(比如Mapreduce作业)。在Hadoop 2.4之前,ResourceManager是YARN集群的单点。高可用特性就是用来解决单点问题的,通过加入一个Active/Standby的ResourceManager对来解决。
架构图
环境如下:
1、编辑yarn-site.xml
加入如下内容:
yarn.resourcemanager.ha.enabled=true
yarn.resourcemanager.cluster-id=cluster1
yarn.resourcemanager.ha.rm-ids=rm1,rm2
yarn.resourcemanager.hostname.rm1=hdp01
yarn.resourcemanager.hostname.rm2=hdp04
yarn.resourcemanager.zk-address=hdp01:2181,hdp02:2181,hdp03:2181,hdp04:2181
yarn.resourcemanager.ha.automatic-failover.enabled=true
yarn.resourcemanager.ha.automatic-failover.embedded=true
yarn.resourcemanager.ha.automatic-failover.zk-base-path=/yarn-leader-election
yarn.resourcemanager.recovery.enabled=true
yarn.resourcemanager.address.rm1=hdp01:8032
yarn.resourcemanager.address.rm2=hdp04:8032
yarn.resourcemanager.scheduler.address.rm1=hdp01:8030
yarn.resourcemanager.scheduler.address.rm2=hdp04:8030
yarn.resourcemanager.resource-tracker.address.rm1=hdp01:8031
yarn.resourcemanager.resource-tracker.address.rm2=hdp04:8031
yarn.resourcemanager.admin.address.rm1=hdp01:8033
yarn.resourcemanager.admin.address.rm2=hdp04:8033
yarn.resourcemanager.webapp.address.rm1=hdp01:8088
yarn.resourcemanager.webapp.address.rm2=hdp04:8088
2、同步yarn-site.xml☞其他节点
[hadoop@hdp01 hadoop]$ for i in {2..4};do scp yarn-site.xml hdp0$i:/u01/hadoop/etc/hadoop;done
3、启动resourcemanager服务
[hadoop@hdp01 hadoop]$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /u01/hadoop/logs/yarn-hadoop-resourcemanager-hdp01.out
hdp03.thinkjoy.tt: starting nodemanager, logging to /u01/hadoop/logs/yarn-hadoop-nodemanager-hdp03.out
hdp02.thinkjoy.tt: starting nodemanager, logging to /u01/hadoop/logs/yarn-hadoop-nodemanager-hdp02.out
hdp04.thinkjoy.tt: starting nodemanager, logging to /u01/hadoop/logs/yarn-hadoop-nodemanager-hdp04.out
[hadoop@hdp01 hadoop]$ jps
4592 RunJar
1136 ResourceManager
2690 NameNode
1827 QuorumPeerMain
4087 HMaster
5031 SqoopJettyServer
3528 JobHistoryServer
3001 SecondaryNameNode
1433 Jps
4686 RunJar
4、Standby节点启动服务
[hadoop@hdp04 ~]$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /u01/hadoop/logs/yarn-hadoop-resourcemanager-hdp04.out
[hadoop@hdp04 ~]$ jps
2066 DataNode
1592 QuorumPeerMain
2971 RunJar
2604 HRegionServer
17437 ResourceManager
3071 RunJar
17487 Jps
5、Zookeeper验证
[zk: localhost:2181(CONNECTED) 4] ls /
[hivesrv2, zookeeper, yarn-leader-election, oozie, hive_zookeeper_namespace, services, hbase]
[zk: localhost:2181(CONNECTED) 5] ls /yarn-leader-election
[cluster1]
[zk: localhost:2181(CONNECTED) 6] ls /yarn-leader-election/cluster1
[ActiveBreadCrumb, ActiveStandbyElectorLock]
[zk: localhost:2181(CONNECTED) 7]
6、命令行验证
[hadoop@hdp01 hadoop]$ yarn rmadmin -getServiceState rm1
active
[hadoop@hdp01 hadoop]$ yarn rmadmin -getServiceState rm2
standby
参考文献:
1、ResourceManager High Availability
转载于:https://blog.51cto.com/candon123/2053248
Setting Up YARN High Availability相关推荐
- 使用 Apache Atlas 进行数据治理
本文由 网易云发布. 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权.) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采用 ...
- BLAS+BLACS+LAPACK+SCALAPACK安装
最快的安装是用下面的scalapack_installer,它将自动联网安装SCALAPACK以及所需要的BLAS, BLACS,LAPACK. 下面是简短说明: INTRODUCTION The S ...
- 思科模拟器划分子网实验报告_模拟多子网群集以设置SQL Server Always On可用性组–实验设置
思科模拟器划分子网实验报告 In this article, we are going to see how to create a multi subnet cluster spanning acr ...
- 【Hadoop集群】-集群搭建踩的那些坑之hadoop篇
上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证,只有开启了公钥验证后才能够使用公钥登录,但是在开启并生成公钥后还需要对秘钥文件进行授权处理,一般生成的authorized_keys可能文件的归 ...
- prometheus 监控mysql数据库
prometheus 监控mysql数据库 本文通过prometheus 来监控mysql数据库状态,主要利用mysqld_exporter来实现mysql状态上报. 主机信息如下: 主机IP 用途 ...
- Hadoop官方文档翻译—— YARN ResourceManager High Availability 2.7.3
ResourceManager High Availability (RM高可用) Introduction(简介) Architecture(架构) RM Failover(RM 故障切换) Rec ...
- 深入浅出学大数据(五)Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍
大家好,我是不温卜火,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样 ...
- Setting Up Hadoop NameNode High Availability
Hadoop2.0以后,2个NameNode的数据其实是实时共享的.新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File S ...
- Yarn ResourceManager High Availability
2019独角兽企业重金招聘Python工程师标准>>> 在 Hadoop 生态中(Hadoop2.x及以后版本), JobTracker 和 TaskTracker 演变为 Yarn ...
最新文章
- 环信联合创始人: Saas敏捷开发实践!
- React 组件 API
- Noriben沙箱:分分钟搞定恶意软件
- js移除字符串的中文/空格
- NoSQL数据库:数据的一致性
- 家用使用计算机组装,不能再简单了!家用电脑DIY组装实操
- SQL FILESTREAM和SQL Server全文搜索
- 20190807:排序数组删除重复项
- 让你的网站首页自动选择语言转跳
- linux怎么指定安装目录,Linux软件安装到指定目录方法
- C语言例题——密码校验
- 计算机组成原理(第三版)唐朔飞-课后习题(完整版)
- 间接效应值大于1是正常的吗?Q群答疑20200405
- Redis单线程模型
- 博观而约取,厚积而薄发
- Node-RED中建立Websocket客户端连接
- python算法详解 张玲玲_Python算法详解
- 大都会人寿线下培训第三天回顾
- 【解决方案】云看大熊猫,动物园直播解决方案EasyNVR+EasyNVS如何玩转动物IP
- 可以搜索相似网站的网站
热门文章
- 好物推荐 | 轻薄神器,妈妈再也不用担心我的颈椎了
- 那些年我用过的SAP IDE
- 【347天】跃迁之路——程序员高效学习方法论探索系列(实验阶段105-2018.01.18)...
- OSChina 周一乱弹 —— 程序员用什么浏览器能看出来品位么
- Linux/Unix shell 监控Oracle告警日志(monitor alter log file)
- Sublime Es6教程1-环境搭建
- 关于sybase数据库的锁
- oracle数据库结束进程后怎么重启,Oracle数据库的启动与关闭方法
- python100以内自然数之和_python—100以内素数之和 python123
- 5G UE — 手机的基带芯片