配置Yarn-Resourcemanager HA
在此之前，笔者已经搭建好了Hadoop完全分布式HA的环境（点击查看搭建方式）。在完全分布式HA的基础上搭建Yarn，步骤是相对简单的。
节点规划
| NN1 | NN2 | DN | ZK | ZKFC | JN | RS | NM | |
|---|---|---|---|---|---|---|---|---|
| node1 | * | * | * | * | ||||
| node2 | * | * | * | * | * | * | * | |
| node3 | * | * | * | * | ||||
| node4 | * | * | * |
这是笔者自己的节点规划，当然也可以根据个人情况灵活规划节点。
配置
根据官网给出的配置方式（点击前往官网查看配置方案），我们只需要修改两个配置文件即可。
修改"mapred-site.xml"文件：
<property><name>mapreduce.framework.name</name><value>yarn</value></property>修改“yarn-site.xml”文件：
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.cluster-id</name><value>cluster1</value></property><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><property><name>yarn.resourcemanager.hostname.rm1</name><value>node1</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>node2</value></property><property><name>yarn.resourcemanager.zk-address</name><value>node2:2181,node3:2181,node4:2181</value></property>请注意根据自己节点情况做适当修改！
启动
配置完相应的配置文件后，就可以启动ResourceManager了。
start-yarn.sh
如果因为某些原因yarn没有启动成功，可以单独启动：
yarn-daemon.sh start resourcemanager
验证
当所有的节点角色全部都启动成功后，打开浏览器进行验证：http://node1:8088/cluster/cluster 。请大家注意修改成自己的节点名称，不要盲目的复制粘贴，毕竟复制毁一生！
一旦看到以下页面，就表示我们的搭建成功了！
通过该页面，可以看到node1节点的RM的状态是active。那么另一个节点的状态肯定是standby，搭建成功！
配置Yarn-Resourcemanager HA相关推荐
- Yarn ResourceManager High Availability
2019独角兽企业重金招聘Python工程师标准>>> 在 Hadoop 生态中(Hadoop2.x及以后版本), JobTracker 和 TaskTracker 演变为 Yarn ...
- Hadoop(HDFS,YARN)的HA集群安装
搭建Hadoop的HDFS HA及YARN HA集群,基于2.7.1版本安装. 安装规划 角色规划 IP/机器名 安装软件 运行进程 namenode1 zdh-240 hadoop NameNode ...
- hive跑mr时报错，java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-address
E1:hive跑mr时报错,java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-addr ...
- Hadoop官方文档翻译—— YARN ResourceManager High Availability 2.7.3
ResourceManager High Availability (RM高可用) Introduction(简介) Architecture(架构) RM Failover(RM 故障切换) Rec ...
- Flink on Yarn（HA配置）
根据部署方式不同,Flink Jobmanager HA配置分为2种: 1.standalone cluster HA 2.Yarn cluster HA 其中,standalone cluster ...
- hadoop 3 配置yarn
配置 在目录/root/apps/jdk1.8.0_191/bin中修改yarn-site.xml文件 <configuration> <!-- Site specific YARN ...
- 解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住 错误信息: 21/06/24 18:56:40 WARN util.NativeCodeLoader: Unable ...
- Hadoop系列-YARN RM HA 高可用集群
ResourceManager HA集群 修改 yarn-site.xml yarn-site.xml分发到其他节点 scpyarn-site.xml hadoop@hadoop-cluster-02 ...
- 0353-如何使用curl命令调用CM的API动态配置Yarn资源池
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图. Fayson的github: https://github.com/fayson/cdhproject 提示 ...
- Hadoop YARN ResourceManager未授权访问漏洞
文章目录 一.介绍 1.1 简介 1.2 漏洞成因 二.模拟环境 三.信息收集 四.攻击方法 五.漏洞防御 一.介绍 1.1 简介 Hadoop作为一个分布式计算应用程序框架,种类功能繁多,各种组 ...
最新文章
- PNN神经网络预测类别的例子
- Linux编译动态链接库
- 大数据与Hadoop
- 《编写有效用例阅读笔记二》
- tomcat设置独立jvm的例子
- jdk1.8 64位 32位免费下载
- 联想教育应用使用说明（7.6版本号）——第4章 网络控制工具的使用
- 我的她 —— 记我的 IBM R51
- R485集线器定协议有多少种能否抗干扰？
- Ethereum Yellow Paper
- TweenMax特效
- windows 增加开机启动服务器,Windows Server2012删除或添加开机启动项的方法
- 介绍下我的Phx框架-A Tiny assembled RESTful PHP Frame...
- 微信支付商家收款费率怎么降低，商户开通0.2%～0.38%手续费教程
- 赵小楼《天道》深度解析（74）站着对话、品性、尊严都需要代价和成本的
- Chrome播放视频时只有声音没有画面
- expdp与impdp导出导入特定表
- 什么是优秀的用户体验：解读40个优秀界面设计
- 计算机基础第五章知识,计算机基础第次作业第五章Powerpoint知识题.doc
- How to add the cracked dlls in GAC---let me tell u