[RM HA 1] Cloudera CDH5 RM HA功能验证
简介: 最新的Cloudera CDH5.0.0 beta版本已经支持RM的HA, 笔者为此简单验证了RM HA的功能. 后续将继续分析其HA的原理,以及其与社区RM HA的区别.
集群部属与RM failover功能性验证
- 硬件准备
四台机器, bj1, bj3, bj4, bj5 准备好相应的环境(包括ssh互通, java环境).
角色说明, bj1为rm1, bj3为rm2, bj4和bj4为slave.
Zookeeper部属在bj1上.
- Hadoop版本准备http://archive.cloudera.com/cdh5/cdh/5/ 下载相应的CDH5版本hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz(包括部属包和原代码),然后部属到每台slave中.
- Zookeeper安装在bj1, 下载最新Zookeeper, 解压后配置 conf/zoo.cfg文件, 然后启动.
[yuling.sh@v125050024 ~]$ cd zookeeper-3.4.3/
[yuling.sh@v125050024 zookeeper-3.4.3]$ cp conf/zoo_sample.cfg conf/zoo.cfg
[yuling.sh@v125050024 zookeeper-3.4.3]$ bin/zkServer.sh start
- 配置文件准备,见附录, 也可以参考(https://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-High-Availability-Guide/cdh5hag_cfg_RM_HA.html).
- 首先启动HDFS
bin/hadoop namenode –format
sbin/start-dfs.sh
网页上查看Namenode: http://bj1:50070/dfshealth.jsp
- 启动Yarn
rm1上启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
rm2上启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
slave启动NodeManager
sbin/yarn-daemons.sh start nodemanager
查看rm1和mr2的网页. http://bj1:23188/cluster 和 http://bj3:23188/cluster 其中active RM的网页可以查看, stanby的RM无法查看网页.
注: 如果yarn.resourcemanager.ha.automatic-failover.enabled设置为false, 则需要手动设置其中一个RM为active,负责两个RM都为standby.
- 提交一个sleep作业测试
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-cdh5.0.0-beta-1.jar sleep -m 1000
然后可以到网页上查看作业运行情况
- 在作业运行过程中kill掉active的RM进程, 这时候打开standby RM的网页,可以看到刚才提交的作业继续运行.
[yuling.sh@v125050024 hadoop-2.2.0-cdh5.0.0-beta-1]$ jps
31333 ResourceManager
31671 Jps
29502 NameNode
25375 QuorumPeerMain
[yuling.sh@v125050024 hadoop-2.2.0-cdh5.0.0-beta-1]$ kill 31333
结论: 上述几步简单验证了Cloudera RM Auto Failover的功能。
附录1
配置参考
- etc/hadoop/slaves
bj4
bj5
- etc/hadoop/hdfs-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://bj1:9000</value>
</property>
- etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- etc/hadoop/yarn-site.xml配置如下
除了yarn.resourcemanager.ha.id需要稍作修改外, 其它配置都可以一样.
<!-- Resource Manager Configs -->
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>2000</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.ha.id</name>
<value>rm2</value> <!—注释, rm1上配置为rm1, rm2上配置rm2-->
</property>
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.zk.state-store.address</name>
<value>bj1:2181</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>bj1:2181</value>
</property>
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
<value>5000</value>
</property>
<!-- RM1 configs -->
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>bj1:23140</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>bj1:23130</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>bj1:23188</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
<value>bj1:23125</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address.rm1</name>
<value>bj1:23141</value>
</property>
<property>
<name>yarn.resourcemanager.ha.admin.address.rm1</name>
<value>bj1:23142</value>
</property>
<!-- RM2 configs -->
<property>
<name>yarn.resourcemanager.address.rm2</name>
<value>bj3:23140</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>bj3:23130</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>bj3:23188</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
<value>bj3:23125</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address.rm2</name>
<value>bj3:23141</value>
</property>
<property>
<name>yarn.resourcemanager.ha.admin.address.rm2</name>
<value>bj3:23142</value>
</property>
<!-- Node Manager Configs -->
<property>
<description>Address where the localizer IPC is.</description>
<name>yarn.nodemanager.localizer.address</name>
<value>0.0.0.0:23344</value>
</property>
<property>
<description>NM Webapp address.</description>
<name>yarn.nodemanager.webapp.address</name>
<value>0.0.0.0:23999</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/tmp/pseudo-dist/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/tmp/pseudo-dist/yarn/log</value>
</property>
<property>
<name>mapreduce.shuffle.port</name>
<value>23080</value>
</property>
转载于:https://www.cnblogs.com/shenh062326/p/3529267.html
[RM HA 1] Cloudera CDH5 RM HA功能验证相关推荐
- CentOS7下部署CDH5.9(HA)
CentOS7下部署CDH5.9(HA) 文件下载 1.Cloudera Manager http://archive.cloudera.com/cm5/cm/5/cloudera-manager-c ...
- 理解 OpenStack 高可用(HA) (6): MySQL HA
本系列会分析OpenStack 的高可用性(HA)概念和解决方案: (1)OpenStack 高可用方案概述 (2)Neutron L3 Agent HA - VRRP (虚拟路由冗余协议) (3)N ...
- 【ha知识两问】ha软件是什么?ha软件用途有哪些?
最近看到不少小伙伴在问,ha软件是什么?ha软件用途有哪些?今天我们小编就给大家来回答一下这两个问题. ha软件是什么? [回答]:HA软件即高可用(High Available)也称为双机热备软件或 ...
- rm命令linux00,linux下rm命令使用详解 | Soo Smart!
linux下rm命令使用详解---linux删除文件或目录命令 用户可以用rm命令删除不需要的文件.该命令的功能为删除一个目录中的一个或多个文件或目录,它也可以将某个目录及其下的所有文件及子目录均删除 ...
- linux rm -rf删除文件,Linux rm命令
Linux中rm命令是删除文件和目录的.在使用-r参数时,一定要注意,因为该目录和文件都会被删除. 1.命令格式: rm [选项] 文件- 2.命令功能: 删除一个目录中的一个或多个文件或目录,如果没 ...
- mycat mysql ha 方案_7、基于 HA 机制的 Mycat 高可用--mycat
在实际项目中,Mycat 服务也需要考虑高可用性,如果 Mycat 所在服务器出现宕机,或 Mycat 服 务故障,需要有备机提供服务,需要考虑 Mycat 集群. 1. 高可用方案 使用 HAPro ...
- VCSA 6.5 HA配置 之四 开启vCenter HA
转载:https://blog.51cto.com/huanwenli/1922110 完成了上述几篇文章的配置和准备工作后,接下来就到了直接配置启用VCSA高可用的步骤. 启动vCenter HA配 ...
- SystemVerilog与功能验证
目录 一.功能验证流程 二.验证手段.验证技术.验证方法学 三.数据类型与编程结构 四.并发进程与进程同步 五.面向对象编程 六.虚接口 七.随机测试 八.继承与多态 九.功能覆盖率 十.断言 一.功 ...
- Ascend Pytorch算子功能验证
Ascend Pytorch算子功能验证 编写测试用例 以add算子为例,测试脚本文件命名为:add_testcase.py.以下示例仅为一个简单的用例实现,具体算子的实现,需要根据算子定义进行完整的 ...
最新文章
- UI设计培训需要学哪些内容
- 蒙面也能识别?俄罗斯开发新技术,伪装犯罪将在监控下无处遁行
- Python常用模块之序列化模块
- python 计时器 timeit 报错 NameError: name 'xxx' is not defined
- GDCM:rle转img文件的测试程序
- [C++11]弱引用智能指针weak_ptr初始化和相关的操作函数
- 修改Chrome浏览器默认背景颜色为浅绿色(转)
- 倒计时 7 天 | 完整议程大揭秘!来 20 个 AI 论坛,与百名大咖携手玩转人工智能...
- 【Luogu3371】【模板】单源最短路径(SPFA)
- linux xp双系统引导修复工具,XP和ubuntu双系统下如何修复XP引导菜单
- 如何将手机中的Word文档转换成PDF文件?
- telegram怎么搜索机器人_telegram机器人
- 云服务器端口管理修改,云服务器端口管理修改
- SAP FICO 解析成本要素类别
- 满满的干货!传统备份vs CDP vs CDM
- 《操作系统》 第二章 知识点整理
- Android蜘蛛网评分
- 利用mkdocs部署静态网页至GitHubpages(更新版)
- Visual Studio Community 2019 问题
- 两台电脑最简单的连接方法:直连
热门文章
- ABAP语言常用的系统字段及函数
- 打基础和俄罗斯方块的关系
- 【转】我该 不该学习VULKAN
- 代码提示级别设置 inspection
- 诺基亚在2016年资本市场日上公布重点财务及战略目标
- [platform]linux platform device/driver(三)--Platform Device和Platform_driver注册过程之代码对比...
- poj 2623 快排
- 口袋中的xmind如何添加优先等级图标
- U3D的飞船太空射击例子中,使用coroutine
- ARM的批量加载/存储指令