【Hadoop 分布式部署十一: NameNode HA 自动故障转移】

问题描述: 上一篇就是NameNode 的HA 部署完成，但是存在问题，问题是如果主NameNode的节点宕机了，还是需要人工去使用命令来切换NameNode的Acitve 这样很不方便，所以

这篇学习笔记就是记录如何解决故障转移的

　　　启动以后每个都是Standby，选举一个为Active

　　　监控每个NameNode 都应该监控（ZKFC Failover Controller 失败故障转移控制器）

开始进行配置

　　　　　　在hdfs-site.xml 文件中配置：

         <property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property>

　　　　　　在core-site.xml 文件中配置 :

<!--配置zookeeper 集群 --><property><name>ha.zookeeper.quorum</name><value>hadoop-senior.zuoyan.com:2181,hadoop-senior02.zuoyan.com:2181,hadoop-senior03.zuoyan.com:2181</value></property>

　启动：

　　　　首先关闭所有HDFS服务： sbin/stop-dfs.sh (可以看到服务关闭的顺序 )

　　　　　然后将节点一（hadoop-senior.zuoyan.com ）上刚配置好的两个配置文件（core-site.xml 和 hdfs-site.xm ）同步到其余两台机器上去

　　　　　　使用命令:scp -r etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml hadoop-senior02.zuoyan.com:/opt/app/hadoop-2.5.0/etc/hadoop/

　　　　　　使用命令:scp -r etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml hadoop-senior03.zuoyan.com:/opt/app/hadoop-2.5.0/etc/hadoop/

　　　　接下来就是启动zookeeper ，进入到zookeeper的安装目录中，执行命令 bin/zkServer.sh start

　　　　启动完成后要进行的操作：初始化HA在zookeeper 中 ( 第一个节点 ) 状态　　bin/hdfs zkfc -formatZk

　　　　　　首先在第二个节点的终端下链接上zookeeper的客户端

　　　　　　然后在第一个节点上进行初始化

　　　　　　　　然后在hadoop-senior02.zuoyan.com 主机上的zookeeper 的客户端进行查看 ls /

　　　　　　　　　　　　( 就会发现多了一个节点 )

　　　　　　　　　　在查看hadoop-ha 这个就是初始化时创建的那个文件目录

　　　　　启动HDFS ：

　　　　　　　　　　命令：sbin/start-dfs.sh

　　　　　　　　　查看启动的服务

　　　　　　　　现在主节点 NameNode 和 Standby 的分布情况

　　　　　　　　　现在要结束掉Active的节点，检查他是否会自己进行故障转移

　　　　　　　　　　　　jps 查看一下任务运行的 id号然后使用命令 kill -9 9991

　　　　　　　　　　　　然后去查看Hadoop-senior.zuoyan.com 是否成为了Active

　　　　　　　　　　　　　　注意：zookeeper 挂了不会对集群造成影响，就是不能进行故障自动转移，

　　　　　　　　　　　　　　　　还有就是zookeeper 需要服务器的时间同步

　　　　　　　　　　　　　　这种HA的结构是QJM

转载于:https://www.cnblogs.com/kangxinxin/p/9733789.html

【Hadoop 分布式部署十一: NameNode HA 自动故障转移】相关推荐

（2）MongoDB副本集自动故障转移原理（含客户端）
前文我们搭建MongoDB三成员副本集,了解集群基本特性,今天我们围绕下图聊一聊背后的细节. 默认搭建的副本集均在主节点读写,辅助节点冗余部署,形成高可用和备份,具备自动故障转移能力. 集群心跳保活 ...
postgresql 重启记录_PostgreSQL 高可用:PostgreSQL复制和自动故障转移
原文:PostgreSQL Replication and Automatic Failover Tutorial[1] 作者:Abbas Butt 翻译整理:alitrack 1.什么是 Postg ...
故障转移集群无法连接到节点_Redis集群以及自动故障转移测试
在Redis中,与Sentinel(哨兵)实现的高可用相比,集群(cluster)更多的是强调数据的分片或者是节点的伸缩性,如果在集群的主节点上加入对应的从节点,集群还可以自动故障转移,因此相比Sen ...
sql azure 语法_Azure SQL Server自动故障转移组
sql azure 语法 In this article, we will review how to set up auto-failover groups in Azure SQL Server ...
HG_REPMGR autofailvoer自动故障转移
目录文档用途详细信息文档用途 HG_REPMGR自动故障转移配置参考详细信息配置集群自动故障转移(failover),需要为集群中的每个节点开启 repmgrd 守护进程.当主节点出现故障后 ...
MySQL 自动故障转移工具--mysqlfailover
mysqlfailover 是mysql utilities工具包中包含的一个重要的高可用命令,用于对主从复制架构进行健康检测以及实现故障自动转移.它会定期按指定的时间间隔探测各节点的健康状态,一旦在 ...
[译]PG复制和自动故障转移--2
PostgreSQL 的预写日志 (WAL) 示例 1) SELECT datname, oid FROM pg_database WHERE datname = 'postgres'; datnam ...
大数据||Hadoop分布式部署虚拟机
分布式部署伪分布式.一台机器运行所有的守护进程,从节点datanode.nodemanager 完成分布式. 有多个从节点. datanodes.nodeManager.多节点其实就是多了几个dat ...
mysql被跑死_MySQL 8.0.23中复制架构从节点自动故障转移
接触MGR有一段时间了,MySQL 8.0.23的到来,基于MySQL Group Replicaion(MGR)的高可用架构又提供了新的架构思路.灾备机房的slave,如何更好地支持主机房的MGR? ...

【Hadoop 分布式部署十一: NameNode HA 自动故障转移】

【Hadoop 分布式部署十一: NameNode HA 自动故障转移】相关推荐

最新文章

热门文章

【Hadoop 分布式部署 十 一: NameNode HA 自动故障转移】

【Hadoop 分布式部署 十 一: NameNode HA 自动故障转移】相关推荐

最新文章

热门文章

【Hadoop 分布式部署十一: NameNode HA 自动故障转移】

【Hadoop 分布式部署十一: NameNode HA 自动故障转移】相关推荐