全栈工程师开发手册（作者：栾鹏）
架构系列文章

如果你既要增加节点，又要删除节点呢，

我推荐的顺序是：新增datanode，新增regionserver，停掉regionserver ，停掉datanode。

如果你单独的增加或者移出呢，顺序就是上面拆开的就行啦。

如果你新增机器呢，新增datanode，新增regionserver。

如果你减少机器呢，停掉regionserver ，停掉datanode。

所以演示的话呢，就来个全套，就是新增datanode，新增regionserver，停掉regionserver ，停掉datanode。

一、准备工作

新增的机器，提前安装好java，ssh免密登录，然后把好的机器上的从节点的安装包scp过来。

二、新增datanode节点

1。先把$HADOOP_HOME/etc/hadoop/slaves 和/etc/hosts ，都加上你加上的主机名。

2。在你本机目录下，创建dfs.data.dir里面的value值得目录，如果这个dfs.data.dir里面的value值得目录底下有东西的话，确认没用，最好删了，删了！！！！删了！！！！，不然一会你会发现，你的clusterId会发生冲突，什么storageId冲突，block pool 编号不一样，等等等等。

3。进入bin目录执行hadoop-daemon.sh start datanode

4。hdfs dfsadmin -refreshNodes 刷新一下

5。hdfs dfsadmin -report再查看是否添加进去了。

6。设置带宽，配置均衡器balancer，一般不在主节点上运行，以避免影响业务，可以有专门的balancer节点

hdfs dfsadmin -setBalancerBandwidth 1048576

如果某个datanode的磁盘里用率比平均水平高出5%，Blocks向其他低于平均水平的datanode中传送list
start-balancer.sh -threshold 5

7。最后再查看一下，hdfs dfsadmin -report 完成。

三、新增RegionServer节点

0。把一台好的节点上的Hbase拷贝过来（配置文件以配置好的）
1。先把$HBASE_HOME/conf/regionservers 和/etc/hosts ，都加上你加上的主机名。
2。执行以下命令启动

hbase-daemon.sh start regionserver

3。在新的节点上进入hbase shell
然后输入balance_switch true
过一会，你就会发现regions 已经负载均衡了。

四、hbase删除regionserver节点

执行命令

graceful_stop.sh regionser（主机名）

然后启动之后，就会自动让这个机器上的region分布到其他机器上去，然后自动下线，我看网上说，还需要像上面一样，执行一遍balance_switch true，但是我发现，其实那个graceful_stop.sh regionser已经自动帮你均衡了region，所以我们去shell里执行balance_true，也可。

五、hdfs安全删除datanode节点

千万不要直接输hadoop-daemon.sh stop datanode 这样可能，可能会导致数据块的丢失，强烈不建议datanode这样退役。

然后就是在excludes里面添加你要退役的节点即可。

整个流程大体如下：

编辑hdfs-site.xml

加入以下选项：

<property><name>dfs.hosts.exclude</name><value>/opt/hadoop/etc/hadoop/excludes</value></property>

然后在这个路径下面，编辑excludes，在里面加入你要退役的节点，例如加上这个hadoop-dn-2。

如果你是HA模式的话，两个NN都要加，一定要两个NN都加哦~

然后输入hdfs dfsadmin -refreshNodes （记住，不用重启，不用重启服务，也别关掉datanode !!!）

这样你就会登陆主节点的50070端口，你会发现有一个节点的状态是Decommissioned in Process 这是后你

就静静地看着他会往不均衡的节点传输Block块，等传输好了后，你就会发现状态变更为Decommissioned

这时候你就可以安全下线datanode即可。

这样就可以啦，然后你就删除了。

最后，再次提醒顺序。新增datanode，新增regionserver，停掉regionserver ，停掉datanode。切记切记，年轻人们！！！！！

集群间动态扩展和删除hdfs的datanode和hbase的regionserver相关推荐

【大数据之Hadoop】三十一、HDFS集群迁移之Apache和Apache集群间数据拷贝
数据迁移场景: 冷热集群数据分类存储:集群数据整体迁移:数据的准实时同步,目的在于数据的双备份可用. 数据迁移需要考虑的因素: 带宽.性能.增量同步(原始数据文件进行了追加写.被删除或重命名) ...
redis专题：redis集群的动态扩容缩容，水平扩展
文章目录 1. 扩容背景介绍 2. redis集群扩容 2.1 增加redis实例 2.2 配置8007为master节点 2.3 配置8008为8007的从节点 3. redis集群缩容 3.1 先 ...
Hadoop集群间文件拷贝
Hadoop集群间文件拷贝 distcp使用 DistCp Version 2(分布式copy)是用于集群间/集群内的文件copy工具, 使用MapReduce实现分布式.错误处理.恢复和报告.dis ...
配置两个不同kerberos认证中心的集群间的互信
两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Re ...
hbase 学习（十三）集群间备份原理
集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL 和HLog日志,它就像mysql的主从备份 ...
HADOOP实践101：在Hadoop集群中添加机器和删除机器
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断. 本次操作之前,Hadoop的集群情况如下: HDFS的机器情况如下: MR的机器情况如下: 添加机器在集群的Master机 ...
集群间实现Session共享
上一篇,同一tomcat不同项目下session共享方案:http://blog.csdn.net/qinmengdecluntan/article/details/72832648 一.引言针对企 ...
mysql中overwrite,打造集群间HIVE数据库表半自动迁移(overwrite)工具
Author:Christopher_L1n | CSDN Blog | 未经允许,禁止转载 Hive -> Hive 集群间迁移数据库表阅读提示为了代码易读性,脚本中加入冗余的参数赋值,可 ...
Hadoop HDFS完全分布式环境搭建以及技术详解（保证没接触过大数据的小白看完就能独自把集群搭起来，并对HDFS有详细的认知）
**读懂本篇文章,能让小白快速入门,并且能够搭建完全分布式的集群,以及能对hadoop hdfs产生详细的认知,对以后的学习有很大的帮助** 我们先来了解hadoop的hdfs基本概念,熟知基本概念, ...

集群间动态扩展和删除hdfs的datanode和hbase的regionserver