Hadoop热添加删除节点(含Hbase)
2019独角兽企业重金招聘Python工程师标准>>>
添加节点
1.修改host
和普通的datanode一样。添加namenode的ip
2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host
3.在新节点的机器上,启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker(hadoop1)
[root@slave-004 hadoop]# ./bin/yarn-daemon.sh start nodemanager(hadoop2)
4.均衡block
[root@slave-004 hadoop]# ./bin/start-balancer.sh
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
3)设置balance的带宽(hdfs-site),默认只有1M/s
dfs.balance.bandwidthPerSec 1048576 Specifies the maximum amount of bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
注意:
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
3.如果start-balancer.sh运行完了仍然没有反应的话,就把-threshold尽量调小,越小越均衡所耗时间也就越小
start-balancer.sh -threshold 1
Hbase
如果还有hbase在上面运行则需要部署hbase的hserver
5.在hbasemaster上修改regionservers
vim /home/hadoop/hbase/conf/regionservers
加入新节点
vim /home/hadoop/hbase/conf/hbase-site.xml
hbase.zookeeper.quorum属性加入新节点
6.复制上面两个文件到各个节点
7.在新节点上启动hbase regionserver
hbase-daemon.sh start regionserver
8.在hbasemaster启动hbase shell
用status命令确认一下集群情况
删除节点
1.集群配置
修改conf/hdfs-site.xml文件
dfs.hosts.exclude /data/soft/hadoop/conf/excludes Names a file that contains a list of hosts that are not permitted to connect to the namenode. The full pathname of the file must be specified. If the value is empty, no hosts are excluded.
编辑conf/mapred-site.xml文件,增加如下配置:
<property>
<name>mapred.hosts.exclude</name>
<value>/opt/hadoop_conf/exclude_node</value>
</property>
2确定要下架的机器
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
slave-003
slave-004
3.强制重新加载配置
[root@master hadoop]# ./bin/hadoop dfsadmin -refreshNodes
它会在后台进行Block块的移动
4.关闭节点
等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了。
[root@master hadoop]# ./bin/ hadoop dfsadmin -report
可以查看到现在集群上连接的节点
正在执行Decommission,会显示:
Decommission Status : Decommission in progress 执行完毕后,会显示:
Decommission Status : Decommissioned
5.再次编辑excludes文件
一旦完成了机器下架,它们就可以从excludes文件移除了
登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下
转载于:https://my.oschina.net/junfrank/blog/291023
Hadoop热添加删除节点(含Hbase)相关推荐
- Hadoop-HBASE 热添加新节点
Hadoop-HBASE 热添加新节点 环境: 192.168.137.101 hd1 192.168.137.102 hd2 192.168.137.103 hd3 192.168.137.104 ...
- Oracle RAC 添加删除节点
百度搜索,会很多文章关于如何添加删除节点的,而且这个操作也没有什么很多的技术含量,但是自己测试过,记录一下,以备后续查询,同时也希望能给需要的朋友一些帮助. 环境介绍 环境为两个节点RAC:racno ...
- 节点操作-创建并添加删除节点替换克隆节点
<head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8&quo ...
- 加载XML 添加删除节点
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.X ...
- 【原创】使用yahoo雅虎js库(YUI)建立无刷新的N级树(可添加删除节点)
1.首先你要去下面地址下载yahoo类库 http://developer.yahoo.com/yui/ 2.5版本的 8.84M,你可以不全用,只用树的 2.然后需要把yui/bui ...
- js动态添加删除节点
转载于:https://www.cnblogs.com/jiaobaobao/p/6762692.html
- hadoop 添加删除机器以及设置免密登录
添加hadoop机器 先在slaves中添加机器 然后启动datanode $: ./usr/hadoop-0.20.2-cdh3u4/bin/hadoop-daemon.sh start datan ...
- hadoop删除节点
今天在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下: 1, 从集群中移走节点,需要对移走节点的数据进行备份: 在主节点的core- ...
- redis cluster 添加 删除 重分配 节点
redis cluster配置好,并运行一段时间后,我们想添加节点,或者删除节点,该怎么办呢. 一,redis cluster命令行 //集群(cluster) CLUSTER INFO 打印集群的信 ...
最新文章
- 从IEEE754标准谈C语言浮点数据类型
- 用python画动态樱花_利用python画一棵漂亮的樱花树,turtle画图代码大全,此处感谢知乎大佬小白...
- CubieBoard开发板不用ttl线也不用hdmi线的安装方法
- Vue.js响应式原理
- avi编码格式以及查看的视频编码方式的小工具
- java 设计模式 prototype_Java设计模式之Prototype原型模式
- oracle 数据库回闪,各种数据库闪回的总结
- hive实现根据用户分组,按用户记录求上下两条记录的时间差
- LeetCode--49. 字母异位词分组(哈希表)
- 【Redis】Redis替代方案
- 给力!一行代码躺赚普通程序员 10 年薪资!
- 汽油与消费需求问题的MonteCarlo求解方法
- UDT协议实现分析——数据发送控制
- java处理excel-xlsx格式大文件的解决方案
- 聚观早报 | 华为官宣新机Pocket S;苹果旗舰店开售智能门锁
- cmd查看所有数据库 db2_DB2常用命令
- SpringSecurity下做POST测试以及传递实体
- verilog学习笔记——8位数码管驱动设计与验证
- GitHub简单入门
- Mac下如何实现自动切换输入法