1 新增Data节点

1.1 修改/etc/hosts，增加datanode的ip

1.2 在新增加的节点启动服务

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

1.3 均衡block

start-balancer.sh

1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率
2）设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长

start-balancer.sh -threshold 5

2 删除节点

2.1 修改修改conf/hdfs-site.xml文件中的 “dfs.hosts.exclude“，确定要下架的机器，dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。这个将阻止他们去连接Namenode。如：

slave-001
slave-002

2.2 强制重新加载配置

hadoop dfsadmin  -refreshNodes

2.3 关闭节点

等待上面的操作结束后，需要下架的机器就能安全的关闭了

2.4 查看机群概况

hadoop dfsadmin -report

2.5 再次编辑conf/hdfs-site.xml文件，修改dfs.hosts.exclude，将下架的机器移除

转载于:https://www.cnblogs.com/liuchangchun/p/4716473.html

Hadoop 新增删除节点相关推荐

Hadoop热添加删除节点（含Hbase）
2019独角兽企业重金招聘Python工程师标准>>> 添加节点 1.修改host 和普通的datanode一样.添加namenode的ip 2.修改namenode的配置文件 ...
hadoop删除节点
今天在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下: 1, 从集群中移走节点,需要对移走节点的数据进行备份: 在主节点的core- ...
element ui 红点_Element-ui el-tree新增和删除节点后如何刷新tree的实例
Element-ui el-tree新增和删除节点后如何刷新tree的实例一, 当新增节点后刷新当前节点 node.loaded = false; node.expand(); //新建子节点是刷新 ...
Hadoop核心组件的节点管理(四)
如有不理解的请先参考 Hadoop核心组件的介绍(一) https://mp.csdn.net/postedit/102629533 Hadoop核心组件的HDFS安装与配置(二) https://m ...
solr-cloud 集群动态增加、删除节点
本次讲述动态增加节点基于上一章集群搭建的基础上来讲:https://blog.csdn.net/u013490585/article/details/86494476 上一章的例子中用了3台zk,4台 ...
java json删除节点_指定json的某个节点进行增、删、改
有时候我们需要对json结构的数据进行更新,或增,或改,或删. 当json层级比较复杂时操作起来是比较麻烦的,得一层层找下去找到要更新的节点才能操作它. 我用python语言封装了一个类,提供三个函数 ...
【jQuery笔记Part4】01-jQuery-节点操作-添加节点-删除节点-复制节点
节点操作添加节点静态页面内部添加(父子关系) append(): 添加节点->追加到最后 (父子关系) appendTo(tag): 把创建的节点添加到指定节点之后(父子关系) prepe ...
ORACLE 10G RAC 10.2.0.5 删除节点
1. RAC环境信息 4 1.1. IP地址信息 4 2. 环境备份 5 2.1. $ORACLE_HOME备份 5 2.2. $CRS_HOME备份 5 2.3. OCR备份 5 2.4. Vote ...
数据结构，单链表讲解，并使用Java代码实现单链表增删改查【尾部添加，中间插入、修改节点、删除节点、展示链表】
文章目录单链表什么是单链表,链式存储结构详解链表的节点头节点,头指针和首元节点单链表的实现 1.尾部添加新节点思路分析代码实现注意事项 2.按照编号插入新节点思路分析代码实现注意 ...

Hadoop 新增删除节点

1 新增Data节点

Hadoop 新增删除节点相关推荐

最新文章

热门文章