HDFS黑名单退役服务器

黑名单：表示在黑名单的主机IP地址不可以，用来存储数据。

企业中：配置黑名单，用来退役服务器。

黑名单配置步骤如下：

1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

添加如下主机名称（要退役的节点）

hadoop105

注意：如果黑名单中没有配置，需要在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 黑名单 --><property><name>dfs.hosts.exclude</name><value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value></property>

2）分发配置文件blacklist，hdfs-site.xml

xsync hdfs-site.xml blacklist

3）第一次添加黑名单必须重启集群，不是第一次，只需要刷新NameNode节点即可

hdfs dfsadmin -refreshNodes

4）检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

5）等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

hdfs --daemon stop datanodeyarn --daemon stop nodemanager

6）如果数据不均衡，可以用命令实现集群的再平衡

sbin/start-balancer.sh -threshold 10

HDFS黑名单退役服务器相关推荐

hdfs 小文件服务器,服务器远程上传hdfs文件大小
服务器远程上传hdfs文件大小内容精选换一换您需要提前准备好符合条件的镜像文件,并了解操作系统的已知问题(参见已知问题).表1中,文件系统.网络.驱动相关的配置需要在虚拟机内部完成,强烈建议您在 ...
视频服务器读取hdfs文件,基于HDFS的流媒体服务器Red5视频文件分发的研究与应用...
摘要: 随着互联网的高速发展,大型在线视频网站得到了众多用户的青睐,同时便携式摄影设备的高度普及,使得网络音视频数据量呈爆炸式增长,由此产生的海量音视频文件的存储分发问题已经成为当前互联网领域研究的热 ...
退役旧数据节点-黑名单退役
在黑名单上面的主机都会被强制退出. 1.在 NameNode 的 /opt/module/hadoop-2.7.2/etc/hadoop 目录下创建dfs.hosts.exclude 文件 [had ...
七、Hadoop简明笔记
目录 1.Hadoop入门 1.1 Hadoop优势 1.2 Hadoop1.x.Hadoop2.x.Hadoop3.x的区别 1.3 HDFS架构概述 1.4 YARN架构概述 1.5 MapRed ...
[ hadoop ] 集群性能调优全面总结
[ hadoop ] 集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的 ...
hadoop添加服务器及白名单和黑名单的设置
1.添加新的节点用文件同步脚本将其他服务器的Hadoop及其配套文件同步即可. 需要注意的是要将之前的系统文件删除(data和log). 白名单和黑名单不能添加相同的主机.白名单是在构建集群时使用来 ...
HDFS（下）：NameNode和SecondaryNameNode、HDFS工作机制、故障处理、集群安全模式、服役退役节点、集群黑白名单、DataNode多目录详解、HDFS2.x新特性
接上篇,上篇文章传送门:HDFS(上):HDFS优缺点.HDFS操作.HDFS客户端操作.HDFS的API.HDFS数据流.HDFS的IO流.HDFS读写数据流程.HDFS文件处理详解.windows ...
大数据学习——HDFS退役旧数据节点
HDFS退役旧数据节点 1.添加白名单和黑名单白名单和黑名单是hadoop管理集群主机的一种机制.添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出.添加到黑名单的 ...
HDFS中的白名单和黑名单
配置白名单 (1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件, 添加如下主机名称(不添加hadoop105) hadoo ...

HDFS黑名单退役服务器

HDFS黑名单退役服务器相关推荐

最新文章

热门文章