HDFS退役旧数据节点

1.添加白名单和黑名单
白名单和黑名单是hadoop管理集群主机的一种机制。添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。添加到黑名单的主机节点，不允许访问NameNode，会在数据迁移后退出。

实际情况下，白名单用于确定允许访问NameNode的DataNode节点，内容配置一般与workers文件内容一致。黑名单用于在集群运行过程中退役DataNode节点。

1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件

[hadoop@hadoop101 hadoop]$ pwd
[hadoop@hadoop101 hadoop]$ touch whitelist
[hadoop@hadoop101 hadoop]$ touch blacklist
[hadoop@hadoop101 hadoop]$ ll

在whitelist中添加如下主机名称,假如集群正常工作的节点为101,102,103,104

[hadoop@hadoop101 hadoop]$ vim whitelist

hadoop101
hadoop102
hadoop103
hadoop104

黑名单暂时为空。

2）在hdfs-site.xml配置文件中增加dfs.hosts和 dfs.hosts.exclude配置参数

[hadoop@hadoop101 hadoop]$ vim hdfs-site.xml

在文件中添加如下内容:

<!-- 白名单 -->
<property><name>dfs.hosts</name><value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property><name>dfs.hosts.exclude</name><value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

3）分发配置文件whitelist，blacklist，hdfs-site.xml

[hadoop@hadoop101 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

4)重新启动集群

hadoop104单独启动

[hadoop@hadoop104 ~]$ hdfs --daemon start datanode

5）在web浏览器上查看目前正常工作的DataNode节点

2.黑名单退役

1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

[hadoop@hadoop101 hadoop]$ vim blacklist

2）分发blacklist到所有节点

[hadoop@hadoop101 hadoop]$ xsync blacklist

3）刷新NameNode、刷新ResourceManager

[hadoop@hadoop101 hadoop]$ hdfs dfsadmin -refreshNodes
[hadoop@hadoop101 hadoop]$ yarn rmadmin -refreshNodes

4)检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点,等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

(本机数据量很小，所以很快退役，一般机器会等待一段时间才可以完成退役)

关闭资源(hadoop104只有DataNode)

[hadoop@hadoop104 ~]$ hdfs --daemon stop datanode

如果有yarn节点也是需要关闭的

大数据学习——HDFS退役旧数据节点相关推荐

持续学习常用6种方法总结：使ML模型适应新数据的同时保持旧数据的性能
来源:Deep IMBA 本文约4800字,建议阅读9分钟本文将讨论6种方法,使模型可以在保持旧的性能的同时适应新数据,并避免需要在整个数据集(旧+新)上进行重新训练. 持续学习是指在不忘记从前面的 ...
大数据学习之路111-大数据项目（中国移动运营数据分析一）
业务二: 统计每个省份的充值失败数据量,并以地图的方式显示分布情况. 数据说明: 充值的整个过程是包括: 订单创建->支付请求->支付通知->充值请求->充值通知而我们需要处 ...
Sqoop快速入门【导入数据到HDFS与导出数据到数据库】
1.Sqoop概述 Sqoop - "SQL到Hadoop和Hadoop到SQL" sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据" ...
C++对于文件的操作（4）——更改文件指定位置的数据（在新旧数据长度不一致的情况下）
上篇博客说到了在"新旧长度一致"的情况下如何更改文件制定位置的数据,这一篇就来说明一下如何在新旧长度不一致的情况下更改文件中某一行的数据. 具体的思路主要是:遍历行→保存行→更改指 ...
Foxmail 7.2数据迁移，导入旧数据
描述最初我只有一个机械硬盘,foxmail 7.2.x装在这里登了一个邮箱用了一段时间,称为邮箱1. 后来加了一个固态硬盘,我忘了当时是直接将机械里的foxmail文件夹复制到固态里,还是重新下载安 ...
foxmail文件导入服务器,Foxmail如何导入旧数据？Foxmail导入旧数据的方法
Foxmail如何导入旧数据?Foxmail升级到了新版本,如果您一直使用旧版本,则无需导入数据,如果想从Foxmail6.x升级到7.x,则需要导入旧版邮箱数据,那么如何导入呢!下面小编就给大家带来 ...
退役旧数据节点-黑名单退役
在黑名单上面的主机都会被强制退出. 1.在 NameNode 的 /opt/module/hadoop-2.7.2/etc/hadoop 目录下创建dfs.hosts.exclude 文件 [had ...
大数据学习之路-Hadoop
Hadoop 1. 大数据导论 1.1 大数据概念 1.2 大数据特点 1.3 大数据应用场景 1.4 大数据部门组织结构 2. Hadoop简介与大数据生态 2.1 Hadoop的介绍 2.2 Ha ...
大数据学习路线详解，零基础学大数据学习路线
在大数据蓬勃发展的现今,大家都看到了大数据未来不可限量的发展前景,跟着科技发展的潮流,不断学习新的技术知识,科多大数据相信,成为人生赢家不在话下. 大数据的三个发展方向,平台搭建/优化/运维/监控.大 ...

大数据学习——HDFS退役旧数据节点

HDFS退役旧数据节点

大数据学习——HDFS退役旧数据节点相关推荐

最新文章

热门文章