HDFS中的白名单和黑名单

2024-04-22 23:46:30

配置白名单

（1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件，
添加如下主机名称（不添加hadoop105）

hadoop102
hadoop103
hadoop104

（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

（3）配置文件分发

xsync hdfs-site.xml
xsync dfs.hosts

（4）刷新NameNode

hdfs dfsadmin -refreshNodes

（5）更新ResourceManager节点

yarn rmadmin -refreshNodes

如果更新后，还存在，手动停掉hadoop105的nodemanager

（6）在web浏览器上查看

黑名单退役

在黑名单上面的主机都会被强制退出

在操作以下案例前，先将hadoop105恢复为正常状态(修改hdfs-site,删除dfs.hosts最后同步文件并刷新节点)

1.在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件，
添加如下主机名称（要退役的节点）

hadoop105

2．在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
<name>dfs.hosts.exclude</name><value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

同步上面修改的两个文件xsync

3．刷新NameNode、刷新ResourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

4.检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点，如图所示

5. 等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役，如图所示

sbin/hadoop-daemon.sh stop datanode
stopping datanode
sbin/yarn-daemon.sh stop nodemanager

6.如果数据不均衡，可以用命令实现集群的再平衡

sbin/start-balancer.sh

注意：不允许白名单和黑名单中同时出现同一个主机名称。

HDFS中的白名单和黑名单相关推荐

HDFS白名单和黑名单机制
白名单允许哪些机器可以加入到当前的HDFS集群中. 通过在hdfs-site.xml中配置dfs.hosts参数来指定白名单,dfs.hosts默认值为空,表示所有机器都可以加入集群中. 白名单配置 ...
hadoop集群的白名单和黑名单示例说明
白名单示例说明: 说明添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出. web浏览器查看添加白名单前: 配置白名单的具体步骤如下: (1)在NameNode的/ ...
hadoop添加服务器及白名单和黑名单的设置
1.添加新的节点用文件同步脚本将其他服务器的Hadoop及其配套文件同步即可. 需要注意的是要将之前的系统文件删除(data和log). 白名单和黑名单不能添加相同的主机.白名单是在构建集群时使用来 ...
微信小程序登录-利用Oenid实现白名单和黑名单
微信小程序登录-利用Oenid实现白名单和黑名单 1.通过获取openid 存储到数据库中 2.结合数据库中额用户资料实现白名单和黑名单.
Nginx设置图片防盗链（白名单与黑名单）
点击蓝字关注这个神奇的公众号- 某些时候可能您会发现,别人网站直接将您的网站图片拿过去使用,导致额外消耗服务器流量和带宽,如果本身服务器带宽和流量就比较小,被人盗链后势必会造成一定影响.这篇文章分享下 ...
SpamAssassin白名单和黑名单选项
白名单和黑名单选项 whitelist_from 邮件地址它用于指定通常被误判为发送的垃圾邮件的发信地址. 并不推荐使用这个选项,垃圾邮件或钓鱼邮件的发送者非常简单的就可以制造一些让它盲目信任的邮件 ...
sshd服务的白名单与黑名单
文章目录起因过程总结起因在公司进行整理服务器列表时,发现一个问题,有些服务器是ping不通的: 有些服务器可以ping通,但是ssh是没法远程的: 但是他们都可以在jumpserver上进行 ...
具备白名单、黑名单的Filter基类扩展
问题引入: 比如定义了一个mapping, <servlet-mapping> <servlet-name>html_dispatcher</servlet-name&g ...
Netty中基于ip的白名单或者黑名单机制示例
使用Netty 4.1.23版本需要用到白名单机制,发现网上很多资料都是介绍IpFilterRuleHandler,仔细一看4.x版本中找不到这个,而5.x又不被推荐使用,因此仔细查看官方4.x文档发 ...

最新文章

热门文章