hadoop添加服务器及白名单和黑名单的设置

2024-05-18 23:12:17

1.添加新的节点

用文件同步脚本将其他服务器的Hadoop及其配套文件同步即可。
需要注意的是要将之前的系统文件删除（data和log）。

白名单和黑名单不能添加相同的主机。白名单是在构建集群时使用来规定合法的节点的。黑名单是用于退役节点。黑名单退役的节点会将自身存在的文件副本添加到其他集群做备份，而白名单不会。

2.为了防止不知名datanode服务器添加进来我们应该设置白名单。

1.在NameNode主机下的hadoop2.7.2（我的是这个版本）的文件夹中的etc文件夹中的hadoop文件夹中添加一个dfs.hosts(名字任意，默认使用他)
添加下面内容，这是我的允许访问的datanode节点。

hadoop1
hadoop2
hadoop3
hadoop4

在hadf-site.xml文件夹中添加下面那段代码

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

用同步脚本同步一下。在刷新一下namenode

hdfs dfsadmin -refreshNodes

如果删除节点后的数据不均衡可以使用均衡命令

3.黑名单

1.在NameNode主机中的hadoop文件夹中的etc/hadoop创建dfs.hosts.exclude文件。在其中添加要加入黑名单的主机名
2.在hdfs-site.xml文件中添加dfs.hosts.exclude

<property>
<name>dfs.hosts.exclude</name><value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3.刷新NameNode和ResourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

4.j检查web浏览器，退役节点decommission in progress（退役中），检查副本，我设置默认是4个，在105推去后，回去其他地方备份。

hadoop添加服务器及白名单和黑名单的设置相关推荐

hadoop集群的白名单和黑名单示例说明
白名单示例说明: 说明添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出. web浏览器查看添加白名单前: 配置白名单的具体步骤如下: (1)在NameNode的/ ...
如何查看linux服务器的白名单,linux服务器iptables防火墙白名单添加方式
1.Redhat操作系统只添加IP白名单,不限制端口 1.1.防火墙关闭状态示例 172.31.3.191主机防火墙为关闭状态 172.31.3.32与172.31.3.88两台主机均能正常telne ...
sshd服务的白名单与黑名单
文章目录起因过程总结起因在公司进行整理服务器列表时,发现一个问题,有些服务器是ping不通的: 有些服务器可以ping通,但是ssh是没法远程的: 但是他们都可以在jumpserver上进行 ...
Nginx设置图片防盗链（白名单与黑名单）
点击蓝字关注这个神奇的公众号- 某些时候可能您会发现,别人网站直接将您的网站图片拿过去使用,导致额外消耗服务器流量和带宽,如果本身服务器带宽和流量就比较小,被人盗链后势必会造成一定影响.这篇文章分享下 ...
SpamAssassin白名单和黑名单选项
白名单和黑名单选项 whitelist_from 邮件地址它用于指定通常被误判为发送的垃圾邮件的发信地址. 并不推荐使用这个选项,垃圾邮件或钓鱼邮件的发送者非常简单的就可以制造一些让它盲目信任的邮件 ...
android 添加安装权限白名单
点击打开链接有些项目不允许所有APK都拥有安装权限,例如apk只能通过应用商城来安装或者升级,只允许某些特定的apk自升级,不允许pm install等.这就需要添加安装权限白名单来控制. 1.pa ...
微信小程序登录-利用Oenid实现白名单和黑名单
微信小程序登录-利用Oenid实现白名单和黑名单 1.通过获取openid 存储到数据库中 2.结合数据库中额用户资料实现白名单和黑名单.
具备白名单、黑名单的Filter基类扩展
问题引入: 比如定义了一个mapping, <servlet-mapping> <servlet-name>html_dispatcher</servlet-name&g ...
(谷歌)Chrome浏览器添加扩展程序白名单
谷歌浏览器添加扩展程序白名单 1. 下载文件下载后解压,得到 chrome.adm 点击下载 2.安装文件 Win+R 打开运行,输入 gpedit.msc,确定: 依次展开本地计算机策略 > ...

最新文章

热门文章