Hadoop DataNode 下线操作

hadoop datanode如何安全的下线，不影响线上数据，在这里记录一下备忘。

前提

在namenode机器的hdfs-site.xml中必须包含以下配置,在standby namode同样加上：

  <property>    <name>dfs.hosts.exclude</name><value>${hadoop_home}/etc/hadoop/dfs_exclude</value></property>

如果没有可以手动添加，不需要重启hdfs
加入slave文件中有6台机器，要下线其中的3台
slaves 如下

dn1
dn2
dn3
dn4
dn5
dn6

配置exclude下线列表

在两台namenode做以下操作

touch dfs_exclude
vim dfs_exclude
加入以下内容
dn4
dn5
dn6

执行

hadoop dfsadmin -refreshNodes

会在namenode:50070的页面上看到Decomissioning页面会出现你配置的机器，开始拷贝block到其他机器，执行完成后状态会变成Decommissioned。

关闭datanode

./hadoop-daemon.sh stop datanode

再次修改slaves文件为

dn1
dn2
dn3

并且删掉dfs_exclude文件中的host为空
重新执行 hadoop dfsadmin -refreshNodes 即可。
Ps：如果是3副本的情况下，最多只能同时下线2台。为了以防万一block丢失，还是一台台下线比较稳妥。

Hadoop DataNode 下线操作相关推荐

Hadoop DataNode启动之heartbeat
heartbeat是DN与NN之间的一种通信机制,DN会通过它向NN汇报自身是否存活,当然还有其他信息,当一个DN超过一段时间没发送心跳信号,则NN认为该节点已失效,会对该节点上的数据进行修复,节点退 ...
5. Hadoop集群操作
5. Hadoop集群操作 5.1 启动Hadoop集群 5.1.1 格式化文件系统如果集群是第一次启动,需要在hadoop102节点格式化NameNode. 注意:格式化NameNode,会产生新 ...
Hadoop DataNode : Address already in use
1.背景发现dataNode挂了,但是重启的时候报错Hadoop DataNode : Address already in use 报错: 2.确认端口
西加云杉700E设备AAA认证之移动设备的上下线操作
简介目的: 通过代码实现移动设备的上下操作上线操作调用方式 public static void main(String[] args) {ChapAuthTest(); }/*** 上线请求测 ...
hadoop扩充磁盘操作记录
记录cloudera扩充磁盘 1.4台主机,每台主机增加一块2TB的硬盘 2.首先简单说明步骤 A.分区,挂载(挂载目录(名称,路径)要一致) B.在挂载的分区内,建立对应的文件夹,并授权 C.在cd ...
【Hadoop】HDFS操作、数据上传与下载原理解析、高级特性及底层原理
HDFS操作.数据上传与下载原理解析.高级特性及底层原理 1 HDFS操作 1.1 Web Console网页工具 1.2 命令行 1.2.1 普通的操作命令 1.2.2 管理员命令 1.3 Java ...
Hadoop BUG和采坑集锦—阿里云ECS配置Hadoop, datanode一直显示localhost, 下载文件失败
问题描述我个人的阿里云主机,在上面搭建Hadoop,主要配置如下: /etc/hosts文件内容: ~etc/hadoop/hdfs-site.xml文件内容为了方便大家复制粘贴下面是源码 < ...
第五天 hadoop DataNode、节点的退役与服役
DataNode和MR运行原理一.DataNode概述 <1>配置DataNode宕机时间 <2>DataNode的多目录配置二.节点的服役和退役 <1>节点的 ...
Hadoop HDFS文件操作的Java代码
1.创建目录 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.ha ...

Hadoop DataNode 下线操作

前提

配置exclude下线列表

执行

关闭datanode

Hadoop DataNode 下线操作相关推荐

最新文章

热门文章