Hadoop节点热拔插

一、 Hadoop节点热拔插

在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。在这些操作中不希望对集群进行重启。

2.在集群中添加节点：

a. 把新节点IP或者主机名字加入到主节点的slaves文件。

b. 登录到新节点，执行：

cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker

3. 从集群中移走节点，且对移走节点的数据进行备份：

a. 在主节点的hdfs-site.xml配置文件中添加

<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>

b. 在主节点的$HADOOP_HOME目录下新建文件excludes，每行为需要移走的节点，该例为s140。

c. 运行命令：hadoop dfsadmin -refreshNodes，该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置，无需重启NameNode。此刻datanode消失了，但是tasktracker还存在。

d. 然后通过 bin/hadoop dfsadmin -report查看，结果如下：

Name: 192.168.3.140:50010 Decommission Status : Decommission in progress Configured Capacity: 310716715008 (289.38 GB) DFS Used: 59891990052 (55.78 GB) Non DFS Used: 20663939548 (19.24 GB) DFS Remaining: 230160785408(214.35 GB) DFS Used%: 19.28% DFS Remaining%: 74.07% Last contact: Fri Aug 13 10:17:20 GMT+08:00 2010 Name: 192.168.3.136:50010 Decommission Status : Normal Configured Capacity: 487925370880 (454.42 GB) DFS Used: 101679245034 (94.7 GB) Non DFS Used: 55873218838 (52.04 GB) DFS Remaining: 330372907008(307.68 GB) DFS Used%: 20.84% DFS Remaining%: 67.71% Last contact: Fri Aug 13 10:17:21 GMT+08:00 2010

e. 在停掉节点Decommission Status不为Normal前, mapreduce操作会出现异常。

f. 节点移走64G数据需要十分钟左右。

二、数据负载均衡

1. 在Hadoop集群中新添加一个Datanode时，需要对集群数据进行负载均衡。

2. 在主节点运行bin/start-balancer.sh命令，可以添加参数-threshold 5，threshold是平衡阈值，默认是10%，值越小负载越均衡，但需要更长的时间去执行。

3. 添加s140到集群，执行负载均衡半个小时共负载了4G的数据。

转自：http://blog.csdn.net/dajuezhao/article/details/5872923

转载于:https://www.cnblogs.com/viviancc/archive/2012/03/05/2380743.html

Hadoop节点热拔插相关推荐

U盘的热拔插/自动挂载跟linux2.6 kernel、 udev、 hal、 dbus 、gnome-mount 、thunar的关系...
U盘的热拔插/自动挂载跟linux2.6 kernel. udev. hal. dbus .gnome-mount .thunar的关系博客分类: System About Linux配置管理网络应 ...
嵌入式linux pcie网卡配置,[嵌入式linux]PCIe 热拔插（rescan）
linux下可通过/sys/bus/pci/devices/0000\:[bus number]\:[device number].[function number]/ 目录下的节点进行热拔插操作. ...
韦东山二期驱动视频-热拔插驱动——RK3399自制linux系统不支持HDMI热拔插问题分析
背景: 公司的板子,对于HDMI的显示器热拔插不支持,只能在插入HDMI时启动才能输出,而当开机之后,再插入HDMI显示器则无输出,不知道原因. 推测如下: 1.设备树的引脚配置有误,导致插入HDMI ...
Netlink实现热拔插监控
新的Linux内核使用udev代替了hotplug作为热拔插管理, 虽然有udevd管理热拔插,但有时候我们还是需要在应用程序中检测热拔插事件以便快速地处理,比如在读写SD卡的时候拔下SD卡,那么需要 ...
HDMI热拔插电路举例说明
HDMI_PLUG 最近设计关于HDMI的接口设计,在热拔插上纠结了很久,现在总结下. 如图我们HDMI接口的18脚为外部输入电压5V,而19脚是我们的检测脚,该脚在内部是有一个500k的电阻接到地 ...
Weston中HDMI热拔插检测
Weston中的检测 drm_backend_create在创建时,会创建一个循环获取热拔插事件. b->udev_drm_source =wl_event_loop_add_fd(loop,u ...
【Orangepi Zero2 全志H616】语音刷抖音 / 手机连接Linux热拔插相关
目录一.手机连接Linux步骤二.adb控制指令三.基于Linux串口实现语音刷抖音 1.语音模块控制详情 2.代码实现一.手机连接Linux步骤 1.把手机接入开发板 2.安装adb工具,在 ...
[热拔插] 轻量级Winform插件式框架
写在前面的话对于大神,Winform这种"古董玩具",实在没太多"技术性"可言了,然而『好用才是王道』,本文不以技术为卖点,纯属经验之谈,欢迎交流拍砖朴素版 ...
【PCI】pcie-switch应用——热拔插（七）
内核热插拔驱动 PCI设备在BIOS启动阶段枚举,之后传给linux内核,由linux内核将每个PCI设备注册到pci_bus_type总线上,进而匹配pci驱动,如下图所示. PCI桥设备也会匹配p ...

Hadoop节点热拔插

Hadoop节点热拔插相关推荐

最新文章

热门文章