hadoop删除节点
今天在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下:
1, 从集群中移走节点,需要对移走节点的数据进行备份:
在主节点的core-site.xml配置文件中添加如下内容:
<property>
<name>dfs.hosts.exclude</name>
<value>/home/hadoop/hadoop/conf/excludes</value>
</property>
说明
dfs.hosts.exclude:指要删除的节点
/home/hadoop/hadoop/conf/excludes:指定要被删除文件所在路径及名称,该处定义为excludes
2, 在1中设置目录中touch excludes,内容为每行需要移走的节点
cloud4
cloud5
3,进入 运行命令:hadoop dfsadmin -refreshNodes(我这用的yum安装的,不同安装方式hadoop目录会在不同路径),该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。
执行完成被删除节点datanode消失了,但是tasktracker还会存在,需要自己手动停掉
4,然后通过 bin/hadoop dfsadmin -report查看,结果如下:
Configured Capacity: 17721082527744 (16.12 TB)
Present Capacity: 16806607028262 (15.29 TB)
DFS Remaining: 14996775104512 (13.64 TB)
DFS Used: 1809831923750 (1.65 TB)
DFS Used%: 10.77%
Under replicated blocks: 6788
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 6 (6 total, 0 dead)
Name: 192.168.1.5:50010
Decommission Status : Normal
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 265079108972 (246.87 GB)
Non DFS Used: 150286670484 (139.97 GB)
DFS Remaining: 2538145878016(2.31 TB)
DFS Used%: 8.98%
DFS Remaining%: 85.94%
Last contact: Thu Sep 08 10:12:45 CST 2011
Name: 192.168.1.8:50010
Decommission Status : Decommission in progress
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 228590288896 (212.89 GB)
Non DFS Used: 150240718848 (139.92 GB)
DFS Remaining: 2574680649728(2.34 TB)
DFS Used%: 7.74%
DFS Remaining%: 87.17%
Last contact: Thu Sep 08 10:12:45 CST 2011
Name: 192.168.1.7:50010
Decommission Status : Normal
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 266826599821 (248.5 GB)
Non DFS Used: 150259458675 (139.94 GB)
DFS Remaining: 2536425598976(2.31 TB)
DFS Used%: 9.03%
DFS Remaining%: 85.88%
Last contact: Thu Sep 08 10:12:46 CST 2011
Name: 192.168.1.9:50010
Decommission Status : Decommission in progress
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 226060701696 (210.54 GB)
Non DFS Used: 150240718848 (139.92 GB)
DFS Remaining: 2577210236928(2.34 TB)
DFS Used%: 7.65%
DFS Remaining%: 87.26%
Last contact: Thu Sep 08 10:12:45 CST 2011
Name: 192.168.1.4:50010
Decommission Status : Normal
Configured Capacity: 2953524240384 (2.69 TB)
DFS Used: 553202110857 (515.21 GB)
Non DFS Used: 163197603447 (151.99 GB)
DFS Remaining: 2237124526080(2.03 TB)
DFS Used%: 18.73%
DFS Remaining%: 75.74%
Last contact: Thu Sep 08 10:12:46 CST 2011
Name: 192.168.1.6:50010
Decommission Status : Normal
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 270073113508 (251.53 GB)
Non DFS Used: 150250329180 (139.93 GB)
DFS Remaining: 2533188214784(2.3 TB)
DFS Used%: 9.14%
DFS Remaining%: 85.77%
Last contact: Thu Sep 08 10:12:44 CST 2011
5,通过4中命令可以查看到被删除节点状态,如192.168.1.9
Decommission Status : Decommissioned
说明从91往其他节点同步数据已经完成,如果状态为Decommission Status : Decommissione in process则还在执行。
至此删除节点操作完成
问题总结
在拔掉节点时注意要把往hadoop放数据程序先停掉,否则程序还会往要删除节点同步数据,删除节点程序会一直执行。
转载于:https://www.cnblogs.com/licheng/archive/2011/11/08/2241854.html
hadoop删除节点相关推荐
- Hadoop 新增删除节点
1 新增Data节点 1.1 修改/etc/hosts,增加datanode的ip 1.2 在新增加的节点启动服务 hadoop-daemon.sh start datanode yarn-daemo ...
- Hadoop热添加删除节点(含Hbase)
2019独角兽企业重金招聘Python工程师标准>>> 添加节点 1.修改host 和普通的datanode一样.添加namenode的ip 2.修改namenode的配置文件 ...
- 一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
- hadoop 多节点集群_设置Apache Hadoop多节点集群
hadoop 多节点集群 我们正在分享有关在基于Linux的机器(多节点)上安装Apache Hadoop的经验. 在这里,我们还将分享我们在各种故障排除方面的经验,并在将来进行更新. 用户创建和其他 ...
- hadoop三节点搭建
hadoop三节点搭建 test102 K8s-node hdc-data3 1.准备工作确保三台虚拟机都安装了JDK三台机子互相可以ping通 2.上传hadoop安装包到虚拟机,并解压,修改文件夹 ...
- solr-cloud 集群动态增加、删除节点
本次讲述动态增加节点基于上一章集群搭建的基础上来讲:https://blog.csdn.net/u013490585/article/details/86494476 上一章的例子中用了3台zk,4台 ...
- 启动hadoop的节点
1.启动hadoop的节点 start-dfs.sh 本文转自 素颜猪 51CTO博客,原文链接:http://blog.51cto.com/suyanzhu/1959242
- c语言结点初始化,C语言双向链表简单实现及图示(初始化/插入节点/删除节点)...
-------------------------------------------- 双向链表 - - - - - - - - - - - - - - - - - - - - - - - - - ...
- 双链表(删除节点操作)
在双链表中删除第i个节点算法如下: 首先要会: 双链表的存储结构定义: typedef struct DLinkList{int data;DLinkList * prior;DLinkList * ...
最新文章
- 微信小程序安卓机使用uploadfile提示undefined错误原因
- 桌面时钟代码_iOS 14 制作自己的桌面 Widget
- 搭建K8s集群(平台规划和部署方式介绍)
- 窗体跳转与传值 02
- android bundle传递参数,android – 使用bundle将数据从一个活动传递...
- 将指定用户下所有表的查询权限赋权给查询用户
- onenote打开闪退平板_ipad pro 11英寸。onenote闪退 无法使用
- Dev C++源代码未编译
- 障碍物参考线交通规则融合器:Frame类
- 乳清蛋白和支链氨基酸不得不说的关系
- Introducing Android Instant Apps - Google I-O 2016 翻译字幕
- linux文件中出现 m,在linux中文件中^M符号的问题以及中文识别问题
- 人工智能专业好就业吗?AI就业前景
- 区块链技术培训—从技术小白到年薪百万区块链工程师的进阶之路
- OSI七层协议和Tcp/IP五层协议,路由器交换机和HUB的区别
- Android开发最佳实践
- 【毕业设计_课程设计】基于神经网络学习的在线纸币识别【源码+论文】
- 基于opencv的人脸识别和检测
- BEA广州UG腐败日--1st time
- 递归算法——阶乘、斐波那契数列
热门文章
- Codeforces Round #250 (Div. 2) A - The Child and Homework
- 网络存储技术介绍(1) ( based on zt)
- 存储过程打印超过8000的VARCHAR字符的问题
- 解决 LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
- 残疾人无障碍设施工程改造送上门 900户家庭
- 《.NET设计规范 约定、惯用法与模式》读书笔记
- 2/100. Hamming Distance
- 用函数式编程,从0开发3D引擎和编辑器(三):初步需求分析
- 浏览器记住密码之后,input背景变黄
- jquery通过ajax向后台发送(checkbox)数组,并在后台接收,(发送的数据是checkedbox)...