如有不理解的请先参考
Hadoop核心组件的介绍(一)
https://mp.csdn.net/postedit/102629533
Hadoop核心组件的HDFS安装与配置(二)
https://mp.csdn.net/postedit/102634658

HDFS节点管理

增加节点

工作流程

启动新增节点nw系统,安装运行Java运行环境(java1.8.0-openjdk-devel)
设置nn节点主机对新增节点主机nw(192.168.1.64)SSH免密登录
修改nn节点主机的/etc/hosts文件,增加nw主机信息
修改nn节点主机的slaves文件,增加新增节点nw主机名
拷贝nn节点的/usr/local/hadoop到新增主机nw的/usr/local下
在nw节点启动DataNode

[root@nw ~]#  cd /usr/local/hadoop
[root@nw ~]#  ./sbin/hadoop-daemon start datanode          #启动DataNode
[root@nw ~]#  jps        #查看该节点的角色

但是此时在NameNode节点上还是查不到该节点的状态信息,那么我们还需要执行下满的同步数据

在nw节点主机上设置同步带宽,并同步数据
如果不进行数据同步,那么会出现旧的DataNode节点数据存储快满了,而新增加的DataNode节点数据还未存满的情况.

[root@nw ~]#  ./bin/hdfs dfsadmin -SetBalanceBandwidth 60000000   #设置同步数据时使用的带宽
[root@nw ~]#  ./sbin/start-balancer.sh       #执行数据同步,尽量是数据块能均匀的存储在所有的DataNode节点主机上

nn主机上查看集群状态

[root@nn ~]#  ./usr/local/hadoop/etc/hadoop/bin/hdfs dfsadmin -report

修复节点

分为两种情况

服务重启类的修复
重启节点主机后,在该节点主机启动服务

~]#  ./usr/local/hadoop/etc/hadoop/sbin/hadoop-daemon start datanode  #启动DataNode节点服务

这里由于只是DataNode的主机重启,配置文件并未发生改变,只需要启动服务.让主机上线,数据会自动进行恢复.如果数据量比较大,可能需要一段时间

更换机器类的修复
更换DataNode主机后,将NameNode主机上的hadoop拷贝一份到新的主机,在新主机上安装Java环境,不过这里要注意的是,更换的机器主机名和IP必须和被替换机器的主机名和IP相同,然后参考服务器重启类的修复即可.

删除节点

1. 配置NameNode节点的hdfs-site.xml,增加排除主机配置

[root@nn ~]# cd /usr/local/hadoop/etc/hadoop/
[root@nn hadoop]# vim hdfs-site.xml
<configuration>
... ...
<property><name>dfs.hosts.exclude</name>    #增加排除主机参数<value>/usr/local/hadoop/etc/hadoop/exclude</value> #指定配置文件路径</property>
</configuration>

2. 添加exclude配置文件,写入要删除的节点主机名称

[root@nn hadoop]# vim /usr/local/hadoop/etc/hadoop/exclude
nw

3. 更新数据

[root@nn hadoop]#  ./bin/hdfs dfsadmin -refreshNodes

在这里需要说一下,NameNode使用./bin/hdfs dfsadmin -report查看节点状体有三种模式

Normal:正常状态
Decommissioned inProgram : 数据正在迁移
D而commissioned: 数据迁移完成
注意:其中前两种状态下不能随便删除主机,否则会导致数据丢失,集群崩溃,当数据迁移完成后,可以关闭你在配置文件中写的节点主机了.

Yarn节点管理

Yarn节点主机的增加删除非常简单

增加节点

给新主机安装Java运行环境(java1.8.0-openjdk-devel)
2.在NameNode节点的修改/etc/hosts文件,增加新节点信息,并将/etc/hosts文件和hadoop拷贝给新增加的主机
3.在新增节点主机上启动NodeManager服务
]# ./sbin/yarn-daemon.sh start nodemanager

删除节点
在需要被删除的主机上执行:
]# ./sbin/yarn-daemon.sh stop nodemanager
直接暂停即可,因为NodeManager节点不许要存储数据,所以不需要进行数据同步等操作,删除NodeManager后只会降低计算性能.
查看节点
]# ./bin/yarn node -list

Hadoop核心组件的节点管理(四)相关推荐

数据库管理-第四十九期 Exadata的存储节点管理（20221223）
数据库管理 2022-12-23 第四十九期 Exadata的存储节点管理 1 咋个查看数据是否被缓存到闪存卡了没 2 EM13.5的Exadata监控 3 存储降级总结第四十九期 Exadata ...
六十.完全分布式、节点管理、 NFS网关
1.安装与部署对mapred和yarn文件进行配置验证访问Hadoop 在六十准备好的环境下给master (nn01)主机添加ResourceManager的角色,在node1,node2,no ...
Hadoop核心组件以及发行版
Hadoop核心组件之分布式存储框架HDFS 源于Google的GFS论文,论文发表与2003年10月 HDFS时GFS的克隆版 HDFS特点:扩展性很好.容错性很好.能够存储海量数据 HDFS将文件 ...
Hadoop核心组件详解—HDFS、YARN、MapReduce
Hadoop 是一个开源的分布式计算和存储框架,它的作用非常简单,就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境,并能为其他分布式应用服务提供平台支持,相当于在某种程度上将多台计算机组织成 ...
学习笔记Hadoop（二）—— Hadoop介绍（2）——Hadoop 核心组件
二.Hadoop 核心组件 2.1.Apache Hadoop简介 Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架.它实现了Map/Reduce编程范型,计算任务会 ...
20151208_使用windows2012配置weblogic节点管理器
经过实践,weblogic节点管理器的作用主要有两点: 1.可通过weblogic控制台远程控制被管server启停. 2.可以自动重启被管server的进程,并且对spring框架提供比直接启动更快 ...
hadoop学习——Hadoop核心组件
hadoop学习--Hadoop核心组件下图展示了hadoop生态系统的核心组件. 下面来简单介绍各个组件的作用: HDFS(Hadoop distribute file system)--Hado ...
基于Hadoop的高校教学管理平台设计与实现
摘要: 随着信息化的推进,高校已经建设了很多信息化系统,积累了大量的数据.如何从海量数据中,挖掘有用.有价值的信息,支撑智慧校园的建设,成为需要迫切解决的问题.文中就高校大数据平台的关键技术和架构进行 ...
mgr未同步 mysql_MySQL MGR 节点管理及故障切换
MySQL MGR 节点管理及故障切换 MySQL Group Replication(MGR)框架让MySQL具备了自动主从切换和故障恢复能力. 本文介绍节点管理及故障切换: 1)MGR节点管理及故 ...

Hadoop核心组件的节点管理(四)