在现有集群环境下动态增加（下架）新的节点
- 一 配置新节点的环境
- 二 把新节点的主机名hostname加入到主节点的slaves中
- 三 在新节点中启动datanode和tasktracker
- 四 在主节点中刷新集群拓扑结构
- 五查看与验证
- 浏览器端查看
- 六 关于下架
有此需求，便有此设计与实现。
我们对如下情形的网络拓扑结构进行新节点的配置
| 主机名 | 属性 |
|---|---|
| hadoop0 | namenode, jobtracker |
| hadoop1 | datanode, secondarynamenode, tasktracker |
| hadoop2 | datanode, tasktracker |
一、 配置新节点的环境
不是一般性的，我们不妨将主节点作为新节点（datanode，或者tasktracker）加入到当前网络拓扑结构中，这句话包含的一层意思是主节点也可以作为从节点使用。对主节点使用jps查看java进程数：
这里的需配置的地方如下：
jdk和hadoop的安装，并从主节点拷贝一份hadoop的配置文件conf/*，以及配置环境变量
主机名和ip地址的统一管理；
主节点向该节点的ssh免密码登录；
详细信息可参看hadoop完全分布式集群搭建。
二、 把新节点的主机名（hostname）加入到主节点的slaves中
vim conf/slaveshadoop0三、 在新节点中，启动datanode和tasktracker
如果已将hadoop/bin目录添加进环境变量，可在任意路经下执行：
hadoop-damen.sh start datanode
hadoop-damen.sh start tasktracker四、 在主节点中，刷新集群拓扑结构
hadoop dfsadmin -refreshNodes五、查看与验证
start-all.sh 使用jps命令，查看主节点（既作为主节点，又作为从节点）的java进程数：
浏览器端查看
在浏览器地址栏输入hadoop0:50070：
六、 关于下架
只需对新节点执行：
kill -9 datanode的进程ID号我们进入浏览器端会发现hadoop与系统与该节点的last contact的数值一直在增加：
当该数值增大到一定阈值，live nodes值会变为2，dead nodes变为1.
当namenode检测到某个节点宕机之后，会利用hadoop文件的副本机制，重新拷贝一份宕机节点的数据到另外一个节点以维持设定的副本数。
在现有集群环境下动态增加（下架）新的节点相关推荐
- MEMCACHED在集群环境下对并发更新是否保持数据一致
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 今天在和 ...
- weblogic 12C集群环境下的session复制
做过weblogic集群环境的人应该都清楚,要想实现session同步,必须满足两个条件:第一,在weblogic.xml里面增加session同步相关的代码:第二,所有放入session的类都要序列 ...
- 【基于唯品会MP平台】集群环境下session共享技术方案及分布式单点登录
背景 传统的B/S架构的系统中,一般为单点部署,并不存在集群,所以也不存在session丢失的问题.那么,由于单点部署一旦宕机,无法保证系统可用性,那我们就想到把它扩展为多台服务器部署,这样既保证了系 ...
- quartz在集群环境下的最终解决方案
在集群环境下,大家会碰到一直困扰的问题,即多个 APP 下如何用 quartz 协调处理自动化 JOB . 大家想象一下,现在有 A , B , C3 台机器同时作为集群服务器对外统一提供 SERVI ...
- 分布式集群环境下，如何实现session共享三（环境搭建）
这是分布式集群环境下,如何实现session共享系列的第三篇.在上一篇:分布式集群环境下,如何实现session共享二(项目开发)中,准备好了一个通过原生态的servlet操作session的案例.本 ...
- Java技术分享：集群环境下的定时任务
定时任务的实现方式有多种,例如JDK自带的Timer+TimerTask方式,Spring 3.0以后的调度任务(Scheduled Task),Quartz框架等. Timer+TimerTask是 ...
- 在非容器(集群)环境下运行dapr
作者:李俱顺 原文:https://www.4async.com/2021/03/2021-03-11-running-dapr-without-container/ 前一段时间一直关注的dapr正式 ...
- 集群环境下，你不得不注意的ASP.NET Core Data Protection 机制
引言 最近线上环境遇到一个问题,就是ASP.NET Core Web应用在单个容器使用正常,扩展多个容器无法访问的问题.查看容器日志,发现以下异常: System.Security.Cryptogra ...
- Hadoop集群环境下网络架构的设计与优化
2019独角兽企业重金招聘Python工程师标准>>> 大数据时代,研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构.优化业务逻辑.优化数据分析算法.优化节点性能等方向,而 ...
最新文章
- php和python交互-python与php的比较
- C++ Primer 5th笔记（chap 13 拷贝控制）拷贝赋值函数
- CF1325D：Ehab the Xorcist（位运算）
- C#控件之Repeater控件使用
- Three.js 新旧版本区别
- 百钱买白鸡与啤酒饮料
- oracle事务重要属性,Oracle中的事务(2)--属性和隔离级别
- jxl导入/导出excel（网上的案例）
- sys_brk分析 linux1.2.0版本,linux内存管理之sys_brk实现分析(续)
- java spring配置类_spring 配置 Java配置类装配bean
- StringUtil.isNotEmpty(转)
- 服务器ghost备份后无法进入系统还原,ghost恢复后，系统不能启动的问题
- golang 报错 missing go.sum entry
- Android华为平行视界/小米横屏模式适配(左右分屏)
- 20万赚200万,48岁创业者是这样吊打小鲜肉的！
- 计算机毕业设计Java诚越园区垃圾分类信息科普系统(源码+系统+mysql数据库+lw文档)
- 手机轻松远程投屏，用Windows电脑一次看5个抖音账号！
- 5个wordpress资源网站推荐
- 用go写一个docker(9)-初步构造容器
- Mysql 安装 000007b_Win7安装软件出现应用程序无法正常启动0xc000007b的提示怎么解决...