Hadoop集群扩展子节点

上次发了部署八节点hadoop集群的博客，本来想把master也做为一个datanode，后来感觉不太合适，最后决定还是扩展一个子节点吧。

首先是准备新的节点

安装jdkhttp://blog.csdn.net/fontthrone/article/details/77915256
配置sshhttp://blog.csdn.net/fontthrone/article/details/77916630

清除原来集群的文件

再扩展节点之后有几个文件需要清除，不然的话，无法将无法启动新的九节点集群，以我的2号节点为例，ssh登录子节点之后，直接删除文件夹再创建空文件夹即可

ssh ubuntu02
rm -rf hadoop-2.7.4/tmp
rm -rf hadoop-2.7.4/dfs/data
rm -rf hadoop-2.7.4/dfs/name
mkdir hadoop-2.7.4/dfs/name
mkdir hadoop-2.7.4/dfs/data
mkdir hadoop-2.7.4/tmp
exit

格式化namenode

bin/hdfs namenode -format

启动服务,查看集群信息

可用硬盘2.69T之巨,跑跑数据足够了

Hadoop集群扩展子节点相关推荐

Hadoop集群HDFS各节点磁盘使用率不平衡，使用balancer做数据平衡
HDFS上各节点磁盘大小不一致,新增节点数据平衡前,是非常不均衡的,某些节点已经接近90了集群的数据平衡已经迫在眉睫,必须要搞一搞了. 1.设置传输速率我这里是万兆网卡,就先设置100M了在两 ...
Hadoop集群添加新节点正确操作步骤
新加入的节点必须启动相关进程编辑白名单执行refresh命令
关于hadoop集群常见的节点失联问题
节点失去心跳 1.先看下是否能连上ssh上去看一下,或者ping一下如果能连上的考虑是主机名和时间同步问题查看hostname是不是发生了变化,检查/etc/hosts文件是否一致查看时间与na ...
Hadoop集群的基本操作（四：Hive的基本操作）
实验目的要求目的: (1)掌握数据仓库工具Hive的使用: 要求: 掌握数据仓库Hive的使用: 能够正常操作数据库.表.数据: 实验环境五台独立PC式虚拟机: 主机之间有有效的网络连接 ...
Hadoop集群搭建（八：Hive的安装配置）
实验目的要求目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
实战CentOS系统部署Hadoop集群服务
导读 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高 ...
Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
1.Hadoop依赖软件 Hadoop基于Java语言开发,因此其运行严重依赖于JDK(Java Development Kit),并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性 ...
Hadoop集群的基本操作（五：Sqoop的基本操作）
实验目的要求目的: 掌握ETL工具Sqoop的使用: 掌握MySQL和HDFS之间的数据转换: 要求: 掌握ETL工具Sqoop的使用: 能够正常操作数据库.表.数据: 实验环境五台独立 ...
Hadoop集群搭建（九：各服务的启动）
1.查看Zookeeper服务状态,若集群中只有一个"leader"节点, 其余的均为"follower"节点,则集群的工作状态正常 $zkServer.sh ...

Hadoop集群扩展子节点

首先是准备新的节点

清除原来集群的文件

格式化namenode

启动服务,查看集群信息

Hadoop集群扩展子节点相关推荐

最新文章

热门文章