安装准备

1) 3台centOS7.0系统 ecs

2) 2.8.0 hadoop 安装包

准备工作

首先 在ip_01主机上将/etc/hosts文件进行ip映射

127.0.0.1 localhost
ip_01 NN #名称节点
ip_02 DN01 #数据节点01
ip_03 DN02 #数据节点02

使用scp命令将ip_01上的 hosts文件 复制到其它节点

scp -r /etc/hosts root@DN01:/etc/
scp -r /etc/hosts root@DN02:/etc/

⚠️ 最好在覆盖之前进行备份操作

mv /etc/hosts /etc/hosts_back

    其次 配置ssh免密连接，执行以下命令，回车在~/.ssh/目录下生成id_rsa，id_rsa.pub两个文件

ssh-keygen -t rsa -P ''

将id_rsa.pub文件分别拷贝到ip_02, ip_03的~/.ssh目录下

scp id_rsa.pub root@ip02:~/.ssh/
scp id_rsa.pub root@ip03:~/.ssh/

在ip02和ip03的~/.ssh目录下 将id_rsa.pub文件内容写入authorized_keys文件中，没有此文件就新建此文件写入

cat id_rsa.pub >> authorized_keys

操作完成，则完成了ssh从ip_01到ip_02和ip_03的免密登录操作。

集群配置

配置环境变量：

#在/etc/profile 文件末尾新增hadoop命令目录
#注意此路径为真实安装绝对路径
PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH

hadoop集群配置需配置其中三个文件core-site.xml；hdfs-site.xml; yarn-site.xml，三个文件存在于hadoop/etc/hadoop/目录中。

<!-- core-site.xml -->
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://NN</value></property>
</configuration>

<!-- hdfs-site.xml -->
<configuration><property><name>dfs.replication</name><!-- 2台数据节点 --><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

<!-- yarn-site.xml -->
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

在slaves文件中进行配置数据节点地址

DN01
DN02

SecondaryNameNode未配置ecs,默认在ip_01名称节点上。

修改文件hadoop-env.sh

JAVA_HOME=${JAVA_HOME}

修改为：

#此路径为本机JDK安装目录的绝对目录
JAVA_HOME＝/usr/local/JDK

启动集群：

  格式化集群环境

hadoop nodename -formate

启动集群

#进入sbin目录
cd /usr/local/hadoop/sbin
#执行启动命令
./start-all.sh

检测是否启动成功

#jps命令 可查看已启动的java程序
jps

附：如果在启动过程中报一下错误

java.net.UnknownHostException:xxxx xxxx

此错误意味着hostname映射未生效

快速解决办法是执行hostname 命令

#例如本文中所列举的 ip_01-->NN ip_02-->DN01 ip_03-->DN02需各自执行
hostname NN
hostname DN01
hostname DN02