Hadoop2.7.3完全分布式搭建

1.软件准备：

下载虚拟机软件VMware 。

下载Linux 镜像文件。

下载客户端连接工具XShell与XFtp

下载jdk

下载hadoop

2.软件安装

2.1节点：

192.168.179.100   master

192.168.179.101   slave1

192.168.179.102   slave2

192.168.179.103   slave3

2.2准备Linux环境

2.2.1为了便于操作修改主机和IP的映射关系

vim /etc/hosts

192.168.179.100   master

192.168.179.101   slave1

192.168.179.102   slave2

192.168.179.103   slave3

2.2.2设置虚拟机中的网络设置

vi /etc/sysconfig/network
NETWORKING=yes
GATEWAY=192.168.179.1

2.2.3修改IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

TYPE=Ethernet

IPADDR=192.168.179.100

NETMASK=255.255.255.0

2.2.4修改主机名测试网络是否正常

hostnamectl set-hostname master

重启网络service network restart

互相ping，看是否测试成功，若不成功，注意防火墙的影响。

关闭windows或虚拟机的防火墙。

2.2.5关闭防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

2.3安装jdk,并配置环境变量

安装JDK

上传jdk-7u79-linux-x64.tar.gz到linux

解压jdk

#创建文件夹

mkdir /usr/java

#解压

tar zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java/

将java添加到环境变量中

vim /etc/profile

#在文件最后添加

export JAVA_HOME=/usr/java/jdk1.7.0_79/

export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

2.4安装配置hadoop2.7.3

先上传hadoop的安装包到服务器

配置hadoop

第一个：hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79/

第二个：core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop1/temp</value>

</property>

第三个：hdfs-site.xml   hdfs-default.xml  (3)

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.7.0_79

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

测试hadoop命令是否可以直接执行，任意目录下敲hadoop

关闭虚拟机，复制3份

分别修改虚拟机的ip和hostname，确认互相能够ping通，用ssh登陆，同时修改 所 有虚拟机的/etc/hosts，确认使用名字可以ping通

修改master上/etc/hadoop/slaves文件，每一个slave占一行

slave1

slave2

slave3

2.5.配置ssh免登陆

#生成ssh免登陆密钥

#进入到我的home目录

cd ~/.ssh

ssh-keygen -t rsa （四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

ssh-copy-id localhost

2.6启动集群

格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)

启动hadoop

sbin/start-dfs.sh

验证是否启动成功

使用jps命令验证

在master出现

23960 SecondaryNameNode

23652 NameNode

在slave1、slave2、slave1

出现

19282 DataNode

19448 DataNode

19110 DataNode

http://192.168.179.100:50070 （HDFS管理界面）