Hadoop搭建完全分布式集群

搭建准备
配置ssh和编写一个分发shell脚本
java和hadoop
运行测试

最近公司事情不是很多,趁此机会,学习一下大数据的内容,正好公司之后也要使用大数据方面的技术进行数据分析,所以提前学习一下,也好做个准备.以防忘记,写下博客来记录一下学习过程.

搭建准备

首先我们需要建三台新的虚拟机：

使用VMware搭建新建一台虚拟机,我这里使用的是centos系统.(说起这个,比较吐血,我最开始一直是使用的Ubuntu,然后再学习es,rocketmq…之类的时候,去网上找的教程全是centos的,每次折腾虚拟机都要耗费不少时间,很是蛋疼.决定学习hadoop之后,毕竟是一个新的领域,所以准备重新开始,所以改用centos.结果,现在网上找点教程,全变成Ubuntu了,心累,感觉受到了针对,朋友)；
将虚拟机配置一下静态ip(必须的啊,不然鬼找得到你主机在哪)；

// 修改静态ip(每个机器的网卡文件名称不一样,)
vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改如下:

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="a7239cff-3e26-4d23-bab6-176ba0b88895"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.50.103"
GATEWAY="192.168.50.1"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"

主要是修改几个 BOOTPROTO改为static,ONBOOT改为yes ,IPADDR,GATEWAY,NETMASK,DNS1(可选)
三台机器都要改,并且修改的ip要在同一网段内.

修改一下主机名,方便区分和联合；

//hostnamectl 永久主机名    是对/etc/hostname文件的内容进行修改
hostnamectl hadoop103
//或者 vim /etc/hostname 性质是一样的

修改完后可以再次使用hostnamectl查看一下是否修改成功.
5. 然后还要修改一下主机(),要把其他机器的主机名和ip映射关联起来?；

vim /etc/hosts

增加几行

192.168.50.101 hadoop101
192.168.50.102 hadoop102
192.168.50.103 hadoop103
192.168.50.104 hadoop104
192.168.50.105 hadoop105

这个呢,根据我的理解,应该算是给同网段下的ip和主机名进行一个映射,这样就可以通过主机名对ip所在主机进行访问了吧?有大佬看到可以帮忙指点一下吗.

其他虚拟机也做相同配置.这边想偷个懒的话就先配置一台机器,然后用VMware克隆n台出来.这样可以减少一点工作量.

配置ssh和编写一个分发shell脚本

1. 编写一个shell脚本用于分发文件
这个是因为我们要搭建集群,所以对于hadoop的配置需要每台机器都做相同配置,目前我们只做三台机器的配置,还可以做到手动分发,但是实际使用时,不一定是三台,如果有100台机器集群,手动分发肯定是不现实的.所以接下来就编写一个shell脚本,用于文件分发.
远程分发,linux中有两个命令,rsync和scp.都可以做到远程复制.那么两者的区别是什么呢.
1. scp的效率比rsync的效率会高.因为scp非常不占用资源,rsync比scp快一点,但是如果小文件众多的话,占用I/O非常多,影响系统使用.
2. rsync会对比文件差异,只传输差异部分,适合做增量或全量备份,而scp只能做全量备份
3. rsync是非加密传输,scp是加密传输.
4. rsync复制可以附带软/硬链接.

我们这里选择使用rsync来进行分发,下来来编写一个xsync.sh

 vim xsync.sh

内容如下:

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for((host=103; host<106; host++)); doecho ------------------- hadoop$host --------------rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

为了方便使用,我们把脚本放到 /bin, 这样就可以在任意目录调用此脚本了.

    chmod +x xsync    sudo cp xsync /bin    sudo xsync /bin/xsync

2. 配置ssh无密登录

一般虚拟机会自带ssh,如果没有的话,就用apt-get install .呸  用 yum 安装一下.
进入.ssh    cd ~/.ssh/
使用

    ssh-keygen -t rsa

生成密钥对.
然后使用我们的分发脚本,将整个.ssh发送到各台机器上.

xsync ~/atguigu/.ssh

试一下配置是否成功,
ssh hadoop104 //第一次需要输入密码. exit退出登录,再重新登录一次.不需要密码则成功配置了ssh无密登录
至此,虚拟机的准备算是弄好了.

java和hadoop

1. 安装java和hadoop以及环境变量配置
将准备好的java的tar包和hadoop的tar包copy到一台主机上. 并且解压. tar -zxvf
然后配置环境变量

sudo vim /etc/profile

在该文件末尾追加几行

#JAVA_HOME
#java解压后的tar包位置
export JAVA_HOME=/opt/module/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
#hadoop解压后的tar包位置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行命令使环境变量立即生效

source /etc/profile

然后使用 java -version, hadoop version 查看是否配置成功

2. 配置hadoop运行的xx-env.sh
先配置几个env,进入解压后的hadoop文件夹下.然后

//这里是进入hadoop文件夹下的etc,而不是linux的.之前碰到这个问题,
//怎么也找不到文件.
cd etc/hadoop/

使用vim命令将 hadoop-env.sh,yarn-env.sh,mapred-env.sh这几个文件,进行追加一下依赖jdk环境.
export JAVA_HOME=/opt/module/jdk1.8.0_231

3. 配置core-site.xml
将下面这段xml配置直接复制到hadoop-2.7.2/etc/hadoop/core-site.xml的

<configuration>
<!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://hadoop103:9000</value></property><!-- 指定Hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value></property>
</configuration>

4. 配置hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.secondary.http-address  </name><value>hadoop103:50090 </value></property>
</configuration>

5. 配置yarn-site.xml

<configuration>
<!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.secondary.http-address  </name><value>hadoop103:50090 </value></property>
</configuration>

6. 配置mapred-site.xml

<configuration>
<!--指定MR运行的地方 --><property><name>mapreduce.framework.name</name><value>yarn</value> </property>
<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop105:10020</value></property><!-- 历史服务器web端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop105:19888</value></property>
</configuration>

7. 配置slaves

vim etc/hadoop/slaves

追加以下内容

hadoop103
hadoop104
hadoop105

保存退出.
8. 分发配置
使用之前编写的分发脚本 xsync 将配置分发到其他几台虚拟机上.

xsync /opt/module/hadoop-2.7.2/etc

然后格式化namenode,在hadoop103上进行格式化

hdfs namenode -format

至此,hadoop完全分布式集群搭建完毕.

运行测试

在hadoop103上运行

hadoop-daemon.sh start namenode/datanode/secondarynamenode

在hadoop104上运行

yarn-daemon.sh start resourcemanager/nodemanager

然后使用jps命令查看进程是否启动.
如果未启动,在使用脚本启动时,会产生一个路径进行日志输出, 查看启动日志 log.
至此 hadoop完全分布式集群搭建成功!并且顺利运行.