Linux CentOS 大数据集群的基础配置(3) CHD分布式环境搭建

在开始之前，确保你具备以下条件：
1，完成了大数据环境基础配置(1)
2，完成了大数据环境基础配置(2)
3，如果你完成了前两项内容，那么现在你应该拥有这个文件。

4，你现在配置好了3台虚拟主机，主机名和静态ip如下：
第1台主机名为hadoop01 静态ip地址为192.168.100.201
第2台主机名为hadoop02 静态ip地址为192.168.100.202
第3台主机名为hadoop03 静态ip地址为192.168.100.203

5，你的hadoop01为局域网yum源，且hadoop02,hadoop03正确配置yum源。
6，三台虚拟机的时钟是同步的。
7，三台虚拟机分别关闭了防火墙，且关闭了selinux服务

如果你具备以上条件，那么你可以继续进行了。

上传并解压制作好的hadoop包

在每个虚拟机都创建两个目录，servers目录装解压的软件，softwares目录装安装包

mkdir -p /export/softwares
mkdir -p /export/servers

上传hadoop包到hadoop01的/export/softwares目录下

把它解压到刚才创建的servers目录下

tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C /export/servers/

查看Hadoop支持的压缩方式以及本地库

进入解压好的hadoop目录

cd /export/servers/hadoop-2.6.0-cdh5.14.0

输入以下命令

bin/hadoop checknative

如果出现openssl为false，那么所有虚拟机都安装openssl即可

yum -y install openssl-devel

安装完毕后，再次执行命令

bin/hadoop checknative

所有的都是true，ok了。

修改配置文件core-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>新增如下内容：

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value></property><!--  缓冲区大小，实际工作中根据服务器性能动态调整 --><property><name>io.file.buffer.size</name><value>4096</value></property><!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --><property><name>fs.trash.interval</name><value>10080</value></property>
</configuration>

保存退出

修改配置文件hdfs-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>新增如下内容：

<configuration><!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> <!--   集群动态上下线 <property><name>dfs.hosts</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value></property><property><name>dfs.hosts.exclude</name><value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value></property>--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop01:50090</value></property><property><name>dfs.namenode.http-address</name><value>hadoop01:50070</value></property><property><name>dfs.namenode.name.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value></property><!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  --><property><name>dfs.datanode.data.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value></property><property><name>dfs.namenode.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value></property><property><name>dfs.namenode.checkpoint.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value></property><property><name>dfs.namenode.checkpoint.edits.dir</name><value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value></property>
<property><name>dfs.blocksize</name><value>134217728</value></property>
</configuration>

保存退出

修改配置文件hadoop-env.sh

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

找到JAVA_HOME

这里的${JAVA_HOME}可以改为你的jdk绝对路径

改完之后，保存退出。

修改配置文件mapred-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>中添加如下内容

 <property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property>

添加完成后，保存退出。

修改配置文件yarn-site.xml

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>中添加如下内容

<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

保存退出

修改slaves配置文件

在hadoop01执行如下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

替换为如下内容

hadoop01
hadoop02
hadoop03

保存退出

创建文件存放目录

创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

把配置好的hadoop复制到其它虚拟机上

cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ hadoop02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ hadoop03:$PWD

配置环境变量

注意：在每一台虚拟机上都要配置

vim  /etc/profile.d/hadoop.sh

输入以下内容：

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，输入下面的命令，使配置立即生效

source /etc/profile

启动hadoop集群

第一次启动前需要格式化：

hdfs namenode  -format

单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode：

hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode：

hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager：

 yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager：

 yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

脚本一键启动HDFS、Yarn

如果配置了 etc/Hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
hadoop01节点上执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh

停止集群：没事儿不要去停止集群

sbin/stop-dfs.sh
sbin/stop-yarn.sh

脚本一键启动所有
一键启动集群(cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 再执行下面的命令)

sbin/start-all.sh

一键关闭集群

sbin/stop-all.sh

浏览器查看启动页面

浏览器输入以下地址查看集群启动页面

hdfs的访问地址
http://192.168.100.201:50070/dfshealth.html#tab-overview

yarn的访问地址
http://192.168.100.201:8088/cluster