Hadoop3——集群搭建以及初体验

1. 匹配主机名

2.下载安装hadoop

3. 配置Hadoop环境

4. 启动Hadoop环境

5. Hadoop初体验

建议先整体浏览一遍再做
（关于创建虚拟机的操作日后有需要的话我再补上）

1. 匹配主机名
先查看主机名：

修改主机名（永久）：

接下来修改两个克隆机的主机名：

2.下载安装Hadoop

下载好Hadoop后，在software中用rz命令上传压缩包，再到servers文件夹中用tar -xzvf hadoop-3.1.4.tar.gz解压，之后配置Hadoop环境

3.Hadoop集群配置
（1）集群规划

(Y是相应虚拟机需要出现的节点，N为相应虚拟机可以不出现的节点)

（2）小技巧——直观地修改配置文件

然后安装（但是安装一次可能失败，那就再安装一次）

直观地找到众多相关配置文件

（3）配置集群主节点

需要配置这6个文件

（4）修改配置文件（注意缩进，配置后，以下全部CTRL+S保存）

修改 Hadoop-env.sh文件
加入这一句（自己jdk的路径）并去掉注释号（顶格）

#在底部加入：
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_NODEMANAGER_USER=root
YARN_RESOURCEMANAGER_USER=root

修改 core-site.xml 文件

    <property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><!-- 保存临时文件目录，需先在/usr/local/hadoop/tmp下创建tmp目录 --><name>hadoop.tmp.dir</name><value>/export/servers/hadoop/tmp</value></property>

新建一个 tmp 文件夹

修改 hdfs-site.xml 文件

    <property>          <name>dfs.namenode.http-address</name>          <value>hadoop01:50070</value>          </property><property>          <name>dfs.replication</name>          <value>3</value>          </property><property>          <name>dfs.namenode.secondary.http-address</name>          <value>hadoop02:50090</value>          </property>

修改 yarn-site.xml 文件

    <property>          <name>yarn.resourcemanager.hostname</name>          <value>hadoop01</value>          </property><property>          <name>yarn.nodemanager.aux-services</name>          <value>mapreduce_shuffle</value>          </property>

修改 workers 文件

删去 localhost, 增加以下句子

之后：分发配置文件给hadoop02和hadoop03
（保证hadoop02和hadoop03都有hadoop和jdk,没有的话请按照
这步进行操作
）

报错，所以输入scp /etc/profile hadoop02:/etc/profile

在两个子节点输入 source /etc/profile
再输入测试命令hadoop namenode -format

此格式化命令只做一次，不要重复格式化

成功

4. 启动Hadoop集群

start-dfs.sh
start-yarn.sh

查看节点(如果出现错误请检查自己的免密登录是否做全了)

jps

或者通过UI查看hadoop运行状态

在浏览器中键入192.168.159.130:50070查看
(若想用hadoop01:50070浏览，需要解析一下，参考本地解析域名)

原因是防火墙没有关闭

systemctl status firewalld # 查看防火墙状态 为active
systemctl stop firewalld # 暂时关闭防火墙
systemctl status firewalld # 再次查看防火墙状态 为inactive

关闭集群和yarn，再开启

stop-dfs.sh
stop-yarn.shstart-dfs.sh
start-yarn.sh

再次在浏览器中键入192.168.159.130:50070查看

查看yarn状态，需要输入192.168.159.130:8088

5. Hadoop集群初体验
（1）文件操作
一开始没有任何文件

查看结果

（2）运行hadoop jar
先把hadoop压缩包解压到当前文件夹下

tar -xzvf hadoop-3.1.4.tar.gz

再依次进入如下文件夹

hadoop jar hadoop-mapreduce-example-3.1.4.jar wordcount /wordcount/input /wordcount/output
# 中间太长了，可以打几个字母后按下Tab键自动填写

此时会出错，搜索解决方法

hadoop classpath # 输入此句，将得到的结果全部复制

vi /export/servers/hadoop/etc/hadoop/yarn-site.xml # 修改此配置文件（直接用notepad++修改更方便）

记得重启yarn，再次运行jar包

出现这个就是成功了

（我的进行到这里后，会有提示“找不到主机的路由“，若你也有这个错误请往下看，没有的话请忽略此步操作）

解决办法：

记得保存，重启yarn,再运行jar包

这次成功了！

也可以在浏览器中看到结果

至此，Hadoop集群搭建算结束了。
（如果你有问题可以留言，我在搭建的过程中碰到了很多的问题，一步一步地解决到现在，不敢说精通，只是有很多改正的经验，欢迎指正询问。）