Hadoop集群搭建前安装准备参考：
一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hadoop集群搭建过程参考：
二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

文章目录

1、Hadoop集群测试
- 1.1 格式化文件系统
- 1.2 启动和关闭Hadoop集群
- 1.3 通过UI查看Hadoop运行状态
2、Hadoop集群初体验（词频统计案例）

1、Hadoop集群测试

1.1 格式化文件系统

前面完成了Hadoop集群的安装与配置，在初次启动HDFS集群时，必须对主节点进行格式化处理，使用如下指令：

hdfs namenode -format

或

hadoop namenode -format

初始化成功后出现如下界面：

1.2 启动和关闭Hadoop集群

第一种方式：单节点逐个启动和关闭。
(1)在主节点(hadoop01)上执行指令启动/关闭HDFS NameNode进程；
hadoop-daemon.sh start namenode （启动）
hadoop-daemon.sh stop namenode （关闭）
之后可使用jps查看进程是否启动：

(2)在每个从节点(hadoop01、hadoop02、hadoop03)上执行指令启动/关闭HDFS DataNode进程；
hadoop-daemon.sh start datanode （启动）
hadoop-daemon.sh stop datanode （关闭）

(3)在主节点(hadoop01)上执行指令启动/关闭YARN ResourceManager进程；
yarn-daemon.sh start resourcemanager （开启）
yarn-daemon.sh stop resourcemanager （关闭）

(4)在每个从节点(hadoop01、hadoop02、hadoop03)上执行指令启动/关闭YARN nodemanager进程；
yarn-daemon.sh start nodemanager （开启）
yarn-daemon.sh stop nodemanager （关闭）

（5）在节点hadoop02执行指令启动/关闭SecondaryNameNode进程。
hadoop-daemon.sh start secondarynamenode （开启）
hadoop-daemon.sh stop secondarynamenode （关闭）

第二种方式（推荐使用）：脚本一键启动和关闭。
（1）在主节点hadoop01上执行指令“start-dfs.sh”或“stop-dfs.sh”启动/关闭所有HDFS服务进程。

（2）在主节点hadoop01上执行指令“start-yarn.sh”或“stop-yarn.sh”启动/关闭所有YARN服务进程。

第三种方式（不推荐使用），在主节点hadoop01上执行“start-all.sh”或“stop-all.sh”指令，直接启动/关闭整个Hadoop集群服务。

1.3 通过UI查看Hadoop运行状态

第一步：修改本地宿主机的hosts文件。

添加集群服务的IP：

192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03

如果hosts文件打开后里面是空文档，则添加以下内容：

# Copyright (c) 1993-1999 Microsoft Corp.
#
# This is a sample HOSTS file used by Microsoft TCP/IP for Windows.
#
# This file contains the mappings of IP addresses to host names. Each
# entry should be kept on an individual line. The IP address should
# be placed in the first column followed by the corresponding host name.
# The IP address and the host name should be separated by at least one
# space.
#
# Additionally, comments (such as these) may be inserted on individual
# lines or following the machine name denoted by a '#' symbol.
#
# For example:
#
# 102.54.94.97 rhino.acme.com # source server
# 38.25.63.10 x.acme.com # x client host127.0.0.1 localhost192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03

第二步：依次在三个节点上使用如下指令关闭防火墙与防火墙开机启动。

service iptables stop

chkconfig iptables off

第三步：使用本地的浏览器访问http://hadoop01:50070,查看HDFS集群状态（HDFS已开启才能查看），且从图中可以看出HDFS集群状态显示正常。

第四步：使用本地的浏览器访问http://hadoop01:8088，查看Yarn集群状态（Yarn已开启才能查看），且从图中可以看出Yarn集群状态显示正常。

2、Hadoop集群初体验（词频统计案例）

第一步：查看HDFS上的数据文件。
打开HDFS的UI（http://hadoop01:50070），选择Utilities->Browse the file system，可看到该目录下无任何文件。

第二步：创建词频统计的文本信息。
先在集群主节点hadoop01上的/export/data/目录下(指令“cd /export/data”进入)，执行指令“vi word.txt”，新建一个word.txt文本，编写如下内容：

hello itcast
hello itheima
hello Hadoop

之后使用如下指令在HDFS上创建/wordcount/input目录，并将word.txt文件上传至该目录：

hadoop fs -mkdir -p /wordcount/input

hadoop fs -put /export/data/word.txt /wordcount/input

再次查看UI会发现/wordcount/input目录并存在word.txt文件。

第三步：进入Hadoop解压包中的/share/hadoop/mapreduce/目录。
指令如下：

cd /export/servers/hadoop-2.7.4/share/hadoop/mapreduce/

使用指令“ls”进行查看可看到hadoop-mapreduce-examples-2.7.4.jar示例包，该示例包主要用于词频统计。
之后使用下述指令执行该jar包程序，同时将结果保存到/wordcount/output路径下：

hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input /wordcount/output

执行过程中可打开Yarn的UI（http://hadoop01:8088）可查看运行状态。

第四步：执行结束后，再次刷新HDFS的UI（http://hadoop01:50070）可看到HDFS上自动创建了结果目录/wordcount/output，里面_SUCCESS文件用于表示此次任务成功执行，part-r-00000表示词频统计的结果。

第五步：点击part-r-00000文件，下载词频统计结果文件到本地并查看最后的统计结果。

参考文献：黑马程序员.Hadoop大数据技术原理与应用[M].北京：清华大学出版社,2019.

后续学习链接:
四、Hadoop系统应用之HDFS相关操作（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）相关推荐

三、Hive数据仓库应用之Hive数据操作语言（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hive远程模式部署参考: 一.Hive数据仓库应用之Hive部署(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7) Hive数据定义语言 ...
Hadoop3——集群搭建以及初体验
1. 匹配主机名 2.下载安装hadoop 3. 配置Hadoop环境 4. 启动Hadoop环境 5. Hadoop初体验建议先整体浏览一遍再做 (关于创建虚拟机的操作日后有需要的话我再补上) 1 ...
Hadoop集群启动、初体验
1．启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群. 注意:首次启动HDFS时,必须对其进行格式化操作.本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的. h ...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇) 四.Zookeeper集群搭建 1.下载安装zookeeper安装包 2.文件配置 3 ...
Hadoop部署方式-高可用集群部署(High Availability)
Hadoop部署方式-高可用集群部署(High Availability) 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客的高可用集群是建立在完全分布式基础之上的,详情请参 ...
Hadoop学习笔记—13.分布式集群中节点的动态添加与下架
Hadoop学习笔记-13.分布式集群中节点的动态添加与下架开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如 ...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一.虚拟机安装Centos7 1.准备工作 2.centos7安装过程 3.关闭防火墙(关键) 二.安装jdk ...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇) 七.Hive安装配置 1.准备工作 2.安装hive 全文请看:https://blog.csd ...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇) 一.虚拟机安装Centos7 1.准备工作 2.centos7安装过程 3.关闭防火墙(关键) 二 ...

三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）