这里写目录标题

  • 02、Hadoop（入门）
    • 第一章 Hadoop概述
      • **1.1 Hadoop 是什么**
      • **1.2 Hadoop 发展历史（了解）**
      • **1.3 Hadoop 三大发行版本（了解）**
      • **1.4 Hadoop 优势（4 高）**
      • 1.5 Hadoop 组成（面试重点）
        • **1.5.1 HDFS 架构概述**
        • **1.5.2 YARN 架构概述**
        • **1.5.3 MapReduce 架构概述**
        • **1.5.4 HDFS、YARN、MapReduce 三者关系**
        • 1.6 大数据技术生态体系
        • **1.7 推荐系统框架图**
    • 第二章 Hadoop 运行环境搭建（开发重点）
      • 2.1 模板虚拟机环境准备
      • 2.2 克隆虚拟机
      • 2.3 在 hadoop102 安装 JDK
      • 2.4 在 hadoop102 安装 Hadoop
      • 2.5 Hadoop 目录结构
    • 第 三 章 Hadoop 运行模式
      • 3.1 本地运行模式（官方 WordCount）
      • 3.2 完全分布式运行模式（开发重点）
        • **3.2.1 虚拟机准备**
        • **3.2.2 编写集群分发脚本 xsync**
        • **3.2.3 SSH 无密登录配置**
        • 3.2.4 集群配置
        • **3.2.5 群起集群**
        • 3.2.6 配置历史服务器
        • **3.2.7 配置日志的聚集**
        • 3.2.8 集群启动/停止方式总结
        • 3.2.9 编写 Hadoop 集群常用脚本
        • 3.2.10 常用端口号说明
        • 3.2.11 集群时间同步
    • 第 四 章 **常见错误及解决方案**
    • 第 四 章 **常见错误及解决方案**

02、Hadoop（入门）

第一章 Hadoop概述

1.1 Hadoop 是什么

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

​ Apache基金会：非营利性的代码开发组织。

2）主要解决，海量数据的存储和海量数据的分析计算问题。

3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

1.2 Hadoop 发展历史（了解）

1）Hadoop创始人Doug Cutting，为 了实 现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和索引引擎。

2）2001年年底Lucene成为Apache基金会的一个子项目。

3）对于海量数据的场景，Lucene框 架面 对与Google同样的困难，存储海量数据困难，检索海量速度慢。

4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。

5）可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）

6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。

7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。

8）2006 年 3 月份，Map-Reduce和Nutch Distributed File System （NDFS）分别被纳入到 Hadoop 项目中，Hadoop就此正式诞生，标志着大数据时代来临。

9）名字来源于Doug Cutting儿子的玩具大象

1.3 Hadoop 三大发行版本（了解）

Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。

Apache 版本最原始（最基础）的版本，对于入门学习最好。2006

Cloudera 内部集成了很多大数据框架，对应产品 CDH。2008

Hortonworks 文档较好，对应产品 HDP。2011

Hortonworks 现在已经被 Cloudera 公司收购，推出新的品牌 CDP。

1）Apache Hadoop

官网地址：http://hadoop.apache.org

下载地址：https://hadoop.apache.org/releases.html

2）Cloudera Hadoop

官网地址：https://www.cloudera.com/downloads/cdh

下载地址：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html

（1）2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司。Cloudera 产品主要为 CDH，Cloudera Manager，Cloudera Support

（3）CDH 是 Cloudera 的 Hadoop 发行版，完全开源，比 Apache Hadoop 在兼容性，安全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。

（4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一个 Hadoop 集群，并对集群的节点及服务进行实时监控。

3）Hortonworks Hadoop

官网地址：https://hortonworks.com/products/data-center/hdp/

下载地址：https://hortonworks.com/downloads/#data-platform

（1）2011 年成立的 Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建。

（2）公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师，上述工程师均在 2005 年开始协助雅虎开发 Hadoop，贡献了 Hadoop80%的代码。

（3）Hortonworks 的主打产品是 Hortonworks Data Platform（HDP），也同样是 100%开源的产品，HDP 除常见的项目外还包括了 Ambari，一款开源的安装和管理系统。

（4）2018 年 Hortonworks 目前已经被 Cloudera 公司收购。

1.4 Hadoop 优势（4 高）

1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YAwVEsO5-1667872278866)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908373.png)]

3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uXyb7l0p-1667872278867)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908854.png)]

4）高容错性：能够自动将失败的任务重新分配。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V1Sbdrbd-1667872278867)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908929.png)]

单机服务器下，我们就放一个任务正常执行。那如果有三台服务器，每台服务器负责完成任务中的一部分，这就是Hadoop并行计算。

当任务在计算时失败，Hadoop在底层自动将任务迁移到某一个服务器上；这台服务器一定是具有相关资源的，不影响任务的计算。

1.5 Hadoop 组成（面试重点）

Hadoop1.x、2.x、3.x区别

Common：辅助工具类或者一些通用工具。

1.5.1 HDFS 架构概述

主要解决海量数据存储问题。

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

那这些数据都存储在什么位置？那这里面就会诞生一个组件NameNode

NameNode：记录每一个文件块存储的位置。

DateNode：具体存储数据，每一条服务器都是一个DateNode。

SecondNameNode：高可用NameNode。防止NameNode宕机导致HDFS不可用。

这三个角色就构成了整个HDFS的数据存储的组件。

1.5.2 YARN 架构概述

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。（主要管理的是CPU和内存）。Yarn的组成有两大组件，一个是ResourceManager，另一个是NodeManager。

1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大，管理者集群上12G内存和6个CPU。

3）ApplicationMaster（AM）：单个任务运行的老大

2）NodeManager（N M）：单个节点服务器资源老大，管理着这台结点上的4G内存和2个CPU。

4）Container：容器，相当一台独立的服务器，里面封装了

任务运行所需要的资源，如内存、CPU、磁盘、网络等。

  • 说明1：客户端可以有多个
  • 说明2：集群上可以运行多个ApplicationMaster
  • 说明3：每个NodeManager上可以有多个Container

这个集群肯定会运行任务，由客户端提交任务。那客户端很显然就不能是一个，因为这是一个集群，如果客户端只运行一个任务，那就不需要集群了，所以这里有多个客户端，支持多客户端访问。

客户端提交一个作业就会在节点上产生一个ApplicationMaster，ApplicationMaster是单个任务的老大。那这个任务在哪儿里运行呢？它都是在一个Container容器中运行。其实是一种虚拟化技术。

那这样有什么好处呢？为什么把他放在一个容器中呢？

好处就是：我这个任务运行完了，我可以自动释放，也就是这里面的资源直接释放，归还给NodeManager结点。

ApplicationMaster要想运行任务，它会跟ResourceManager资源，比如：这个任务运行需要1G内存，1个CPU，那ResourceManager就会给它分配对应的结点来运行这个任务。ResourceManager负责资源的调度，ApplicationMaster负责任务的计算。那如果这台服务器运行资源不够，它还有后续的任务，怎么办呢？它可以向ResourceManager申请另一台服务器运行任务，可以跨结点运行任务。

说明2：集群上可以运行多个ApplicationMaster，有多个任务在运行，相当于Hadoop的并行运算。

说明3：每个NodeManager上可以运行多个Container容器，那到底可以运行多少个？一个Container默认的内存是1-8G，最低开辟1G，最多开辟8G。这个例子是4G内存，那么采用默认值的话最多开辟4个容器，每个Container容器最少给1个CPU，那这台服务器就决定了同一时间只能开启两个Container容器。

1.5.3 MapReduce 架构概述

MapReduce是负责整个Hadoop中计算的功能。

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

1）Map 阶段并行处理输入数据

2）Reduce 阶段对 Map 结果进行汇总

1.5.4 HDFS、YARN、MapReduce 三者关系

三者之间的工作关系如图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ehtpvgBz-1667872278871)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908137.png)]

1.6 大数据技术生态体系

说明一下Hadoop在整个大数据技术生态体系当中处于一个什么样的位置。方便我们后续的学习。

首先大数据的数据来源有三种：分别如图。

那这么几种来源，大数据框架能用哪儿些技术来处理它呢？如图

数据接收之后需要存储数据，如图。

整个集群的资源调度有Yarn来安排。

数据计算层：MapReduce以及Spark来计算，他俩是有区别的。MapReduce是完全基于硬盘的，Spark有一部分是基于内存的。

任务调度层：任务调度能解决什么事呢？整个集群当中可能有100多个任务，那这100多个任务都是同时跑吗？不一定，可能有一批任务从凌晨1点开始执行，这些任务执行完成之后才允许第二批任务执行。那就由任务调度器来进行配置这些任务什么时候开始执行。

图中涉及的技术名词解释如下：

1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。

2）Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据；

3）Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统；

4）Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算。

5）Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

6）Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。

7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。

9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

1.7 推荐系统框架图

来看一下推荐系统的架构图，大数据技术是如何来解决问题的？

第二章 Hadoop 运行环境搭建（开发重点）

2.1 模板虚拟机环境准备

为什么要准备一台模板虚拟机？

准备它的作用就是：我们后续在想增加服务器的时候，那我就不需要每次都安装操作系统以及其他配置，我不需要重复操作，我只需要拷贝即可。

2.1 模板虚拟机环境准备

0）安装模板虚拟机，IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G

2.2 克隆虚拟机
2.3 在 hadoop102 安装 JDK
2.4 在 hadoop102 安装 Hadoop
2.5 Hadoop 目录结构

1）查看 Hadoop 目录结构

[atguigu@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 include
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 lib
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5 月 22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu 101 5 月 22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu 1366 5 月 22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu 4096 5 月 22 2017 share

2）重要目录

（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

cd .share/hadoop/mapreduce：这里面提供了官方提供的一些案例，方便我们后续进行测试使用。

第 三 章 Hadoop 运行模式

1）Hadoop 官方网站：http://hadoop.apache.org/

2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

  • 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。

    数据存储在Linux本地，在Linux本地磁盘上就能够读到对应的数据。

  • 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。

    数据存储在HDFS。区别：一个是存储在自己的文件系统管理，另一个是由Linux帮它去管理。

  • 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

    数据存储在HDFS上，同时多台服务器工作。

3.1 本地运行模式（官方 WordCount）

1）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

[atguigu@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2）在 wcinput 文件下创建一个 word.txt 文件

[atguigu@hadoop102 hadoop-3.1.3]$ cd wcinput

3）编辑 word.txt 文件

[atguigu@hadoop102 wcinput]$ vim word.txt

➢ 在文件中输入如下内容

hadoop yarn
hadoop mapreduce
atguigu
atguigu

➢ 保存退出：:wq

4）回到 Hadoop 目录/opt/module/hadoop-3.1.3

5）执行程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6）查看结果

[atguigu@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果：

atguigu 2
hadoop 2
mapreduce 1
yarn 1
3.2 完全分布式运行模式（开发重点）

分析：

1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称）

2）安装 JDK

3）配置环境变量

4）安装 Hadoop

5）配置环境变量

6）配置集群

7）单点启动

8）配置 ssh

9）群起并测试集群

3.2.1 虚拟机准备

通过模板机clone

3.2.2 编写集群分发脚本 xsync

1）scp（secure copy）安全拷贝

（1）scp 定义

​ scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

​ scp -r pdir/pdir/pdir/fname user@user@user@host:pdir/pdir/pdir/fname

​ 命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

（3）案例实操

➢ 前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、/opt/software 两个目录，并且已经把这两个目录修改为 atguigu:atguigu

[atguigu@hadoop102 ~]$ sudo chown atguigu:atguigu -R /opt/module

（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。

[atguigu@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212  atguigu@hadoop103:/opt/module

（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。

[atguigu@hadoop103 ~]$ scp -r  atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。

[atguigu@hadoop103 opt]$ scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module

2）rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

（1）基本语法

​ rsync -av pdir/pdir/pdir/fname user@user@user@host:pdir/pdir/pdir/fname

​ 命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称选项参数说明

（2）案例实操

（a）删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput

[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

（b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103

[atguigu@hadoop102 module]$ rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

3）xsync 集群分发脚本

如果我们在/home/atguigu/bin 下面写命令文件，那么这个命令就可以在任意路径下执行

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：

（a）rsync 命令原始拷贝：

rsync -av /opt/module atguigu@hadoop103:/opt/

（b）期望脚本：

xsync 要同步的文件名称

（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

[atguigu@hadoop102 ~]$ echo $PATH /usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atguigu/.local/bin:/home/atguigu/bin:/opt/module/jdk1.8.0_212/bin

（3）脚本实现

（a）在/home/atguigu/bin 目录下创建 xsync 文件

[atguigu@hadoop102 opt]$ cd /home/atguigu
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync
在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho ==================== $host ====================#3. 遍历所有目录，挨个发送for file in $@do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

（b）修改脚本 xsync 具有执行权限

[atguigu@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin

（d）将脚本复制到/bin 中，以便全局调用

[atguigu@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步环境变量配置（root 所有者）

[atguigu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。因为xsync 这个脚本文件是在atguigu用户下的/home目录下，如果使用sudo 命令 的话相当于root用户，则在该root用户的home目录下找不到该脚本文件。

让环境变量生效

[atguigu@hadoop103 bin]$ source /etc/profile
[atguigu@hadoop104 opt]$ source /etc/profile
3.2.3 SSH 无密登录配置

1）配置 ssh

（1）基本语法

​ ssh 另一台电脑的 IP 地址

（2）ssh 连接时出现 Host key verification failed 的解决方法

[atguigu@hadoop102 ~]$ ssh hadoop103

➢ 如果出现如下内容

Are you sure you want to continue connecting (yes/no)?

➢ 输入 yes，并回车

（3）退回到 hadoop102

[atguigu@hadoop103 ~]$ exit

2）无密钥配置

（1）免密登录原理

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rGDZkjEV-1667872278875)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908928.png)]

私钥始终掌握在自己服务器上，公钥是给别人的。通常是把公钥发送给未来要通信的服务器。这里面我们就把这个公钥拷贝给对方，对方会把这个公钥放在一个已授权的文件里面。只要放在这个已经授权的文件里面，后续再访问该服务器的时候，只要一查这个文件里有这个对应的公钥，就相当于他们两个提前已经达成了协议，说你允许访问我。

（2）生成公钥和私钥

[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

​ 还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。

​ 还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。

​ 还需要在 hadoop102 上采用 root 账号，配置一下无密登录到 hadoop102、hadoop103、hadoop104；

3）.ssh 文件夹下（~/.ssh）的文件功能解释

如果切换到了root用户，su root ,执行命令：ssh hadoop103 登录hadoop103服务器时，那么需要输入密码，也就是不同用户都需要配置一遍免密登录。

3.2.4 集群配置

1）集群部署规划

注意：

➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器

因为NameNode 和 SecondaryNameNode 比较耗内存。

➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

2）配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

（2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

3）配置集群

（1）核心配置文件

配置 core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!-- 指定 NameNode 的地址 --><property><name>fs.defaultFS</name><value>hdfs://hadoop102:8020</value></property><!-- 指定 hadoop 数据的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.1.3/data</value></property><!-- 配置 HDFS 网页登录使用的静态用户为 atguigu --><property><name>hadoop.http.staticuser.user</name><value>atguigu</value></property>
</configuration>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6gR6OgF9-1667872278879)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908396.png)]

file:/// 属于本地路径：由于我们未来要用的是HDFS；hdfs:// 是协议头。8020是它内部的通信端口。

默认存储在 /tmp/hadoop-${user.name}：在linux环境下，/tmp是一个临时目录，随着时间的变化会把它删除，默认是一个月删除。所以我们需要更改它的路径。

（2）HDFS 配置文件

配置 hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value></property>
<!-- 2nn web 端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:9868</value></property>
</configuration>

我们刚刚在core-site.xml配置的"fs.defaultFS" 相当于是Hadoop内部的通讯地址。现在呢，这个NameNode需要HDFS在外部页面上进行一个访问，所以也需要对外暴露一个接口：9870。

SecondaryNameNode 的地址同样是这样。

（3）YARN 配置文件

配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!-- 指定 MR 走 shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定 ResourceManager 的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
</configuration>

  • “yarn.nodemanager.aux-services” 默认值是空值，但是推荐使用"mapreduce_shuffle"。我们后面会讲"shuffle"的核心原理，这里我们就配置成mapreduce_shuffle 的方式进行后续的资源调度以及计算。

  • “yarn.nodemanager.env-whitelist” 默认是有值的，这里的环境变量继承可以认为是解决了hadoop3.1.3的一个小bug，在Hadoop3.2以上版本就解决了这个问题，就不需要再配置环境变了，在Hadoop3.2以上版本也找不到这个配置了。

（4）MapReduce 配置文件

配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

指定由Yarn来负责资源调度。默认是在本地运行，这里修改为使用Yarn运行。

4）在集群上分发配置好的 Hadoop 配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去 103 和 104 上查看文件分发情况

[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
3.2.5 群起集群

1）配置 workers

机器上有几台结点，就配置几个主机名称。

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

相当于把你的记账本情况，重新开始记录。

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。同步所有节点配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

该文件中添加的内容结尾不允许有空格，文件中不允许有空行。因为未来你这个文件回作为它启动脚本的一个获取输入文件，不能有空行是因为"空行"会被认为一个主机名称。

2）启动集群

（1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

启动集群之前要进行初始化，只有第一次的时候要进行初始化。正常情况初始化期间没有 发生错误就说明初始化完毕。初始化完毕之后就多了两个目录data和logs。

cd data/dfs/name/current

vim VERSION

初始化完毕之后，我们开始正式启动集群。

（2）启动 HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了 ResourceManager 的节点（hadoop103）启动 YARN

ResourceManager 在103结点上，那么就需要在103结点上启动Yarn

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

使用jps查看进程，查看和集群规划是否一致。

（4）Web 端查看 HDFS 的 NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看 HDFS 上存储的数据信息

管理着HDFS上有哪儿些文件。![](https://secure2.wostatic.cn/static/aANdboypYw9g83rB47paaR/image.png?auth_key=1667822815-8iF2paVZ5QdwkfgEShSJK7-0-ff1e561ce6535fad2412d682dc15e2e4)

（5）Web 端查看 YARN 的 ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看 YARN 上运行的 Job 信息

![](https://secure2.wostatic.cn/static/ok9Z1e2CqqHEKXt4n6BUr4/image.png?auth_key=1667822815-9kYo2A7QDHgjeijZ5C6rC4-0-936f60804e4c858a2a251c9239de24dc)这是Yarn资源调度的页面。当我们运行任务的时候这里面就有数据的变化。

下面我们对集群做一些测试。

3）集群基本测试

（1）上传文件到集群

➢ 上传小文件

[atguigu@hadoop102 ~]$ hadoop fs -mkdir /wcinput
![](https://secure2.wostatic.cn/static/d3EBUBQvxTdu3Cjatk4VVV/image.png?auth_key=1667822816-pqiPWS3etM2uMqp6tAvsbZ-0-eaa000ecbbb534c1effaf0d382db83b5)
[atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /wcinput
![](https://secure2.wostatic.cn/static/mhyWYFvJja4V42W1sRdRvx/image.png?auth_key=1667822816-oncyisbyRVhFDAaG1qxrmX-0-5ffb112c7e0230d2a242b1fe920b2a45)我们说Hadoop具有一高可用，任何一个服务器数据挂掉之后，它还有两份的副本帮我们存储。![](https://secure2.wostatic.cn/static/7fcnHvu2CB7nVTJxBS6bsL/image.png?auth_key=1667822816-c6Pfs7beLrbAfaDo81tZiE-0-ce2416a3a8193e516fb96fd0722bb1d7)![](https://secure2.wostatic.cn/static/guzZp6tZqvHDPowieuAn2c/image.png?auth_key=1667822816-evXMCGF494pqnX4boLx5P-0-a15fb2ccf2a20f0578ca6890a6abfb3c)

➢ 上传大文件

[atguigu@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
![](https://secure2.wostatic.cn/static/mBjtwLLoMKuWcM9ofydA3g/image.png?auth_key=1667822816-hPTs7nUMv5iF3ANUqCfQ7p-0-71394eae992aff7d8e70264e18df985a)

（2）上传文件后查看文件存放在什么位置

数据实际存放在DataNode结点上。

➢ 查看 HDFS 文件存储路径

![](https://secure2.wostatic.cn/static/qC8NQpsUNvNMVhKuzYe88S/image.png?auth_key=1667822816-jqiFdes9CpXiDA58aRAXpP-0-d77378393529fbfa665afda5cc5fc950)
[atguigu@hadoop102 subdir0]$ pwd/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
![](https://secure2.wostatic.cn/static/h51tkow1xpf8RkhUvEpAAf/image.png?auth_key=1667822816-hsRQb2SYCPXHLDc3LmdoBM-0-5d3213e1b6655c40aa0a593fe02be180)

➢ 查看 HDFS 在磁盘存储文件内容

[atguigu@hadoop102 subdir0]$ cat blk_1073741825hadoop yarnhadoop mapreduce atguiguatguigu

（3）拼接

-rw-rw-r–. 1 atguigu atguigu 134217728 5 月 23 16:01 blk_1073741836

-rw-rw-r–. 1 atguigu atguigu 1048583 5 月 23 16:01 blk_1073741836_1012.meta

-rw-rw-r–. 1 atguigu atguigu 63439959 5 月 23 16:01 blk_1073741837

-rw-rw-r–. 1 atguigu atguigu 495635 5 月 23 16:01 blk_1073741837_1013.meta

[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下载

[atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）执行 wordcount 程序，来看看Yarn是如何操作的。

Yarn是资源调度，只有你有MapReduce计算

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

任务运行的时候就会在WEB页面出现一个任务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ifGuAXrF-1667872278884)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908314.png)]

执行完成之后来到HDFS观察结果文件

集群出现故障（解决方法）

先停止集群（先停止Yarn、再停止hdfs）

删除历史数据 data logs目录

格式化 hdfs namenode -format

启动集群 sbin/ start-dfs.sh

这样集群就启动成功了，但是这个集群已经没有历史数据了。

那什么原因呢？

第一次格式化产生的NameNode空间，其实在它外围还对应着DataNode的版本。

查看DataNode的版本号

每台DataNode也有一台对应的版本号，重新初始化NameNode集群后会生成一个新的NameNode集群ID，此时如果不删除data 以及logs目录，那么NameNode与DataNode版本号对应不上，就是启动集群失败。

3.2.6 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value>
</property><!-- 历史服务器 web 端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value>
</property>

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在 hadoop102 启动历史服务器

如果此时 已经启动Yarn，那么需要关闭Yarn然后重新启动。

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[atguigu@hadoop102 hadoop]$ jps

这里面就多了一个进程

5）查看 JobHistory

http://hadoop102:19888/jobhistory 启动一个单词统计任务，等待任务结束，查看历史任务进程。

点击History，跳转到历史服务器，就能看到这个任务运行的相关情况。

还有这个任务运行的时候的配置参数：

3.2.7 配置日志的聚集

为什么要配置日志的聚集功能呢？

来到历史服务器，有一个logs，是记录程序运行的日志。

点击发现，不能查看，聚集功能没有开启。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MAuDe9pp-1667872278891)(https://typora0905.oss-cn-beijing.aliyuncs.com/img/202211080908881.png)]

我们每台服务器都有自己的日志，那我们想查看整个集群的运行日志。我们需要开启一个日志聚集功能，把集群中服务器的日志聚集到一起，然后对于用户提供接口方便你去访问。如果没有开启这个服务，那么用户就查不到对应的日志信息。

**日志聚集概念：**应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryServer。即重新启动Yarn(因为你更改了Yarn的相关配置，所以需要重启Yarn)以及历史服务器。

开启日志聚集功能具体步骤如下：

1）配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value> // 默认为false
</property><!-- 设置日志聚集服务器地址 --> // 也就是我们把日志聚集到那儿台服务器
<property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value>
</property><!-- 设置日志保留时间为 7 天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭 NodeManager 、ResourceManager 和 HistoryServer

单节点停止HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh // 停止Yarn
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver // 停止historyserver

4）启动 NodeManager 、ResourceManage 和 HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5）删除 HDFS 上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行 WordCount 程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

（1）历史服务器地址

[http://hadoop102:19888/jobhistory](http://hadoop102:19888/jobhistory)

（2）历史任务列表

（3）查看任务运行日志

（4）运行日志详情

3.2.8 集群启动/停止方式总结

1）各个模块分开启动/停止（配置 ssh 是前提）常用

（1）整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止

（1）分别启动/停止 HDFS 组件（单结点启动和停止）

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager
3.2.9 编写 Hadoop 集群常用脚本

可以把启动命令封装成Shell脚本。

1）Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

➢ 输入如下内容

#!/bin/bash
if [ $# -lt 1 ]
thenecho "No Args Input..."exit ;
fi
case $1 in
"start")echo " =================== 启动 hadoop 集群 ==================="echo " --------------- 启动 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"echo " --------------- 启动 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"echo " --------------- 启动 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start
historyserver"
;;
"stop")echo " =================== 关闭 hadoop 集群 ==================="echo " --------------- 关闭 historyserver ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop
historyserver"echo " --------------- 关闭 yarn ---------------"ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"echo " --------------- 关闭 hdfs ---------------"ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)echo "Input Args Error..."
;;
esac

➢ 保存后退出，然后赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

2）查看三台服务器 Java 进程脚本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

➢ 输入如下内容

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
doecho =============== $host ===============ssh $host jps
done

➢ 保存后退出，然后赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod +x jpsall

3）分发/home/atguigu/bin 目录，保证自定义脚本在三台机器上都可以使用

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/
3.2.10 常用端口号说明

其实除了这些之外，还有DataNode、ResourceManager、NodeManager都有很多端口号，没有必要都记住，真正在开发的时候只有这几个端口号是常用的。

安装使用过程中常用的配置文件

3.2.11 集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

连接不了外网就需要进行时间同步。我们就需要从集群中挑选一台服务器，让集群中其他服务器与它时间相同。

1）需求

找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用 1 分钟同步一次。

2）时间服务器配置（必须 root 用户）

（1）查看所有节点 ntpd 服务状态和开机自启动状态

[atguigu@hadoop102 ~]$ sudo systemctl status ntpd
[atguigu@hadoop102 ~]$ sudo systemctl start ntpd
[atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd

（2）修改 hadoop102 的 ntp.conf 配置文件

[atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下：

（a）修改 1（授权 192.168.10.0-192.168.10.255 网段上的所有机器可以从这台机器上查询和同步时 间）

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

为 restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改 2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
为（将以上内容注释掉）
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改 hadoop102 的/etc/sysconfig/ntpd 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

正常情况下，一个操作系统有硬件与软件。硬件里面有对应的时钟，它这个时间会比软件模拟出来的时钟更准确一些，为了让时钟更准确，需要配置。

SYNC_HWCLOCK=yes

（4）重新启动 ntpd 服务

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置 ntpd 服务开机启动

[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

3）其他机器配置（必须 root 用户）

（1）关闭所有节点上 ntp 服务和自启动

[atguigu@hadoop103 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop103 ~]$ sudo systemctl disable ntpd
[atguigu@hadoop104 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop104 ~]$ sudo systemctl disable ntpd

（2）在其他机器配置 1 分钟与时间服务器同步一次

[atguigu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

（4）1 分钟后查看机器是否与时间服务器同步

[atguigu@hadoop103 ~]$ sudo date

在生产环境中一般不配置集群时间同步，因为我们服务器会定时与外网进行时间同步。

第 四 章 常见错误及解决方案

1）防火墙没关闭、或者没有启动 YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）IP 地址配置错误

4）ssh 没有配置好

5）root 用户和 atguigu 两个用户启动集群不统一

6）配置文件修改不细心

7）不识别主机名称

解决办法：

（1）在/etc/hosts 文件中添加 192.168.10.102 hadoop102（2）主机名称不要起 hadoop hadoop000 等特殊名称

8）DataNode 和 NameNode 进程同时只能工作一个。

9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效解决办法：尽量不要粘贴 Word 中代码。

10）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在 Linux 的根目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps 不生效

原因：全局变量 hadoop java 没有生效。解决办法：需要 source /etc/profile 文件。

12）8088 端口连接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102

再演示一个错误：

在Hadoop WEB页面中，希望把output2目录删掉，点击删除按钮，提示如图所示错误：

提示：你的权限被决绝了，用户没有对应的相关权限。

解决方法：需要在core-site.xml 配置文件中配置一下信息：

配置后就可以对web执行相关操作了。

配置好后，分发到其他节点上 : xsync core-sizt.xml。

p104 ~]$ sudo systemctl disable ntpd


（2）在其他机器配置 1 分钟与时间服务器同步一次```Bash
[atguigu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

（4）1 分钟后查看机器是否与时间服务器同步

[atguigu@hadoop103 ~]$ sudo date

在生产环境中一般不配置集群时间同步，因为我们服务器会定时与外网进行时间同步。

第 四 章 常见错误及解决方案

1）防火墙没关闭、或者没有启动 YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）IP 地址配置错误

4）ssh 没有配置好

5）root 用户和 atguigu 两个用户启动集群不统一

6）配置文件修改不细心

7）不识别主机名称

[外链图片转存中…(img-Td4evmow-1667872278895)]

解决办法：

（1）在/etc/hosts 文件中添加 192.168.10.102 hadoop102（2）主机名称不要起 hadoop hadoop000 等特殊名称

8）DataNode 和 NameNode 进程同时只能工作一个。

[外链图片转存中…(img-5JtauOYb-1667872278896)]

9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效解决办法：尽量不要粘贴 Word 中代码。

10）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在 Linux 的根目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps 不生效

原因：全局变量 hadoop java 没有生效。解决办法：需要 source /etc/profile 文件。

12）8088 端口连接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102

再演示一个错误：

在Hadoop WEB页面中，希望把output2目录删掉，点击删除按钮，提示如图所示错误：

[外链图片转存中…(img-7mKfP2h0-1667872278896)]

提示：你的权限被决绝了，用户没有对应的相关权限。

解决方法：需要在core-site.xml 配置文件中配置一下信息：

[外链图片转存中…(img-negBw8su-1667872278896)]

配置后就可以对web执行相关操作了。

配置好后，分发到其他节点上 : xsync core-sizt.xml。

使用脚本重启集群。

02、Hadoop（入门）相关推荐

  1. [学习笔记]黑马程序员-Hadoop入门视频教程

    文章目录 参考资料 第一章:大数据导论与Linux基础(p1-p17) 1.1 大数据导论 1.1.1 企业数据分析方向 1.1.2 数据分析基本流程步骤 明确分析的目的和思路 数据收集 数据处理 数 ...

  2. Hadoop新手篇：hadoop入门基础教程

    Hadoop新手篇:hadoop入门基础教程 关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧.最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环 ...

  3. MyBatis-学习笔记02【02.Mybatis入门案例】

    Java后端 学习路线 笔记汇总表[黑马程序员] MyBatis-学习笔记01[01.Mybatis课程介绍及环境搭建][day01] MyBatis-学习笔记02[02.Mybatis入门案例] M ...

  4. Hadoop入门基础教程 Hadoop之单词计数

    单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的src/exampl ...

  5. Hadoop入门基础教程 Hadoop之完全分布式环境搭建

    上一篇我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所 ...

  6. 一.hadoop入门须知

    目录: 1.hadoop入门须知 2.hadoop环境搭建 3.hadoop mapreduce之WordCount例子 4.idea本地调试hadoop程序 5.hadoop 从mysql中读取数据 ...

  7. 大数据与Hadoop有什么关系？大数据Hadoop入门简介

    学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...

  8. Hadoop 入门学习思维导图

    Hadoop 入门学习思维导图:

  9. Hadoop新手篇：hadoop入门基础教程 1

    Hadoop新手篇:hadoop入门基础教程 关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧.最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环 ...

  10. 大数据框架Hadoop篇之Hadoop入门

    1. 写在前面 今天开始,想开启大数据框架学习的一个新系列,之前在学校的时候就会大数据相关技术很是好奇,但苦于没有实践场景,对这些东西并没有什么体会,到公司之后,我越发觉得大数据的相关知识很重要,不管 ...

最新文章

  1. HK二分图最大匹配算法模板
  2. Ibatis学习总结7--SqlMapClient 执行 SQL 语句
  3. 【转】Azure Messaging-ServiceBus Messaging消息队列技术系列2-编程SDK入门
  4. win+mysql自动备份吗_Windows下mysql自动备份的最佳方案
  5. 在java中使用ffmpeg将amr格式的语音转为mp3格式
  6. 刘知远老师为你解读：自然语言理解到底难在哪儿？
  7. [翻译]WPF控件库 MaterialDesignInXamlToolkit (2) Brush Names
  8. 敏捷开发相关概念——学习笔记
  9. win10无线投屏_win10怎么进行无线投屏 —卡菜克特别情报
  10. Arduino控制PS2无线手柄
  11. unity 2022大三期末大作业 3D立体魔方游戏（附下载链接）
  12. Java发送短信验证码
  13. 安装域、对域进行管理
  14. 详解Spring Ioc（控制反转）
  15. int java 声明_怎样用java定义一个int数组 C++ 怎么声明一个整型数组？
  16. 三国志2霸王的大陆 武器大全
  17. python实现输入一个正整数_Python中实现输入一个整数的案例
  18. MoviePy - 中文文档4-MoviePy实战案例-炫动的字母特效
  19. Python实现识别多个条码/二维码（一）
  20. 在虚拟机上使用SoftRoCE部署SPDK NVMe-oF

热门文章

  1. 室内声场计算机模拟的声线跟踪法和虚声源法,建筑物理课件.ppt
  2. 用废旧纸箱 DIY 智能宠物喂食器！旅行在外远程投喂“二狗子”
  3. DISM命令使用小结
  4. 利用DISM修复WIN11的系统组件错误
  5. RISC-V技术杂谈
  6. python qrcode生成二维码
  7. 以下是三套目前Web 2.0网站流行试用的颜色元素
  8. 鼠标右键编辑html文档,鼠标右键菜单编辑方法
  9. UML类图---类与类图的解析
  10. java默认修饰符_java默认方法的修饰符是什么