本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。

一、Hadoop入门

大数据的特点：

Volume（大量）
Velocity（高速）
Variety（多样）
Value（低价值密度）

1. Hadoop概念

是一个分布式系统基础架构

2. Hadoop优势

高可靠
高扩展性
高效性
高容错性

3. Hadoop组成

(1) HDFS架构概述

HDFS（Hadoop Distributed File System）是一个分布式文件系统

NameNode（NN）：存储文件的元数据，如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等。
DataNode（DN）：在本地文件系统存储文件块数据，以及块数据的校验和。
Secondary NameNode（2NN）：每隔一段时间对NameNode元数据备份。

(2) YARN架构概述

YARN（Yet Another Resource Negotiater）：另一种资源协调者，是Hadoop的资源管理器。

ResourceManager（RM）：整个集群资源（内存、CPU等）的管理者
NodeManager（NM）：单个节点服务器资源管理者
ApplicationMaster（AM）：单个任务运行的管理者
Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等

说明：

客户端可以有多个
集群上可以运行多个ApplicationMaster
每个NodeManager上可以有多个Container

(3) MapReduce架构概述

MapReduce将计算拆成两个阶段：Map和Reduce

Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总

(4) HDFS、YARN、MapReduce三者关系

4. 大数据技术生态体系

二、HDFS

1. 概述

(1) 优缺点

优点：

高容错性：一个数据会自动保存多个副本，某个副本丢失后，它可以自动恢复
适合处理大数据：无论是数据规模还是文件数量规模大都可以处理
可构建在廉价的机器上

缺点：

不适合低延迟的数据访问：如毫秒级的存储数据是做不到的
无法高效地对大量小文件进行存储：
- 存储大量小文件时，会占用NameNode大量内存去存储文件目录信息和块信息，而NameNode的内存是有限的
- 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标
不支持并发写入和文件的随机修改
- 不允许多个线程同时写同一文件
- 仅支持数据追加，不支持随机修改

(2) 组成

NameNode（NN）：就是Master，它是一个主管、管理者，其功能是：

管理HDFS的名称空间
配置副本策略
管理数据块的映射信息
处理客户端读写请求

DataNode（DN）：就是Slave，NameNode下达命令，DataNode执行具体操作，其功能是：

存储实际数据块
执行数据块的读写操作

Secondary NameNode（2NN）：并非NameNode的热备，当NameNode挂掉时，它并不能马上替换NameNode并提供服务，其功能是：

辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
在紧急情况下，可辅助恢复NameNode

Client：就是客户端，其功能是：

文件切分，当文件上传HDFS时，将文件切分为一个个块，并进行上传
与NameNode交互，获取文件的位置信息
与DataNode交互，读取或写入数据
提供一些命令来管理HDFS，如NameNode格式化
通过命令来访问HDFS，如对NameNode的增删改查操作

(3) 文件块大小

在Hadoop1.x中文件块大小默认为64M，而在2.x和3.x中为128M。当寻址时间为传输时间的1%时为最佳状态。文件块的大小太小，则会导致大文件被分割成太多块，增加寻址时间。而文件块大小太大，则会使得传输时间远大于寻址时间。文件块的大小主要取决于磁盘的传输速率。

2. HDFS的读写流程

(1) 剖析文件的写入

(2) 网络拓扑-节点距离计算

节点距离：两个节点到达最近公共祖先的距离之和

(3) 机架感知-副本存储节点总结

第一个副本存储在客户端所在的节点上，如果客户端在集群外，则随机选一个。

第二个副本在另一个机架的随机节点上。

第三个副本在第二个副本所在机架的随机节点上。

(4) 剖析文件的读取

3. NN和2NN

4. fsimage和edits概念

fsimage文件：HDFS文件系统元数据的一个永久性检查点，其中包含HDFS文件系统所有的目录和文件innode的序列号信息

edits文件：存放HDFS文件系统所有更新操作的路径，文件系统客户端所执行的所有写操作首先会被记录在edits文件中

seen_txid文件：保存的是一个数字，就是最后一个edits_的数字

5. DataNode工作机制

三、MapReduce

1. MapReduce概述

(1) 定义

MapReduce是一个分布式运算程序的编程框架

MapReduce核心思想：

(2) 优缺点

优点：

易于编程。用户只需要关心业务逻辑
良好的扩展性。可以动态增加服务器，解决计算资源不够的问题
高容错性。任何一台集群挂掉，可以将任务转移到其他节点
适合海量数据计算（TB/PB）。几千台服务器共同计算

缺点：

不擅长实时计算。MySQL擅长
不擅长流式计算。Flink擅长
不擅长DAG有向无关图计算。Spark擅长

2. 编程规范

用户编写的程序分为3个部分：Mapper、Reducer和Driver

(1) Mapper阶段

用户自定义的Mapper要继承自己的父类
Mapper的输入是键值对的形式
Mapper中的业务逻辑写在map()方法中
Mapper的输出是键值对的形式
map()方法对每一个<K, V>调用一次

(2) Reducer阶段

用户自定义的Reducer要继承自己的父类
Reducer的输入类型与Mapper的输入类型相对应
Reducer的业务逻辑写在reduce()方法中
ReduceTask进程对每一组相同的<K, V>调用一次reduce()方法

(3) Driver阶段

相当于Yarn集群的客户端，用于提交整个程序到Yarn集群，提交的是封装了MapReduce程序相关运行参数的job对象

3. 核心框架原理

(1) 输入数据处理InputFormat

切片与MapTask并行度决定机制：MapTask的并行度决定Map阶段任务处理并发度，进而影响到整个job的处理速度。

数据块（block）是物理上把数据分成一块一块的，数据块是HDFS数据存储单位。

数据切片只是在逻辑上对输入数据进行分片，数据切片是MapReduce程序计算输入数据的单位。一个切片会对应启动一个MapTask。

TextInputFormat切片机制

一个job的map阶段并行度由提交job时的切片数决定。
每一个切片分配一个MapTask并进行处理
默认情况下切片大小等于块大小
切片时不考虑数据集整体，而是对每个文件单独切片

CombineTextInputFormat切片机制

框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。

应用场景：
Combine TextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
生成切片过程包括虚拟存储过程和切片过程二部分。首先判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。如果不大于则跟下一个虚拟存储文件进行合并，共同形成一个切片。

MapReduce工作流程：

(2) Shuffle

map方法之后，reduce方法之前的数据处理过程称为shuffle（混洗）。

Combiner是MR程序中Mapper和Reducer之外的一种组件

Combiner和Reducer的区别在于运行的位置不同，Combiner在每个MapTask所在的节点运行，Reducer是接收全局所有Mapper的输出结果

Combiner的意义是对每个MapTask的输出进行局部汇总，以减小网络传输量

Combiner能够应用的前提是不能影响最终业务逻辑

(3) 输出数据处理OutputFormat

MapTask工作机制：

ReducerTask工作机制；

ReduceTask的并行度同样影响整个Job的执行并发度和执行效率，但与MapTask的并发数由切片数决定不同，ReduceTask 数量的决定是可以直接手动设置

(1) ReduceTask=0, 表示没有Reduce阶段, 输出文件个数和Map个数一致

(2) ReduceTask默认值就是 1,所以输出文件个数为一个

(3)如果数据分布不均匀，就有可能在Reduce阶段产生数据倾斜

(4) Reduce Task数量并不是任意设置，还要考虑业务逻辑需求，有些情况下，需要计算全局汇总结果，就只能有1个Reduce Task

(5)具体多少个ReduceTask, 需要根据集群性能而定

(6)如果分区数不是1,但是ReduceTask为1，是否执行分区过程。答案是:不执行分区过程。因为在MapTask的源码中，执行分区的前提是先判断ReduceNum个数是否大于1。不大于1肯定不执行

(5) 数据清洗（ETL）

“ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。

(6) 总结

1、Input Format

默认的是TextInputformat，key是偏移量，v 是一行内容
处理小文件用CombineTextInputFormat，把多个文件合并到一起统一切片

2、Mapper

setup()初始化
map()用户的业务逻辑;
clearup() 关闭资源

3、分区

默认分区HashPartitioner，默认按照key的hash值 % numreducetask个数自定义分区

4、排序

部分排序：每个输出的文件内部有序。
全排序：一个reduce，对所有数据大排序。
二次排序：自定义排序范畴，实现writableCompare接口，重写compareTo方法。总流量倒序按照上行流量正序

5、Combiner

前提：不影响最终的业务逻辑（）求和没问题，求平均值不行）
提前聚合map => 解决数据倾斜的一个方法

6、Reducer

setup() 初始化
reduce() 用户的业务逻辑
clearup() 关闭资源

7、Output Format

默认TextOutputFormat按行输出到文件
自定义

四、Yarn

1. Yarn基础架构

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成

2. Yarn工作机制

3. Yarn和HDFS、MapReduce的配合

4. Yarn的调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。 Apache Hadoop3.1.3默认的资源调度器是容量调度器。CDH框架默认调度器是公平调度器。

(1) FIFO

FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

(2) 容量调度器

容量调度器是一个多用户调度器

一个队列中只要资源够，就可以按提交顺序分配给先来的job

容量调度器资源分配算法：

(3) 公平调度器

公平调度器是一个多用户调度器

公平调度器设计目标是:在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫"缺额”
调度器会优先为缺额大的作业分配资源

公平调度器资源分配方式：

FIFO策略：公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。
Fair策略：Fair策略(默认)是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源;如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
- 具体资源分配流程和容量调度器一致;
  - 选择队列
  - 选择作业
  - 选择容器
  以上三步，每一步都是按照公平策略分配资源
DRF策略：DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。

【学习笔记】尚硅谷Hadoop大数据教程笔记相关推荐

尚硅谷python核心基础教程笔记-第一章计算机基础知识
第一章计算机基础知识(视频1-10) 课程介绍课程名称:Python基础视频教程讲师:尚硅谷教育,李立超(lichao.li@foxmail.com) 面向的层次:From Zero to He ...
Hadoop大数据生态系统笔记
前言第一次更新于2022.3.6(未发布) 第二次更新于2022.3.8 本章主要用来记录回顾总结一下2021上学期的<大数据的技术原理及应用>,因为内容超级多,在本章我只记录关于Had ...
跟着尚硅谷学大数据（二）MapReduce
第1章 MapReduce概述 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发"基于Hadoop的数据分析应用"的核心框架. MapR ...
电商数仓描述_笔记-尚硅谷大数据项目数据仓库-电商数仓V1.2新版
架构项目框架数仓架构存储压缩 Snappy与LZO LZO安装: 读取LZO文件时,需要先创建索引,才可以进行切片. 框架版本选型Apache:运维麻烦,需要自己调研兼容性. CDH:国内使用最 ...
（尚硅谷java零基础教程）学习笔记day7/8-数组
1.数组的概述 1.1 定义数组(Array),是多个相同类型数据按一定顺序排列的集合,并使用一个名字命名,并通过编号的方式对这些数据进行统一管理. 1.2 数组的相关概念数组名元素数组的索引 ...
Hadoop 大数据学习笔记
Hadoop 大数据学习笔记1 大数据部门组织架构 Hadoop Hadoop是什么 Hadoop的优势 Hadoop的组成 HDFS架构 YARN架构 MapReduce 大数据技术生态体系![在这 ...
hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶
hadoop大数据开发技术学习笔记第三天:(前序)MySQL数据库进阶一.回顾知识 1.myschool数据库和数据表的创建 (1)创建数据库 (2)数据库模型图 (3)创建数据表grand (4) ...
maven学习笔记——尚硅谷
文章目录 maven学习笔记--尚硅谷第一章 Maven概述第一节为什么要学习Maven 1.Maven 作为依赖管理工具 1.1 jar 包的规模 1.2 jar 包的来源 1.3 jar 包 ...
好程序员大数据教程分享之Hadoop优缺点
好程序员大数据教程分享之Hadoop优缺点,大数据成为时代主流,开启时代的大门,全球43亿部电话.20亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友.上传视频.用手机拍照.更新社交网站的 ...

【学习笔记】尚硅谷Hadoop大数据教程笔记