一、Hadoop是什么

Hadoop是一个由apache开发的分布式系统基础架构。

主要解决海量数据的存储和海量数据的分析计算问题。

广义上来说，Hadoop通胀指一个更宽泛的概念——Hadoop生态圈

1、Hadoop优势

高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

高扩展性：在集群见分配任务数据，可方便的扩展数以千计的节点。

高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

高容错性：能够自动将失败的任务重新分配。

2、Hadoop1.x、2.x、3.x区别

Hadoop1.x中，Hadoop的MapReduce同时处理业务逻辑运算和资源的调度，耦合性比较大。

在Hadoop2.x中增加了Yarn。Yarn负责资源的调度，MapReduc负责运算。Hadoop3.x在组成上与Hadoop2.x一致。

3、Hadoop运行模式

本地模式：

单机运行，只是用来演示一下官方案例。生产环境不用。

伪分布式模式：

也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。一般用来测试，生产环境不用。

完全分布式模式：

多台服务器组成分布式环境。生产环境使用。

二、Hadoop三大架构

HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

NameNode(nn)：

存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

DataNode(dn)：

在本地文件系统存储文件块数据，以及块数据的校验和。

Secondary NameNode(2nn)：

每隔一段时间对NameNode元数据备份。

YARN架构概述

Yet Another Resource Negotiator简称YARN，是一种资源协调这，是Hadoop的资源管理器。

ResoueceManager(RM):

整个集群资源（内存、CPU等）的老大。

NodeManager(NM):

单个节点服务器资源老大。

ApplicationMaster(AM):

单个任务运行的老大。

Container:

容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

【注】

客户端可以有多个

集群上可以运行多个ApplicationMaster

每个NodeManager上可以有多个Container

MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

Map阶段并行处理输入数据

Reduce阶段对Map结果进行汇总

三、HDFS、YARN、MapReduce三者关系

客户端Client提交任务到资源管理器（ResourceManager）,资源管理器接收到任务之后去NodeManager节点开启任务（ApplicationMaster），ApplicationMaster向ResourceManager申请资源，若有资源ApplicationMaster负责开启任务即MapTask。

开始干活了即分析任务，每个map独立工作，各自负责检索各自对应的DataNode，将结果记录到HDFS，DataNode负责存储，NameNode负责记录，2nn负责备份部分数据。

四、大数据生态框架

大数据技术之Hadoop（一）三大框架相关推荐

大数据技术之Hadoop概述集群环境搭建常见错误解决等
Hadoop概述文章目录 Hadoop概述 1. Hadoop是什么 2. Hadoop发展历史 4. Hadoop的优势 5. Hadoop组成 6. 大数据技术生态体系 7. 推荐系统框架图略图 ...
大数据技术之Hadoop（MapReduce）
大数据技术之Hadoop(MapReduce) (作者:大数据研发部) 版本:V1.4 第1章MapReduce入门 map 计算 reduce 规约 1.1 MapReduce定义 Mapreduc ...
大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作）
系列博客 1.大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机 2.大数据技术之Hadoop编译源码 3.大数据技术之Hadoop分布式文件系统HDFS系统知识整理(从入门 ...
03大数据技术之Hadoop（HDFS）
03大数据技术之Hadoop(HDFS)(老师:尚硅谷) 文章目录 03大数据技术之Hadoop(HDFS)(老师:尚硅谷) 第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺 ...
二、大数据技术之Hadoop --从Hadoop框架讨论大数据生态
目录 1.从Hadoop框架讨论大数据生态 1.1 Hadoop是什么 1.2 Hadoop发展历史 1.3 Hadoop三大发行版本 1.3.1 Apache Hadoop 1.3.2 Cloude ...
大数据技术之Hadoop(快速入门)
目录第一章 Hadoop概述 1.1 什么是Hadoop 1.2 Hadoop 产生背景 Hadoop之父:Doug cutting 1.3 Hadoop 三大发行版本 Hadoop 三大发行版 ...
大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式
文章目录 1 Hadoop 概述 1.1 Hadoop 是什么 1.2 Hadoop 优势 1.3 Hadoop 组成(面试重点) 1.3.1 HDFS 架构概述 1.3.2 YARN 架构概述 1. ...
大数据技术之Hadoop
目录第一章大数据概述 1.大数据概念 1.2.大数据特点 1.Volume(大量) 2.Velocity(高速) 3.Variety(多样) 4.Value(低价值密度) 1.3 大数 ...
大数据技术之 Hadoop概念讲解
Hadoop介绍狭义上Hadoop指的是Apache软件基金会的一款开源软件. 用java语言实现,开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件 ...
大数据技术之Hadoop(十一)——网站流量日志数据分析系统
目录素材: 一.模块开发--数据预处理 1.分析预处理的数据 2.实现数据的预处理 (1)创建Maven项目,添加相关依赖 (2)创建JavaBean对象,封装日志记录 (3)创建MapReduce ...

大数据技术之Hadoop（一）三大框架

一、Hadoop是什么

1、Hadoop优势

2、Hadoop1.x、2.x、3.x区别

3、Hadoop运行模式

本地模式：

伪分布式模式：

完全分布式模式：

二、Hadoop三大架构

HDFS架构概述

NameNode(nn)：

DataNode(dn)：

Secondary NameNode(2nn)：

YARN架构概述

ResoueceManager(RM):

NodeManager(NM):

ApplicationMaster(AM):

Container:

【注】

MapReduce架构概述

三、HDFS、YARN、MapReduce三者关系

四、大数据生态框架

大数据技术之Hadoop（一）三大框架相关推荐

最新文章

热门文章