Hadoop概述--四大组件架构及其关系

Hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构
主要解决海量数据的存储和海量数据的分析计算问题
通常Hadoop是指一个更广泛的概念–Hadoop生态圈

Hadoop的优势

高可靠性：Hadoop底层维护了多个数据副本，所以即使Hadoop某个计算元素存储出现故障，也不会导致数据的丢失
高扩展性：在集群运行间动态增加服务器，可方便地扩展数以千计的节点
高效性：在MapReduce思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：能够自动将失败的任务重新分配

Hadoop的组成

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大
在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算，降低了耦合度
Hadoop3.x在组成上没有变化

HDFS架构（Hadoop Distributed File System）

是一个分布式文件系统，将数据分块存储在多个服务器上
NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。nn就相当于一个目录
DataNode（dn）：在本地文件系统村塾文件块数据，以极块数据的校验和
Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份，如果NameNode挂了，在2nn内还有一部分元数据

Yarn架构

ResourceManager（RM）：整个集群资源（内存、CPU）的管理者
NodeManager（NM）：单个节点服务器资源的管理者
ApplicationMaster（AM）：单个任务运行的管理者
Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的的资源：如内存、CPU、磁盘、网络等
说明：客户端可以有多个
集群上可以运行多个ApplicationMaster
每个NodeManager上可以有很多个Container

MapReduce架构

MapReduce将整个计算过程分为两个阶段：Map、Reduce
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总

HDFS、YARN、MapReduce的关系：

客户端发起数据处理请求，各组件工作流程如下：

大数据技术生态：

生态图来自尚硅谷

Hadoop概述--四大组件架构及其关系相关推荐

Android10.0 四大组件与进程启动间关系
原文地址:https://skytoby.github.io/2019/Android%E5%9B%9B%E5%A4%A7%E7%BB%84%E4%BB%B6%E4%B8%8E%E8%BF%9B%E7 ...
hadoop概述-包括各个组件
1.Hadoop 是什么 1)Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构分布式表示把一件大事拆分成小事去处理基础架构表示这是其它框架的基础 2)主要解决, ...
Android 四大组件与 MVC 架构模式
作为一个刚从JAVA转过来的Android程序员总会思考android MVC是什么样的? 首先,我们必须得说Android追寻着MVC架构,那就得先说一下MVC是个啥东西! 总体而来说MVC不能说是 ...
Android架构及四大组件
Android架构及四大组件 Android架构 Loader层: Linux内核层硬件抽象层 (HAL) Android Runtime & 系统库 Framework层 App层 Sys ...
亿点点概述Android基础必会的四五六【四大组件五大存储六大布局】
Android 四大组件五大存储六大布局 1. Android四大组件 1.1 Activity 1.1.1 概念 1.1.2 生命周期 1.1.3 四种启动模式 1.1.4 三种跳转方式 1.2 ...
Binder相关面试总结（六）：四大组件底层的通信机制是怎样的
一.前言这篇文章我酝酿了很久,参考了很多资料,读了很多源码,却依旧不敢下笔.生怕自己理解上还有偏差,对大家造成误解,贻笑大方.又怕自己理解不够透彻,无法用清晰直白的文字准确的表达出 Binder 的 ...
Android四大组件---Activity
1:前言上一遍讲解了四大组件的广播----BroadcastReceiver,今天,我来解释一下四大组件最常用的activity. 2:概述 Activity 作为与用户交互的一个窗口,是使用非常频 ...
大数据技术之Hadoop概述集群环境搭建常见错误解决等
Hadoop概述文章目录 Hadoop概述 1. Hadoop是什么 2. Hadoop发展历史 4. Hadoop的优势 5. Hadoop组成 6. 大数据技术生态体系 7. 推荐系统框架图略图 ...
Android 之四大组件、六大布局、五大存储
Android 之四大组件.六大布局.五大存储:https://blog.csdn.net/shenggaofei/article/details/52450668 Android 四大组件.五大存储 ...
Android四大组件系列7 Broadcast广播机制（上）
一概述广播 (Broadcast) 机制用于进程或线程间通信,广播分为广播发送和广播接收两个过程,其中广播接收者 BroadcastReceiver 是 Android 四大组件之一.Broadc ...

Hadoop概述--四大组件架构及其关系

Hadoop是什么

Hadoop的优势

Hadoop的组成

HDFS架构（Hadoop Distributed File System）

Yarn架构

MapReduce架构

HDFS、YARN、MapReduce的关系：

大数据技术生态：

Hadoop概述--四大组件架构及其关系相关推荐

最新文章

热门文章