Hadoop组成及各组件架构概述

1.Hadoop组成

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源调度，耦合性较大。

在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。

Hadoop3.x在组成上没有变化

2.HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

（1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

（2）DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。

（3）Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份。

3.YARN架构概述

Yet Another Resource Negotiator简称YARN,另一种资源协调者，是Hadoop的资源管理器。

1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大。

2）NodeManager（NM）：单个节点服务器资源的老大。

3）ApplicationMaster（AM）：单个任务运行的老大。

4）Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

说明：

1.客户端可以有多个

2.集群上可以运行多个ApplicationMaster

3.每个NodeManager上可以有多个Container

4.MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce。

（1）Map阶段并行处理输入数据

（2）Reduce阶段对Map结果进行汇总

5.HDFS、YARN、MapReduce三者的关系

Hadoop组成及各组件架构概述相关推荐

Hadoop架构概述
HDFS架构概述 HDFS(Hadoop Distributed File System)的架构概述 NameNode(nn):存储文件的元数据,如文件名.文件目录结构.文件属性(生成时间.副本数.文 ...
Hadoop框架和四大组件简介
记录学习,有错欢迎指正目录前言 1.hadoop简介 2.hadoop的组成 3.HDFS(Hadoop Distributed File System) 4.Yarn 5.MapReduce 6 ...
Java生鲜电商平台-微服务架构概述
Java生鲜电商平台-微服务架构概述单体架构存在的问题在传统的软件技术架构系统中,基本上将业务功能集中在单一应用内,或者是单一进程中.尽管现代化的软件架构理论以及设计原则已推广多年,但实际技术衍化 ...
Hadoop基础-Hdfs各个组件的运行原理介绍
Hadoop基础-Hdfs各个组件的运行原理介绍作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.NameNode工作原理(默认端口号:50070) 1>.什么是NameN ...
Nvidia CUDA初级教程4 GPU体系架构概述
Nvidia CUDA初级教程4 GPU体系架构概述视频:https://www.bilibili.com/video/BV1kx411m7Fk?p=5 讲师:周斌本节内容: 为什么需要GPU 三 ...
Hadoop入门及常用组件介绍
文章目录大数据体系架构 hadoop介绍 Hadoop生态系统主要组件 HDFS (分布式文件系统) MapReduce(分布式计算框架) Spark(基于内存的分布式计算框架) Storm(实时的 ...
互联网架构概述互联网架构演变过程
互联网架构概述文章目录互联网架构概述一.互联网架构特点二.衡量网站性能的指标三.互联网架构目标四.集群和分布式五.互联网架构演变 1. 单体架构 2. 垂直架构 3. 分布式架构 4. ...
ASP.NET Core 企业开发架构概述
ASP.NET Core 企业开发架构概述企业开发框架包括垂直方向架构和水平方向架构.垂直方向架构是指一个应用程序的由下到上叠加多层的架构,同时这样的程序又叫整体式程序.水平方向架构是指将大应用分成 ...
智能家居开源平台——智汀家庭云（架构概述）
智汀家庭云,立项于2021年,结合国内智能家居各厂商软件特点,研发"智汀家庭云",并对该生态系统全面开源,为国内首个采用智能家居系统全生态开源协议(Apache License, ...

Hadoop组成及各组件架构概述

Hadoop组成及各组件架构概述相关推荐

最新文章

热门文章