大数据快速入门(06):秒懂资源调度框架 YARN
一、第一代资源管理器为什么会被淘汰掉
我们知道,hadoop 主要是由三部分组成,HDFS (hadoop 分布式文件系统),MapReduce(分布式计算框架),还有一个就是分布式集群资源调度框架 YARN。
但是 YARN 并不是随 HADOOP 的推出一开始就有的。
YARN 是在 Mapreduce 基础上演化而来的,它克服了 MapReduce 架构中的各种局限性,主要可概括为以下几个方面:
可靠性差
MRv1采用了master/slave结构,其中,master存在单点故障问题,一旦它出现故障将导致整个集群不可用。
扩展性差 在MRv1中,JobTracker(master)同时兼备了资源管理和作业控制两个功能,这成为系统的一个最大瓶颈,严重制约了Hadoop集群扩展性。
资源利用率低
MRv1采用了基于槽位的资源分配模型,槽位是一种粗粒度的资源划分单位,通常一个任务不会用完槽位对应的资源,且其他任务也无法使用这些的空闲资源。
此外,Hadoop将槽位分为Map Slot和Reduce Slot两种,且不允许它们之间共享,常常会导致一种槽位资源紧张而另外一种闲置(比如一个作业刚刚提交时,只会运行Map Task,此时Reduce Slot闲置)。
无法支持多种计算框架
随着互联网高速发展,MapReduce这种基于磁盘的离线计算框架已经不能满足应用要求,从而出现了一些新的计算框架,包括内存计算框架、流式计算框架和迭代式计算框架等,而MRv1不能支持多种计算框架并存。
在 Hadoop 早期的时候,大数据技术就只有 Hadoop 一家,这个缺点并不明显。
但随着大数据技术的发展,各种新的计算框架不断出现,我们不可能为每一种计算框架部署一个服务器集群,而且就算能部署新集群,数据还是在原来集群的 HDFS 上。
所以我们需要把 MapReduce 的资源管理和计算框架分开,这也是 Hadoop 2 最主要的变化,就是将 Yarn 从 MapReduce 中分离出来,成为一个独立的资源调度框架。
二、Yarn 的设计思想
基本设计思想是将 JobTracker 的两个主要功能,即资源管理和作业控制(包括作业监控、容错等),分拆成两个独立的进程。
资源管理进程和具体的应用程序无关,它负责整个集群的资源(内存,CPU,磁盘等)管理,而作业控制进程则是直接与应用程序相关的模块,且每个作业控制进程只负责管理一个作业。
这样,通过将原有JobTracker中与应用程序相关和无关的模块分开,不仅减轻了JobTracker的负载,也使得Hadoop支持更多的计算框架。
从资源管理的角度看,下一代MapReduce框架衍生出了一个资源统一管理平台,它使得Hadoop不再局限于仅支持MapReduce一种计算模型,而是可无限融入多种计算框架,并且对这些框架进行统一管理和调度。
三、Yarn 的架构
从图上看,Yarn 包括两个部分:一个是资源管理器(ResourceManager),一个是节点管理器(NodeManager)。
ResourceManager 进程负责整个集群的资源调度管理,通常部署在独立的服务器上;
NodeManager 进程负责具体服务器上的资源和任务管理,在集群的每一台计算服务器上都会启动。基本上跟 HDFS 的 DataNode 进程一起出现。
资源管理器
调度器
调度器主要功能是根据资源容量,队列等方面的限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个应用程序。
YARN中的调度器是一个“纯调度器”,它不再从事任何与具体应用程序相关的工作,比如不负责监控或者跟踪应用的执行状态等,也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务,这些均交由应用程序相关的ApplicationMaster完成。
调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位用一个抽象概念“资源容器”(ResourceContainer,简称Container)表示,Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,从而限定每个任务使用的资源量。
在YARN中,资源调度器是一个可插拔的组件,用户可根据自己的需要设计新的调度器,YARN提供了多种直接可用的调度器,比如Fair Scheduler和Capacity Scheduler。
应用程序管理器
应用程序管理器负责应用程序的提交、监控应用程序运行状态等。
应用程序启动后需要在集群中运行一个 ApplicationMaster,ApplicationMaster 也需要运行在容器里面。
每个应用程序启动后都会先启动自己的 ApplicationMaster,由 ApplicationMaster 根据应用程序的资源需求进一步向 ResourceManager 进程申请容器资源,得到容器以后就会分发自己的应用程序代码到容器上启动,进而开始分布式计算。
四、以一个 MapReduce 为例介绍 Yarn 的工作流程
当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行该应用程序:第一个阶段是启动ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,并监控它的整个运行过程,直到运行完成。
YARN的工作流程分为以下几个步骤:
步骤1 用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
步骤2 ResourceManager为该应用程序分配第一个Container,并与对应的Node-Manager通信,要求它在这个Container中启动应用程序的ApplicationMaster。
步骤3 ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManage查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7。
步骤4 ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
步骤5 一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务。
步骤6 NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。
步骤7 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
步骤8 应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。
五、总结
我认为理解 Yarn 的工作原理和架构,对于正确使用大数据技术,理解大数据的工作原理,是非常重要的。
在云计算的时代,一切资源都是动态管理的,理解这种动态管理的原理对于理解云计算也非常重要。
Yarn 作为一个大数据平台的资源管理框架,简化了应用场景,对于帮助我们理解云计算的资源管理很有帮助。
更多大数据系列文章,关注公众号:KK架构师,即可获取
大数据快速入门(06):秒懂资源调度框架 YARN相关推荐
- 大数据快速入门(09):永久弄清楚 Hive 分区表和分桶表的区别
蛋蛋 和 小智 今天又在"打情骂俏",他们今天在谈论分区表和分桶表,走,我们去听听. 这天,蛋蛋去茶水间倒水,他把水杯放在饮水机下面,打开开关,一直盯着墙上的画在看,灵魂仿佛已经飞 ...
- 大数据快速入门(03):漫谈数据收集,你的数据值百万
札记 亲爱的粉丝老爷,好久不见. 这次我为文章增加一个新的栏目,叫"札记",记录一下平时的工作,给冷冰冰的技术文章增加一些温度,给即将到来的冬天暖暖心,大概 200 字左右. 说说 ...
- 大数据快速入门(05):MapReduce 编程模型赏析
一.Hadoop 诞生的传奇故事 (上图是 Doug Cutting,hadoop 之父) 1985年,Cutting 毕业于美国斯坦福大学. Cutting 的第一份工作是在 Xerox 做实习生, ...
- HealthKit开发快速入门教程之HealthKit框架体系创建健康AppID
HealthKit开发快速入门教程之HealthKit框架体系创建健康AppID HealthKit开发准备工作 在开发一款HealthKit应用程序时,首先需要讲解HealthKit中有哪些类,在i ...
- 大数据-03-Spark入门
Spark 简介 行业广泛使用Hadoop来分析他们的数据集.原因是Hadoop框架基于一个简单的编程模型(MapReduce).这里,主要关注的是在处理大型数据集时在查询之间的等待时间和运行程序的等 ...
- 大数据从入门到就业的四个必备常识
文章有点长,但是它包含了大数据从入门到就业讲解,耐心了解一下吧! 一.大数据分析的五个基本方面1,可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要 ...
- 大数据与Hadoop有什么关系?大数据Hadoop入门简介
学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...
- Hadoop大数据从入门到精通-任亮-专题视频课程
Hadoop大数据从入门到精通-48021人已学习 课程介绍 Hadoop分布式文件系统(HDFS)和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Had ...
- 大数据必看经典书籍:大数据从入门到深入书籍推荐
大数据领域,尤其是涉及到技术开发方向,是有着很庞杂的技术知识体系的,通过看书来打好理论基础是很多同学初学大数据的想法.下面加米谷大数据老师给大家推荐几本大数据从入门到深入必看的经典书籍,希望能对大家有 ...
最新文章
- HTML5 geolocation和BaiduMap、BingMap、GoogleMap
- Linux 播号上网
- python 库整理: collections.namedtuple
- 【Machine Learning】决策树之ID3算法 (2)
- linux kernel中的中断处理流程
- java基础—Hashtable,HashMap,TreeMap的差别
- python操作Excel的5种方式
- Markdown 工程师也不简单:如何写一个高逼格 README
- SAP CX Upscale Commerce : SAP全新推出的电商云平台
- hdu5468 Puzzled Elena
- 厨房炒锅行业调研报告 - 市场现状分析与发展前景预测(2021-2027年)
- iphone 扩容测试软件,拯救iPhone 12 64G!闪迪打造的扩容神器上手:轻松省钱
- 综合行政执法改革依据
- 如何理解反步法设计控制器?
- 智能手环core日志获取-兔盯云
- 真人口播视频号:流量不愁,变现才是重中之重丨国仁网络
- javascript关于累加和的发散思维
- 基于qt与mupdf库的pdf阅读器开发
- 集束搜索beam search和贪心搜索greedy search
- 进阶高级自动化测试测试,Docker 常遇问题整理(带解决方案)
热门文章
- Oracle模糊查询,不区分大小写
- Python 华为机考真题【用户调度问题】分值【Q2-200】
- php beast 反编译,整理守军顺序-移植 - 潘德的预言 - 骑马与砍杀中文站论坛 - Powered by Discuz!...
- C语言copy命令的用法,c语言编写copy及grep命令
- [分布式系统][事务]对2PC的理解
- Navicat新建查询系统找不到指定路径
- vuex mapGetters
- 看我在项目里怎么用设计模式,这么学设计模式也太简单了!
- 【esp32-s3】8.1 I2C——光感BH1750
- COI实验室技能:常见的图像增强算法(含MATLAB代码)