hadoop2.8.2 YARN 架构
YARN的核心思想是把资源管理和任务调度/监控分离到不同的进程中。这个思想的实现依赖于全局的ResourceManager（RM）和每个应用的ApplicationMaster（AM）。
一个应用就是一个单独的作业或者DAG。
ResourceManager和NodeManager形成了数据计算框架，
ResourceManager是系统中所有应用的资源仲裁者。
NodeManager是个代理，它负责容器，监控资源使用（cpu，内存，硬盘，网络）随时通知给ResourceManager/Scheduler.
ApplicationMaster负责从ResourceManager取得资源以及和NodeManager一起工作用来执行和监控任务。
架构图如下：
ResourceManager有两个重要的组件：Scheduler（调度器）和ApplicationsManager（应用管理器）
Scheduler分配资源到不同的应用，Scheduler仅仅就是一个调度器，他不负责监控，跟踪应用的状态。
另外，他不保证重新执行失败的任务，不论是应用失败还是硬件失败。Scheduler根据应用的需求以及Container来执行调度工作。Container包含了内存，cpu，硬盘，网络等。
Scheduler拥有插入策略，这使得它可以在不同队列和应用之间分配集群资源。当前的调度器比如：CapacityScheduler和FairScheduler就是可插入的实例。
ApplicationsManager负责接口作业的提交和创建容器来执行应用的ApplicationMaster。并且会提供一个失败重启的服务。每个应用的ApplicationMaster都有从Scheduler获得容器资源的功能，并且跟踪状态监控过程。
hadoop-2.x的MapReduce保留和之前版本的API兼容性。这就是说所有MapReduce作业都运行在YARN之上。
YARN也提供资源预定的概念，通过ReservationSystem,这个组件用户可以指定一个配置文件，可配置资源超时时间和临时约束，以及预定资源保证重要作业的执行。ReservationSystem 跟踪资源超时，执行允许控制，动态指导调度器保证预定工作可行。
hadoop2.8.2 YARN 架构相关推荐
- 启动hadoop没有resourcemanager_5.hadoop-MR YARN架构理论与集群搭建
MR原语 输入(格式化k,v)数据集map映射成一个中间数据集(k,v)reduce 相同"的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算 计算框架 Partit ...
- 【读书笔记】YARN架构设计与实现原理
Hadoop技术内幕:深入解析YARN架构设计与实现原理 Hadoop技术内幕:深入解析YARN架构设计与实现原理 董西成 ◆ 第2章 YARN设计理念与基本架构 由于MRv2将资源管理功能抽象成了一 ...
- Hadoop生态圈（九）YARN架构深入学习
1. YARN框架概述 1.1 YARN产生和发展简史 1.1.1 Hadoop演进阶段 数据.程序.运算资源(内存.cpu)三者组在一起,完成了数据的计算处理过程.在单机环境下,这些都不是太大问题. ...
- Hadoop生态圈（三十三）- YARN架构深入学习
目录 前言 1. YARN框架概述 1.1 YARN产生和发展简史 1.1.1 Hadoop演进阶段 1.1.1.1 阶段0:Ad Hoc集群 1.1.1.2 阶段1:HOD集群 1.1.1.3 阶段 ...
- hadoop2.x下Yarn详解
1. Yarn的介绍 YARN的基本思想是将JobTracker的两个主要功能(资源管理和 作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的 ...
- yarn架构——本质上是在做解耦 将资源分配和应用程序状态监控两个功能职责分离为RM和AM...
Hadoop YARN架构解读 原Mapreduce架构 原理 架构图如下: 图 1.Hadoop 原 MapReduce 架构 原 MapReduce 程序的流程: 首先用户程序 (JobClien ...
- Hadoop学习（二）——MapReduce\Yarn架构
其他更多java基础文章: java基础学习(目录) 学习资料 理解Hadoop YARN架构 本文先讲MapReduce 1.x的框架.再讲MapReduce 1.x升级改进后MapReduce 2 ...
- 大话Hadoop1.0、Hadoop2.0与Yarn平台
2016年12月14日21:37:29 Author:张明阳 博文链接:http://blog.csdn.net/a2011480169/article/details/53647012 参考 ppt ...
- Hadoop YARN架构设计要点
YARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框 ...
最新文章
- FreeBSD最小化安装没有man解决方法
- 有STC制作一个手持微型示波器
- Ubuntu 16.04中iptables的工具简介（iptables/iptables-restore/iptables-xml/iptables-apply/iptables-save）...
- 不可识别的字符转义序列_大庆事业单位车牌识别道闸多少钱,感应小区车牌识别道闸系统...
- 创建设备文件节点_使用device_create实例分析
- 交换机配置VLAN（思科模拟器实现）
- 数学建模——层次分析法，一致性检验学习笔记（一）
- Heartbeat简介
- Ubuntu设置双显示器
- IM开发快速入门(一)：什么是IM系统？
- 彻底解读剪不断理还乱的\r\n和\n, 以Windows和Linux为例
- 蛋白质结构预测 AlphaFold2、ColabFold、Uni-Fold、ESMFold
- getElementsByTagName的用法
- FCN训练不收敛的原因分析和最详细的FCN训练与测试自己的数据程序配置
- 黑马程序员—对话框Dialog小例子
- 马云再一次颠覆革命！支付宝又逆天：不用钱包不用手机照样支付
- CSS设置背景图片满屏
- 充分条件,必要条件,充分必要条件
- linux中httpd错误页面图片,自定义404页面
- springboot预约挂号小程序毕业设计毕设作品开题报告开题答辩PPT