Yarn三种调度策略对比
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。
在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairScheduler。
1、FIFO Scheduler
FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。
FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。
从图中可以看出，在FIFO 调度器中，小任务会被大任务阻塞。
2、Capacity Scheduler
而对于Capacity调度器，有一个专门的队列用来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。
3、Fair Scheduler
在Fair调度器中，我们不需要预先占用一定的系统资源，Fair调度器会为所有运行的job动态的调整系统资源。如下图所示，当第一个大job提交时，只有这一个job在运行，此时它获得了所有集群资源；当第二个小任务提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。
需要注意的是，在下图Fair调度器中，从第二个任务提交到获得资源会有一定的延迟，因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用的资源，大任务又获得了全部的系统资源。最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。
Yarn三种调度策略对比相关推荐
- 元素隐藏的三种方式对比（针对移动端项目中的按钮，先隐藏且不能被点击 visibility:hidden）
元素隐藏的三种方式对比 display:none opacity:0 visibility:hidden 项目需求 表面一个图片遮罩,鼠标hover遮罩消失,内部元素展现,其中有一个按钮在移动端是手指 ...
- linux内核调度,Linux内核的三种调度策略
一 Linux内核的三种调度策略: 1,SCHED_OTHER 分时调度策略, 2,SCHED_FIFO实时调度策略,先到先服务.一旦占用cpu则一直运行.一直运行直到有更高优先级任务到达或自己放弃 ...
- 【老生谈算法】matlab实现EKF UKF PF三种算法对比源码——EKF UKF PF算法
EKF UKF PF三种算法对比 matlab程序 1.文档下载: 本算法已经整理成文档如下,有需要的朋友可以点击进行下载 序号 文档(点击下载) 本项目文档 [老生谈算法]EKF-UKF-PF三种算 ...
- APS计划排程系统之下的MRPII、JIT、TOC三种方式对比分析
1.生产物流计划的制订方式对比 ①MRPII采用的是集中式的物料计划方式,建立好产品加工程序,在电脑中确定好准确的订单需求和库存量,对各个生产单元传送生产指令: ②JIT利用的是看板管理控制方式,按照 ...
- java 时间戳 对比_Java中获取时间戳的三种方式对比实现
Java中获取时间戳 三种方式对比 最近项目开发过程中发现了项目中获取时间戳的业务.而获取时间戳有以下三种方式,首先先声明推荐使用System类来获取时间戳,下面一起看一看三种方式. 1.System ...
- Storm与Spark、Hadoop三种框架对比
目录 Storm与Spark.Hadoop三种框架对比 一.Storm与Spark.Hadoop三种框架对比 二.hadoop的应用业务分析 二.浅谈Hadoop的基本原理 Hadoop与Storm的 ...
- YARN三种调度方式
1. 三种调度器 FIFO调度器 先进先出,但不适合资源公平性 容量调度器 独立的专门队列保证小作业也可以提交后就启动,队列容量是专门保留的 以整个集群的利用率为代价,与FIFO比,大作业执行的时间要 ...
- stcisp一直检测单片机_三种方法对比：STC51单片机实现免冷启动
具体实现方法实践可用的无外乎三种: 1)使用CH340的DTR和RTS控制单片机断电再上电.点上位机下载按钮的时候,DTR和RTS引脚电平变化. 2)再使用一个单片机,检测串口下载命令流. 3)在程序 ...
- 深度相机（三）--三种方案对比
from:https://blog.csdn.net/app_12062011/article/details/52511701 RGBD方案对比: 关键技术规格: 1.检测范围: 2.检测精度: 3 ...
最新文章
- python mysql
- 为循环的repeater的第一行加个样式
- 防止重复提交保证幂等的几种解决方案
- Select2控件的使用
- UESTC 趣味赛命题报告E
- ASP.NET Core 中文文档 第一章 入门
- 国科大高级人工智能12-博弈
- P1040 加分二叉树【dp+深搜】
- ios如何获取gps坐标（定位第二节）
- Maven MyEclipse创建web项目没有src/maim/java
- SqlServer中char,varchar,nchar,nvarchar的区别
- 10个受欢迎的英文名
- DXUT框架剖析（1）
- 方差-偏差平衡(Bias-Variance Balance)与模型选择
- 40个Android源码学习实例
- 彻底弄懂TIME_WAIT 及 tcp_tw_reuse选项
- 北斗导航 | BDS RTK高精度定位算法在形变检测中的应用(算法原理讲解)
- 湖南师范大学学科综合评价计算机,师范类高校自主招生/综合评价相关问答，2020届参考...
- Censored! POJ - 1625（AC自动机 + dp +高精度模板）
- NET开发邮件发送功能的全面教程(含邮件组件源码)(