yarn调度器分类

FIFO（先进先出调度器）

Capacity Scheduler （容量调度器）

Fair Scheduler （公平调度器）

注意：Hadoop2.9.2 默认的资源调度器为容量调度器

区别

FIFO调度器

先进先出，同一时间队列中只有一个任务在执行

按照到达时间排序，先到先服务

1. 有新的服务器节点资源

2. Job1 里面包含 n个MapTask m个ReduceTask

3. 分配一个Task给该节点

容量调度器

多队列，每个队列内部先进先出，同一时间队列中只有一个任务在执行

队列的并行度为队列的个数

1. 支持多个队列，每个队列可以配置一定的资源量，每个队列采用FIFO调度策略

2. 调度器会对同一用户提交的作业所占资源量机型限定

3. 计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列（闲队列）

4. 按照作业优先级和提交时间顺序，同时考虑用户资源量限制和内存限制对队列内任务排序

5. 多个队列同时按照任务的先后顺序依次执行。

比如我们分为三个队列：queueA、queueB和queueC，每个队列的 job 按照到达时间排序。假如这里有100个slot，queueA分配20%的资源，可配置最多运行15个task，queueB 分配50%的资源，可配置最多运行25个task，queueC分配30%的资源，可配置最多运行25个task。这三个队列同时按照任务的先后顺序依次执行，比如，job11、job21和job31分别排在队列最前面，是最先运行，也是同时运行。

公平调度器

多队列；按照缺额排序，缺额大者优先；支持多用户多队列；

缺额：资源有限的情况下，每个job请求获得的计算资源与实际获得的计算资源存在的差距即为缺额；

每个队列资源量可以配置，同一队列中的作业公平共享队列中的所有资源；

同一队列中，Job的资源缺额越大，越先获得资源优先执行。作业按照缺额的高低来先后执行；

每个队列内存按照缺额大小分配资源启动任务；

同一时间队列中有多个任务执行，队列的并行度大于等于队列的个数。

比如有三个队列：queueA、queueB和queueC，每个队列中的 job 按照优先级分配资源，优先级越高分配的资源越多，但是每个 job 都会分配到资源以确保公平。在资源有限的情况下，每个 job 理想情况下获得的计算资源与实际获得的计算资源存在一种差距，这个差距就叫做缺额。在同一个队列中，job的资源缺额越大，越先获得资源优先执行。作业是按照缺额的高低来先后执行的，而且可以看到上图有多个作业同时运行。

hadoop yarn的三种资源调度器详解相关推荐

详解Yarn中三种资源调度器（FIFO Scheduler、Capacity Scheduler、Fair Scheduler）和配置自定义队列实现任务提交不同队列
前言在前面 Yarn的基本架构和作业提交全流程一文中提到,当ResourceManager收到客户端Client的请求之后会将该作业job添加到(默认的)容量调度器中,然后再由某一个空闲的Node ...
yarn的三种调度器
yarn的三种调度器 yarn我们都知道主要是用于做资源调度,任务分配等功能的,那么在hadoop当中,究竟使用什么算法来进行任务调度就需要我们关注了,hadoop支持好几种任务的调度方式,不同的场 ...
测绘用计算机吗,三种测量仪器使用详解，测绘人必须要知道
原标题:三种测量仪器使用详解,测绘人必须要知道水准仪及其使用方法高程测量是测绘地形图的基本工作之一,另外大量的工程.建筑施工也必须量测地面高程,利用水准仪进行水准测量是精密测量高程的主要方法,具体 ...
【Tools】VMware虚拟机三种网络模式详解和操作
00. 目录文章目录 00. 目录 01. VMware虚拟机三种网络模式 02. Bridged(桥接模式) 03. NAT(地址转换模式) 04. Host-Only(仅主机模式) 05. 参考 ...
华为ensp交换机vlan划分三种接入模式详解-----网络通信原理
华为ensp交换机vlan划分三种接入模式详解冲突域.交换机.广播域 VLAN概述 VLAN帧格式 access端口 Trunk端口 Hybrid端口冲突域.交换机.广播域定义:在一个网络范围内 ...
VMware虚拟机三种网络模式详解与配置 [转]
VMware虚拟机三种网络模式详解与配置 [转] 原文链接:https://note.youdao.com/ynoteshare1/index.html?id=236896997b6ffbaa8e0d ...
VM虚拟机三种网络模式详解
感谢wuwenweijuan的优质文章,本文在该文基础上做了注和补充目录 1 VM虚拟机三种网络模式详解 1.1 Bridged(桥接模式) 1.2 NAT(地址转换模式) 1.3 Host-Onl ...
VMware虚拟机三种网络模式详解之Bridged（桥接模式）
VMware虚拟机三种网络模式详解 Bridged(桥接模式) 由于Linux目前很热门,越来越多的人在学习Linux,但是买一台服务放家里来学习,实在是很浪费.那么如何解决这个问题?虚拟机软件是很好 ...
VMware虚拟机三种网络模式详解--Bridged（桥接模式）
VMware虚拟机三种网络模式详解--Bridged(桥接模式) 简介: 由于Linux目前很热门,越来越多的人在学习Linux,但是买一台服务器放家里来学习,实在是很浪费. 那么如何解决这个问题?虚 ...

hadoop yarn的三种资源调度器详解

yarn调度器分类

区别

FIFO调度器

容量调度器

公平调度器

hadoop yarn的三种资源调度器详解相关推荐

最新文章

热门文章