Yarn的资源调度与隔离

三种资源调度器介绍：

注意：Capacity Scheduler这个是雅虎公司分支（apache版本默认使用的容器调度器）

Fair scheduler这个是facebook公司分支（CDH版本默认使用的调度器）

注：DRF算法（主资源公平算法）
作业1：cpu资源是主资源
作业2：内存资源是主资源

FIFOScheduler原理：

Capacity Scheduler原理；

Capacity Scheduler配置（capacity-scheduler.xml）
1、dev队列分成eng和science子队列
2、maxmum-capacity属性指定最大容量，不会占用其他资源
3、capacity容器还可以配置最大资源数、同时运行多少应用、队列的ACL认证
4、指定应用队列名称：mapreduce.job.queuename

<configuration><property><name>yarn.scheduler.capacity.root.queues</name><value>prod,dev</value></property><property><name>yarn.scheduler.capacity.root.dev.queues</name><value>eng,science</value></property><property><name>yarn.scheduler.capacity.root.prod.capacity</name><value>40</value></property><property><name>yarn.scheduler.capacity.root.dev.capacity</name><value>60</value></property><property><name>yarn.scheduler.capacity.root.dev.maximum-capacity</name><value>75</value></property><property><name>yarn.scheduler.capacity.root.dev.eng.capacity</name><value>50</value></property><property><name>yarn.scheduler.capacity.root.dev.science.capacity</name><value>50</value></property></configuration>

配置：yarn-site.xml

<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

Fair Scheduler原理：

Fair Scheduler配置(fair-scheduler.xml)
1、每个队列中weight权重属性，作为公平调度的依据。若是动态划分，权重都是1
2、defaultQueueSchedulingPolicy属性配置队列内调度方式
3、每个队列中的schedulingPolicy属性配置该队列的调度方式，优先级高
4、Fair调度器会基于queuePolacementPolicy规则确定应用放到哪个队列
specified：应用指定队列名
primaryGroup：队列名为用户组的队列
user：队列名为用户的队列
default：指定队列
默认：specified、user、default

<?xml version="1.0"?>
<allocations>
<defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
<queue name="prod"><weight>40</weight><scheduling>fifo</scheduling>
</queue>
<queue name="dev"><weight>60</weight><queue name="eng"></queue><queue name="science"></queue>
</queue>
<queuePlacemenPolicy><rule name="specified" create="false"></rule><rule name="primaryGroup" create="false"></rule><rule name="default" queue="dev.eng"></rule>
</queuePlacemenPolicy>
</allocations>

查看调度器：
http：//hadoop-senior01.test.com:8088中的scheduler

资源隔离（NodeManager）

查看Yarn的隔离资源：
/etc/init.d/cgconfig restart

cd /cgroup

查看：

参考地址：yarn使用cgroup隔离cpu资源 - 简书 (jianshu.com)https://www.jianshu.com/p/e283ab7e2530

Yarn的资源调度与隔离相关推荐

资源管理与调度系统-YARN的资源调度器
资源管理与调度系统-YARN的资源调度器作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 资源调度器是Hadoop YARN中最核心的组件之一,它是ResourceManager中的 ...
Yarn中资源调度模型及分配
资源调度模型在YARN的资源分配过程中,其采用了双层资源调度模型: 在第一层中,ResourceManager中的资源调度器将资源分配给各个ApplicationMaster: 在第二层中,Appl ...
详解Yarn中三种资源调度器（FIFO Scheduler、Capacity Scheduler、Fair Scheduler）和配置自定义队列实现任务提交不同队列
前言在前面 Yarn的基本架构和作业提交全流程一文中提到,当ResourceManager收到客户端Client的请求之后会将该作业job添加到(默认的)容量调度器中,然后再由某一个空闲的Node ...
Yarn资源调度系统
Yarn资源调度系统 1. yarn介绍 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目,为分离Hadoop2.0资源管理和计算组 ...
[大数据之Yarn]——资源调度浅学
在hadoop生态越来越完善的背景下,集群多用户租用的场景变得越来越普遍,多用户任务下的资源调度就显得十分关键了.比如,一个公司拥有一个几十个节点的hadoop集群,a项目组要进行一个计算任务,b项目 ...
【十八掌●内功篇】第六掌：YARN之YARN资源调度器
这一篇博文是[大数据技术●降龙十八掌]系列文章的其中一篇,点击查看目录:大数据技术●降龙十八掌系列文章: [十八掌●内功篇]第六掌:YARN之架构和原理 [十八掌●内功篇]第六掌:YARN之Reso ...
Hadoop——分布式资源管理框架YARN总结
分布式资源管理框架YARN 1. YARN概述 YARN是"Yet Another Resource Negotiator"的简称. 在进一步了解 YARN 框架之前我们需 ...
Linux 下配置 Hadoop2.x 高可用 zookeeper Yarn，详细步骤。
此系列文章是探索大数据道路的记录,有些记录是为了备忘,有些记录是为了学习心得内容,有些是为了给大家提供一个好的学习资料.持续更新中-大家也可以到我的私人blog查看该系列文章.blog.cutexim ...
什么是Hadoop - HDFS - MapReduce - YARN - HA
Hadoop 为什么要有Hadoop? 从计算机诞生到现今,积累了海量的数据,这些海量的数据有结构化.半结构化.非结构的数据,并且这些海量的数据存储和检索就成为了一大问题. 我们都知道大数据技术难题 ...

Yarn的资源调度与隔离

Yarn的资源调度与隔离相关推荐

最新文章

热门文章