Hadoop Yarn配置多队列的容量调度器案例

1）在 capacity-scheduler.xml 中配置如下：

（1）修改如下配置

<!-- 指定多队列，增加 hive 队列 -->
<property><name>yarn.scheduler.capacity.root.queues</name><value>default,hive</value><description>The queues at the this level (root is the root queue).</description>
</property>
<!-- 降低 default 队列资源额定容量为 40%，默认 100% -->
<property><name>yarn.scheduler.capacity.root.default.capacity</name><value>40</value>
</property>
<!-- 降低 default 队列资源最大容量为 60%，默认 100% -->
<property><name>yarn.scheduler.capacity.root.default.maximum-capacity</name><value>60</value>
</property>

（2）为新加队列添加必要属性：

<!-- 指定 hive 队列的资源额定容量 -->
<property><name>yarn.scheduler.capacity.root.hive.capacity</name><value>60</value>
</property>
<!-- 用户最多可以使用队列多少资源，1 表示 -->
<property><name>yarn.scheduler.capacity.root.hive.user-limit-factor</name><value>1</value>
</property>
<!-- 指定 hive 队列的资源最大容量 -->
<property><name>yarn.scheduler.capacity.root.hive.maximum-capacity</name><value>80</value>
</property>
<!-- 启动 hive 队列 -->
<property><name>yarn.scheduler.capacity.root.hive.state</name><value>RUNNING</value>
</property>
<!-- 哪些用户有权向队列提交作业 -->
<property><name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name><value>*</value>
</property>
<!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
<property><name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name><value>*</value>
</property>
<!-- 哪些用户有权配置提交任务优先级 -->
<property><name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</nam
e><value>*</value>
</property>
<!-- 任务的超时时间设置：yarn application -appId appId -updateLifetime Timeout
参考资料： https://blog.cloudera.com/enforcing-application-lifetime-slasyarn/ --> <!-- 如果 application 指定了超时时间，则提交到该队列的 application 能够指定的最大超时
时间不能超过该值。
-->
<property><name>yarn.scheduler.capacity.root.hive.maximum-applicationlifetime</name><value>-1</value>
</property>
<!-- 如果 application 没指定超时时间，则用 default-application-lifetime 作为默认
值 -->
<property><name>yarn.scheduler.capacity.root.hive.default-applicationlifetime</name><value>-1</value>
</property>

2）分发配置文件

3）重启 Yarn 或者执行 yarn rmadmin -refreshQueues 刷新队列，就可以看到两条队列：

[zxl@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshQueues

Hadoop Yarn配置多队列的容量调度器案例相关推荐

CDH 版本Hadoop Yarn配置容量调度器（默认是公平调度器）
配置中进行如下调整: 其实就是在在yarn-site.xm中添加yarn.resourcemanager.scheduler.class,修改成容量调度器: <property><n ...
Yarn调度器和调度算法(FIFO、容量调度器与公平调度器)
目录 Yarn调度器和调度算法一.先进先出调度器(FIFO) 二.容量调度器(Capacity Scheduler) 1. 容量调度器特点 2. 容量调度器资源分配算法三.公平调度器(Fair S ...
YARN中的任务队列调度器-容量调度器（Capacity Scheduler）
一.概述容量调度器是YARN提供的三种调度器中的一种,这种调度器允许多个组织(队列)共享一个Hadoop集群,每个组织(队列)所分配的集群资源是固定的且可配置的.每个组织(队列)内部还可以进一步划分 ...
Hadoop YARN配置（RM与NM）相关参数
配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患.另外,这些参数均需要在yarn-site.xml中配置. 参数默认值描述 yarn.resourcemanager.host ...
MapReduce多用户任务调度器——容量调度器（Capacity Scheduler）原理和源码研究
前言:为了研究需要,将Capacity Scheduler和Fair Scheduler的原理和代码进行学习,用两篇文章作为记录.如有理解错误之处,欢迎批评指正. 容量调度器(Capacity Sch ...
大数据之-Hadoop3.x_Yarn_容量调度器---大数据之hadoop3.x工作笔记0145
然后我们再来看一下capacity scheduler,这个是Apache hadoop的默认调度器. 可以看到这个容量调度器,是yahoo雅虎开发的一个多用户调度器,多个用户都可以把任务发过来对吧 ...
Hadoop yarn容量调度器capacity-scheduler.xml配置示例
配置多队列hive队列和default队列 <configuration>......<property><name>yarn.scheduler.capacity ...
Hadoop Yarn配置参数整理（非常全面）
RM与NM相关参数 ResourceManager 参数名称作用默认值 yarn.resourcemanager.address ResourceManager 对客户端暴露的地址.客户端通过该地 ...
Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数
首先在yarn-site.xml中,将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resource ...

Hadoop Yarn配置多队列的容量调度器案例

1）在 capacity-scheduler.xml 中配置如下：

2）分发配置文件

3）重启 Yarn 或者执行 yarn rmadmin -refreshQueues 刷新队列，就可以看到两条队列：

Hadoop Yarn配置多队列的容量调度器案例相关推荐

最新文章

热门文章