hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置

文章目录

组件模块说明
容量调度器（Capacity Scheduler）
- 容量调度器特点
公平调度器（Fair Scheduler）
配置容量调度器案例
- 例子1
- 例子2
- 例子3
- 例子4
配置公平调度器案例
- 例子1

组件模块说明

Hadoop：以下内容为V3.3版本

资源管理器（ResourceManager）：整个集群所有资源的管理者。作用：处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。

容器（Container）：对任务运行环境的抽象，虚拟化技术容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、cpu、磁盘、网络等。好处：任务运行完直接释放。

Application Master：单个任务运行的老大，任务在Container内运行客户端提交一个job，就会产生一个ApplicationMaster。作用：为应用程序申请资源并分配给内部的任务、任务的监控与容错。

容量调度器（Capacity Scheduler）

hadoop3默认的调度器

容量调度器特点

图中queueA分配最多20%资源，queueB分配50%，queueC分配30%。其中queueC，配置租户ss、cls。

多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
容量保证：管理员可为每个队列设置资源最低保证和资源使用上限（如图中queueA分配20%资源上限）
灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用
程序提交，则其他队列借调的资源会归还给该队列。
多租户：支持多用户共享集群(如图中queueC，配置租户ss、cls)和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

公平调度器（Fair Scheduler）

hadoop3默认的容量调度器可以改为公平调度器

同队列所有任务共享资源，在时间尺度上获得公平的资源。如queueA，20%资源，4个任务，每个5%。

配置容量调度器案例

以下执行yarn rmadmin -refreshQueues可刷新队列配置

例子1

default 队列占总内存的 40%，最大资源容量占总资源 60%（容量调度器允许借用其他队列剩余的资源，这里限制不超过60%）， hive 队列占总内存的 60%，最大资源容量占总资源 80%。

在 capacity-scheduler.xml 中配置如下：

<!-- 指定多队列，增加hive队列 -->
<property><name>yarn.scheduler.capacity.root.queues</name><value>default,hive</value>
</property><!-- 降低default队列资源额定容量为40%，默认100% -->
<property><name>yarn.scheduler.capacity.root.default.capacity</name><value>40</value>
</property><!-- 降低default队列资源最大容量为60%，默认100% -->
<property><name>yarn.scheduler.capacity.root.default.maximum-capacity</name><value>60</value>
</property><!-- 指定hive队列的资源额定容量 -->
<property><name>yarn.scheduler.capacity.root.hive.capacity</name><value>60</value>
</property><!-- 指定hive队列的资源最大容量 -->
<property><name>yarn.scheduler.capacity.root.hive.maximum-capacity</name><value>80</value>
</property>

例子2

vcore和内存固定值配置，参考官网

yarn.scheduler.capacity.<queue-path>.maximum-allocation-mb：每个队列在资源管理器上分配给每个容器请求的最大内存限制。此设置覆盖集群配置 yarn.scheduler.maximum-allocation-mb。该值必须小于等于集群最大值。

yarn.scheduler.capacity.<queue-path>.maximum-allocation-vcores：每个队列在资源管理器中分配给每个容器请求的虚拟内核的最大限制。此设置会覆盖集群配置 yarn.scheduler.maximum-allocation-vcores。该值必须小于或等于集群最大值。

例子3

限制用户提交、操作权限

在capacity-scheduler.xml中配置如下：

<!-- 哪些用户有权向队列提交作业，如果要配置默认队列就是yarn.scheduler.capacity.root.default.acl_submit_applications-->
<property><name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name><value>hive</value>
</property><!-- 哪些用户有权操作队列，管理员权限（查看/杀死） -->
<property><name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name><value>hive</value>
</property><!-- 哪些用户有权配置提交任务优先级 -->
<property><name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name><value>hive</value>
</property>

例子4

任务优先级，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。

修改yarn-site.xml文件，增加以下参数，为给任务优先级配置5个等级：

<property><name>yarn.cluster.max-application-priority</name><value>5</value>
</property>

通过以下命令修改正在执行的任务的优先级。

yarn application -appID <ApplicationID> -updatePriority 优先级

例如：

yarn application -appID application_1611133087930_0009 -updatePriority 5

配置公平调度器案例

例子1

创建两个队列，分别是test和test2（以用户所属组命名）。若用户提交任务时指定队列，则任务提交到指定队列运行；若未指定队列，test用户提交的任务到root.group.test队列运行，test2提交的任务到root.group.test2队列运行（注：group为用户所属组）。

公平调度器的配置涉及到两个文件，一个是yarn-site.xml，另一个是公平调度器队列分配文件fair-scheduler.xml（文件名可自定义）。

修改yarn-site.xml文件，加入以下参数：

<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value><description>配置使用公平调度器</description>
</property><property><name>yarn.scheduler.fair.allocation.file</name><value>/opt/module/hadoop-3.1.3/etc/hadoop/fair-scheduler.xml</value><description>指明公平调度器队列分配配置文件</description>
</property>

配置fair-scheduler.xml：

<?xml version="1.0"?>
<allocations><!-- 单个队列中Application Master占用资源的最大比例,取值0-1 ，企业一般配置0.1，比如服务器10G内存，0.1为1G --><queueMaxAMShareDefault>0.1</queueMaxAMShareDefault><!-- 单个队列最大资源的默认值 test test2 default --><queueMaxResourcesDefault>4096mb,4vcores</queueMaxResourcesDefault><!-- 增加一个队列test --><queue name="test"><!-- 队列最小资源 --><minResources>2048mb,2vcores</minResources><!-- 队列最大资源 --><maxResources>4096mb,4vcores</maxResources><!-- 队列中最多同时运行的应用数，默认50，根据线程数配置 --><maxRunningApps>4</maxRunningApps><!-- 队列中Application Master占用资源的最大比例 --><maxAMShare>0.1</maxAMShare><!-- 该队列资源权重,默认值为1.0 --><weight>1.0</weight><!-- 队列内部的资源分配策略 --><schedulingPolicy>fair</schedulingPolicy></queue><!-- 增加一个队列test2 --><queue name="test2" type="parent"><!-- 和队列test的配置相似 -->...</queue><!-- 任务队列分配策略,可配置多层规则,从第一个规则开始匹配,直到匹配成功 --><queuePlacementPolicy><!-- 提交任务时指定队列,如未指定提交队列,则继续匹配下一个规则; false表示：如果指定队列不存在,不允许自动创建--><rule name="specified" create="false"/><!-- 提交到root.group.username队列,若root.group不存在,不允许自动创建；若root.group.user不存在,允许自动创建;即test用户提交到test队列 --><rule name="nestedUserQueue" create="true"><rule name="primaryGroup" create="false"/></rule><!-- 最后一个规则必须为reject或者default。Reject表示拒绝创建提交失败，default表示把任务提交到default队列 --><rule name="reject" /></queuePlacementPolicy>
</allocations>