CDH动态资源池配置

动态资源池配置

Yarn默认有三种调度器——FIFO、Capacity以及Fair Scheduler，CDH推荐使用Fair Scheduler。通过动态资源池的Web UI，我们可以十分方便的配置Fair Scheduler。

1）点击群集→动态资源池配置进入动态资源池的配置界面

2）动态资源池配置——资源池
动态资源池采用树形结构，与Fair Scheduler的队列保持一致，任务只能提交到子池。用户可自定义动态资源池，以将不同任务提交到不同的资源池中。
每一个资源池都有一个权重 (weight)的概念，它定义了资源池资源分配的比例。但并不是说每个资源池都只能获得相应比例的资源。例如,下图中共有三个子池，root.default、root.dev、root.prod，三者的比重相同，理论上应各分得1/3的资源，但假如，当前整个集群只有一个job被提交到了root.dev中，则该job是可以使用整个集群资源的。
下面创建以三个子池——root.default、root.dev、root.users，权重均为1。

3）动态资源池配置——计划模式
假如规定我们将所有开发测试的job全部提交到root.dev资源池，所有的生产任务全部提交到root.prod资源池。由于我们的离线任务大多放在夜间执行，而开发测试工作主要在白天执行，很显然，root.dev在白天的时候需要更多的资源，root.prod在夜间需要更多的资源。计划模式就能够自动帮助我们在不同的时间段，刷新不同的资源池配置。
（1）创建计划规则

日间计划规则

夜间计划规则

（2）修改资源池
修改root.dev将dev的日间权重适当调大，此处上调到3。

按照相同的步骤，将root.users的夜间权重适当调大，也上调至3。

4）动态资源池配置——放置规则
动态资源池规划完毕后，需要思考的问题就是，如何确定一个job提交后会被防止放置到哪一个资源池中。以下是放置规则

放置规则可以设置多个，从上到下依次校验，只要有一个规则校验成功，该任务就会被放置到该资源池中，后续规则不再校验，此处设置规则如下

5）动态资源池配置——用户限制
用户限制可对具体用户设置同时运行任务数的上限。

注意：如需采用最严格的资源权限控制，可以在资源池权限配置中为每个用户组配置相应的资源池，然后此处删除所有放置规则，只添加“已在运行时指定”一条放置规则, 并且不勾选自动创建池，此时用户提交任务时必须指定使用的资源池，方法为指定参数

-Dmapreduce.job.queuename=<pool name>

6）刷新动态资源池
动态资源池刷新之后才可生效

CDH动态资源池配置相关推荐

CDH中yarn的动态资源池配置
CDH中yarn的动态资源池的相关配置一.CDH Yarn资源队列划分管理场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的CDH版本:6.2.0 1.1配置 ...
CDH中yarn的动态资源池的相关配置
CDH Yarn资源队列划分管理场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的 CDH版本:5.15.2 配置: 1 yarn资源队列参数设置: (1)yar ...
CDH 配置YARN动态资源池的计划模式，根据时间划分资源，不同时间不同队列使用不同资源
公平调度配置可参考:http://datamining.blog.csdn.net/article/details/94554469 目录计划模式设置队列资源抢占分配计划模式设置 1.创建计划规 ...
CDH修改静态资源池配置,NodeManager重启失败问题
问题描述: 修改静态资源池配置的时候,重启整个CM之后,突然发现一个YARN中的NodeManager重启失败,问题NodeManager服务不能重启也不能停止.通过链接(http://hadoopi ...
动态主机配置协议服务器不能提供,计算机网络基础课程—动态主机配置协议(Dhcp)...
原标题:计算机网络基础课程-动态主机配置协议(Dhcp) DHCP(RFC 2131,2132)是对BOOTP的扩展,这种扩展体现在两个方面: 能在一个DHCP消息中为客户提供所有的网络配置信息,如I ...
【NET CORE微服务一条龙应用】第三章认证授权与动态权限配置
[NET CORE微服务一条龙应用]第三章认证授权与动态权限配置介绍系列目录:[NET CORE微服务一条龙应用]开始篇与目录在微服务的应用中,统一的认证授权是必不可少的组件,本文将介绍微服务 ...
eigrp配置实验_路由器 OSPF 动态路由配置
本文档详细介绍路由器 OSPF 动态路由配置的方法,文内含长段代码可复制可往左滑,希望对大家有帮助! 实验目的掌握 OSPF 协议的配置方法掌握查看通过动态路由协议 OSPF 学习产生的路由熟悉 ...
思科路由器动态NAT配置
相关学习推荐: 优秀的网工都会NAThttps://blog.csdn.net/XMWS_IT/article/details/121508603?spm=1001.2014.3001.5502 微思 ...
域名系统DNS、文件传送协议FTP、动态主机配置协议DHCP、远程登录协议TELNET、电子邮件协议（SMTP/POP3/IMAP）、常用端口
1.DNS域名系统 Domain Name System DNS 是一个分布式数据库,提供了主机名和 IP 地址之间相互转换的服务. 这里的分布式数据库是指,每个站点只保留它自己的那部分数据. 域名具 ...
Spring Security——基于读写锁的动态权限配置FilterInvocationSecurityMetadataSource实现类
问题描述每次都加载资源,效率低下. 解决方案 /*** @author ShenTuZhiGang* @version 1.2.0* @date 2020-03-07 21:57*/ @Slf4j ...

CDH动态资源池配置

动态资源池配置

CDH动态资源池配置相关推荐

最新文章

热门文章