CDH中yarn的动态资源池的相关配置

一、CDH Yarn资源队列划分管理

场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的CDH版本：6.2.0

1.1配置

1.1.1 Yarn资源队列参数设置

1）yarn.scheduler.fair.user-as-default-queue false

解释：当设置为 true（选定为true）时，如果未指定池名称，Fair Scheduler 将会使用用户名作为默认的池名称。当设置为 false 时，所有应用程序都在一个名为 default 的共享池中运行。设置成false是为了不根据用户名而自动分配资源池。

Fair Scheduler：yarn的公平调度器，对全局资源和对所有的应用作业都均匀分配的资源分配方法。默认情况下，它是基于内存来安排公平调度策略，也可以配置成为同时基于内存和CPU来进行调度。总的来说，它是一种基于内存，给集群中所提交的应用程序分配资源的调度器。

2）yarn.scheduler.fair.allow-undeclared-pools false

解释：设置为 true 时，将使用默认设置创建在应用程序中指定但未明确配置的池。设置为 false 时，将在名为 default 的池中运行应用程序指定的未明确配置的池。此设置适用于应用程序明确指定某个池时以及应用程序运行所在的池的名称为与该应用程序关联的用户名的情况。

默认是true，允许创建未定义的资源池。当用户提交了一个作业，指定的队列不存在的时候，会自动创建出这个不存在的队列。设置成false，如果任务中指定了一个未定义的资源池，那么这个资源池将不会被创建，该任务会被分配到默认的资源池中，default。

修改完配置重启服务

1.1.2 CDH 动态资源队列配置

如图，第一步我们划分了2个资源池：1）root.default:默认池，没有划分资源池的用户会提交到default资源池

权重定义了资源池之间分配资源的比例，目前集群中的default资源池和users资源池的权重各为1,那么集群中的资源会将50%分配给default，50%分配给users，但是这里的资源分配不是一个静态的概念，假如users中没有任务在运行，那么default资源池是允许使用超过50%的资源的，且资源池配置允许在线修改，修改后不需要重启yarn，因为RM会周期性的读取资源池的配置信息

设置default资源池的调度算法：使用DRF，即根据内存和CPU进行资源调度。

yarn.scheduler.fair.preemption解释：启用后，如果在某些时间段未达到池的最小共享，Fair Scheduler 可以优先选取其他池中的应用程序。优先权可保证生产应用程序不缺乏资源，同时还可使群集用于实验和研究应用程序。为尽量减少计算资源浪费，Fair Scheduler 会优先选取最近启动的应用程序。

该项不建议开启。

Yarn的资源抢占本身就具有一定的资源开销，并且如果开启了资源抢占，对于长时间运行的任务容易出现延迟的情况。所以在此也建议配置队列时，要将长时间运行任务和执行时间较短的任务放在不同的队列中。同时对于队列的maxResource，可以适当的配置大些，这样即使不打开抢占，RM也是可以将一个队列的已经运行完成的资源回收分配给别的队列。从而达到提高资源的利用率。

解释：yarn.acl.enable：指定是否应检查管理 ACL 中指定的用户和组执行管理操作的授权。yarn.admin.acl：确定哪些用户和组可在任何池中提交和中止应用程序以及可以对 ResourceManager 角色发出命令的 ACL。

重启服务

1.1.3 添加资源池

资源池的提交控制访问和管理控制访问的配置会自动继承到子队列中，比如在root资源池下的提交控制访问中配置了用户was，那么即使root.test的提交用户访问中配置是空，用户was也可以向队列test中提交yarn应用程序。

1.1.4 创建新的计划规则

计划模式：可以根据不同时间段使用不同的资源池配置，合理使用集群的纵向资源

创建新的计划规则：

配置完计划模式，资源池会有多套配置，如下

配置完不同时间段使用的配置集后，修改各配置集的资源分配。

放置规则：控制任务使用资源池的规则，即任务会根据以下的规则放到对应的资源池中执行，不需要自定义配置，在提交任务的时候显示的指定队列即可。

用户限制：控制用户可以提交的最大应用程序数量，可以统一配置，也可以单独给某个用户配置

CDH中yarn的动态资源池配置相关推荐

CDH中yarn的动态资源池的相关配置
CDH Yarn资源队列划分管理场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的 CDH版本:5.15.2 配置: 1 yarn资源队列参数设置: (1)yar ...
CDH 配置YARN动态资源池的计划模式，根据时间划分资源，不同时间不同队列使用不同资源
公平调度配置可参考:http://datamining.blog.csdn.net/article/details/94554469 目录计划模式设置队列资源抢占分配计划模式设置 1.创建计划规 ...
CDH集群中YARN的参数配置
为什么80%的码农都做不了架构师?>>> CDH集群中YARN的参数配置前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为M ...
CDH修改静态资源池配置,NodeManager重启失败问题
问题描述: 修改静态资源池配置的时候,重启整个CM之后,突然发现一个YARN中的NodeManager重启失败,问题NodeManager服务不能重启也不能停止.通过链接(http://hadoopi ...
java web配置dll文件_JavaWeb项目中dll文件动态加载方法解析（详细步骤）
相信很多做Java的朋友都有过用Java调用JNI实现调用C或C++方法的经历,那么Java Web中又如何实现DLL/SO文件的动态加载方法呢.今天就给大家带来一篇JAVA Web项目中DLL/SO ...
CDH中配置hive支持update delete
cdh hive支持update delete参数配置方法以下配置项必须被设定: Client端:hive.support.concurrency – true hive.enforce.bucke ...
【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？
(1) 浏览器问题当你配置都完成了,你输入主机名+端口号去访问时,不能访问,但是你得确定前面的配置的哪些步骤都没有错,这可能是你浏览器的问题,我推荐用Chrome或者火狐,这两个基本上是可以的 ...
cdh 安装_0623-6.2.0-如何在CDH中安装CFM
1.文档编写目的 2019年4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management,即CFM和CEM ...
Hadoop Yarn内存使用优化配置
第一部分Hadoop Yarn内存使用优化配置在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduc ...

CDH中yarn的动态资源池配置

CDH中yarn的动态资源池的相关配置

一、CDH Yarn资源队列划分管理

1.1配置

CDH中yarn的动态资源池配置相关推荐

最新文章

热门文章