Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler

1.21将Yarn的调度策略修改成Fair Scheduler的
A:找到YARN列表，然后找到yarn.resourcemanager.scheduler.class，然后将它的值进行修改，即：

<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

对应的Ambari中的界面：

B:编写fair-scheduler.xml，内容如下（以下根据自己服务器的实际情况进行调整）：

<?xml version="1.0"?>
<allocations><defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy><!--<defaultMinSharePreemptionTimeout>300</defaultMinSharePreemptionTimeout>--><queue name="batch_processing_queue"><minResources>1024 mb, 0 vcores</minResources><maxResources>15368 mb, 9 vcores</maxResources><maxRunningApps>5</maxRunningApps><weight>3.0</weight></queue><queue name="real_time_processing_queue"><minResources>1024 mb, 0 vcores</minResources><maxResources>10240 mb, 6 vcores</maxResources><maxRunningApps>5</maxRunningApps><weight>2.0</weight></queue><!-- 与queue里的选择策略是:遇小选小 -->     <userMaxAppsDefault>5</userMaxAppsDefault><!-- 具体指定(specified)：应用程序被放置到它要求队列中。如果应用程序要求没有队列，也就是说，它指定了: default用户(user)：应用程序被放置到一个与谁提交它的用户的名称队列primaryGroup：应用程序被放置到一个队列，谁提交它的用户的主组的名称secondaryGroupExistingQueue：应用程序被放置到一个有一个与谁提交了用户的次要组名的队列。符合配置的队列中的第一次要组将被选中默认(default)：应用程序被放置到一个名为default的队列拒绝(reject)：应用程序被拒绝 --><queuePlacementPolicy><rule name="specified" create="false" /> <!--暂不启用: 用户提交任务时指定队列将无效--><rule name="user" create="false" /><rule name="primaryGroup" create="false" /><!--<rule name="secondaryGroupExistingQueue" create="false" /> 暂不启用: 尚未指定次要组 --><rule name="secondaryGroupExistingQueue" create="false" /><!-- <rule name="reject"/>  --><rule name="default" queue="batch_processing_queue"/></queuePlacementPolicy>
</allocations>

将fair-scheduler.xml放到$HADOOP_CONF目录下，然后改变所属用户和权限。命令如下：

cd /usr/hdp/3.1.4.0-315/hadoop/conf
chown hdfs:hadoop fair-scheduler.xml
chmod 644 fair-scheduler.xml

C：修改其它参数

yarn.scheduler.fair.allocation.file=fair-scheduler.xml
yarn.resourcemanager.reservation-system.enable=true

Disable pre-emption

yarn.scheduler.capacity.ordering-policy.priority-utilization.underutilized-preemption.enabled=false
yarn.scheduler.fair.assignmultiple=false
yarn.scheduler.fair.sizebasedweight=false
yarn.scheduler.fair.user-as-default-queue=true
yarn.scheduler.fair.preemption=false

最终Custome yarn-site.xml中的配置内容如下：

参考文章：
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
https://community.cloudera.com/t5/Support-Questions/Unable-to-start-Node-Manager/td-p/285976

Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler相关推荐

anaconda新建python2环境安装不了jupyterlab_Anaconda 5.0.0 JupyterLab 0.27.0 中配置多Python环境支持...
Anaconda 5.0.0 JupyterLab 0.27.0 中配置多Python环境支持概述 Anaconda 5.0.0 中自带了 JupyterLab 0.27.0 版本,这是 Anaco ...
在 PyCharm 2017.2.3 中设置 Anaconda 5.0.0 中配置的多Python环境
Anaconda 相关文章请先阅读安全的安装Anaconda3 5.0.0 Windows x86_64 http://blog.csdn.net/hu_zhenghui/article/detai ...
在Windows 2003 IIS 6.0中配置PHP的运行环境（图）
在Windows服务器上用什么论坛?相信不少朋友对这个问题答案的第一反应就是动网论坛.因为默认情况下Windows只能使用ASP语言编写的论坛程序,而凭借着强大的功能动网论坛可以说是撑起了Window ...
Geronimo3.0中配置默认的security
在Geronimo服务器中,基本的安全配置分成两个插件: j2ee-security和server-security-config.其中jaac provider和keystore manager在j ...
Vue 3.0 中配置原生高德地图
直接引用高德地图 SDK 1.在根目录 public 文件夹下的 index.html 中加入 <script type="text/javascript" src=&quo ...
在vc++6.0中配置OpenGL环境
OpenGL入门学习--写给想用计算机画图的朋友 OpenGL作为当前主流的图形API之一,它在一些场合具有比DirectX更优越的特性. 1.与C语言紧密结合. OpenGL命令最初就是用C语言函数 ...
Tomcat 6.0中配置Oracle、sql 2000数据库连接池
修改server.xml,在<GlobalNamingResources>里加入下面的代码:  <Resource name="jdb ...
(win7) 在IIS6.0 中配置项目
1.进入IIS管理器右击"计算机"->管理->服务和应用程序->Internet信息服务(IIS)管理器 2.将项目加入IIS中网站->右击" ...
java EF6,EF Core 2.0和EF6(Entity Framework 6)中配置实体映射关系
1.EF6中通过EntityTypeConfiguration配置实体映射关系代码 public class AccountMap : EntityTypeConfiguration { public ...

Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler

Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler相关推荐

最新文章

热门文章