配置hadoop 使用fair scheduler调度器

hadoop版本为cloudera hadoop cdh3u3

配置步骤为

1. 将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u3.jar拷贝到$HADOOP_HOME/lib文件夹中

2. 修改$HADOOP_HOME/conf/mapred-site.xml配置文件

[html]view plaincopy

<property>
<name>mapred.jobtracker.taskScheduler</name>
<value>org.apache.hadoop.mapred.FairScheduler</value>
</property>
<property>
<name>mapred.fairscheduler.allocation.file</name>
<value>/home/hadoop/hadoop-0.20.2-cdh3u3/conf/fair-scheduler.xml</value>
</property>
<property>
<name>mapred.fairscheduler.preemption</name>
<value>true</value>
</property>
<property>
<name>mapred.fairscheduler.assignmultiple</name>
<value>true</value>
</property>
<property>
<name>mapred.fairscheduler.poolnameproperty</name>
<value>mapred.job.queue.name</value>
<description>job.set("mapred.job.queue.name",pool);</description>
</property>
<property>
<name>mapred.fairscheduler.preemption.only.log</name>
<value>true</value>
</property>
<property>
<name>mapred.fairscheduler.preemption.interval</name>
<value>15000</value>
</property>
<property>
<name>mapred.queue.names</name>
<value>default,hadoop,hive</value>
</property>

3. 在$HADOOP_HOME/conf/新建配置文件fair-scheduler.xml

[html]view plaincopy

<?xmlversion="1.0"?>
<allocations>
<poolname="hive">
<minMaps>90</minMaps>
<minReduces>20</minReduces>
<maxRunningJobs>20</maxRunningJobs>
<weight>2.0</weight>
<minSharePreemptionTimeout>30</minSharePreemptionTimeout>
</pool>
<poolname="hadoop">
<minMaps>9</minMaps>
<minReduces>2</minReduces>
<maxRunningJobs>20</maxRunningJobs>
<weight>1.0</weight>
<minSharePreemptionTimeout>30</minSharePreemptionTimeout>
</pool>
<username="hadoop">
<maxRunningJobs>6</maxRunningJobs>
</user>
<poolMaxJobsDefault>10</poolMaxJobsDefault>
<userMaxJobsDefault>8</userMaxJobsDefault>
<defaultMinSharePreemptionTimeout>600</defaultMinSharePreemptionTimeout>
<fairSharePreemptionTimeout>600</fairSharePreemptionTimeout>
</allocations>

4. 在集群的各个节点执行以上步骤，然后重启集群，在http://namenode:50030/scheduler 即可查看到调度器运行状态，如果修改调度器配置的话，只需要修改文件fair-scheduler.xml ，不需重启配置即可生效。

5. 在执行hive任务时，设置hive属于的队列set mapred.job.queue.name=hive;

##########

另外，如果在执行MR JOB的时候出现XX用户访问不了YY队列的话，就需要在mapred-queue-acls.xml里配置相应的属性，来对访问权限进行控制，比如：

[html]view plaincopy

<property>
<name>mapred.queue.default.acl-submit-job</name>
<value>*</value>
<description>Commaseparatedlistofuserandgroupnamesthatareallowed
tosubmitjobstothe'default'queue.Theuserlistandthegrouplist
areseparatedbyablank.Fore.g.user1,user2group1,group2.
Ifsettothespecialvalue'*',itmeansallusersareallowedto
submitjobs.Ifsetto''(i.e.space),nouserwillbeallowedtosubmit
jobs.
ItisonlyusedifauthorizationisenabledinMap/Reducebysettingthe
configurationpropertymapred.acls.enabledtotrue.
IrrespectiveofthisACLconfiguration,theuserwhostartedtheclusterand
clusteradministratorsconfiguredvia
mapreduce.cluster.administratorscansubmitjobs.
</description>
</property>
<property>
<name>mapred.queue.default.acl-administer-jobs</name>
<value>*</value>
<description>Commaseparatedlistofuserandgroupnamesthatareallowed
toviewjobdetails,killjobsormodifyjob'spriorityforallthejobs
inthe'default'queue.Theuserlistandthegrouplist
areseparatedbyablank.Fore.g.user1,user2group1,group2.
Ifsettothespecialvalue'*',itmeansallusersareallowedtodo
thisoperation.Ifsetto''(i.e.space),nouserwillbeallowedtodo
thisoperation.
ItisonlyusedifauthorizationisenabledinMap/Reducebysettingthe
configurationpropertymapred.acls.enabledtotrue.
IrrespectiveofthisACLconfiguration,theuserwhostartedtheclusterand
clusteradministratorsconfiguredvia
mapreduce.cluster.administratorscandotheaboveoperationsonallthejobs
inallthequeues.Thejobownercandoalltheaboveoperationsonhis/her
jobirrespectiveofthisACLconfiguration.
</description>
</property>

配置hadoop 使用fair scheduler调度器相关推荐

hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
文章目录组件模块说明容量调度器(Capacity Scheduler) 容量调度器特点公平调度器(Fair Scheduler) 配置容量调度器案例例子1 例子2 例子3 例子4 配置公平调度 ...
K8S之Scheduler调度器
K8S之Scheduler调度器 kubernetes Scheduler 简介 kubernetes Scheduler 运行在 master 节点,它的核心功能是监听 apiserver 来获取 ...
Hadoop Yarn配置多队列的容量调度器案例
1)在 capacity-scheduler.xml 中配置如下: (1)修改如下配置  <property><name ...
详解Yarn中三种资源调度器（FIFO Scheduler、Capacity Scheduler、Fair Scheduler）和配置自定义队列实现任务提交不同队列
前言在前面 Yarn的基本架构和作业提交全流程一文中提到,当ResourceManager收到客户端Client的请求之后会将该作业job添加到(默认的)容量调度器中,然后再由某一个空闲的Node ...
Linux进程调度：完全公平调度器 Completely Fair Scheduler 内幕| linux-2.6
https://www.ibm.com/developerworks/cn/linux/l-completely-fair-scheduler/index.html? 目录 Linux 调度器简史 C ...
Hadoop的调度器总结
随着MapReduce的流行,其开源实现Hadoop也变得越来越受推崇.在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业.在Hadoop中,调度 ...
大数据之Yarn——Capacity调度器概念以及配置
试想一下,你现在所在的公司有一个hadoop的集群.但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求.那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这 ...
Hadoop的调度器总结(转)
随着MapReduce的流行,其开源实现Hadoop也变得越来越受推崇.在Hadoop系统中,有一个组件非常重要,那就是调度器,它的作用是将系统中空闲的资源按一定策略分配给作业.在Hadoop中,调度 ...
YARN中的任务队列调度器-容量调度器（Capacity Scheduler）
一.概述容量调度器是YARN提供的三种调度器中的一种,这种调度器允许多个组织(队列)共享一个Hadoop集群,每个组织(队列)所分配的集群资源是固定的且可配置的.每个组织(队列)内部还可以进一步划分 ...

配置hadoop 使用fair scheduler调度器

配置hadoop 使用fair scheduler调度器相关推荐

最新文章

热门文章