Hadoop学习笔记（三）：作业调度器

作业调度器

早期的作业调度使用FIFO（First In First Out）调度算法，可以设置属性mapred.job.priority或者JobClient的setJobPriority( )方法来设定作业优先级，可配置的优先级有5个：VERY_HIGH, HIGH, NORMAL, LOW, VERY_LOW。

除了FIFO调度器之外，还有两个多用户调度器，分别是Fair Scheduler和Capacity Scheduler。

1. Fair Scheduler（让每个用户公平地共享集群资源）

公平调度器以资源池来组织作业，默认情况下，每个用户都有一个资源池，每个资源池的资源相等。在同一个资源池内，所有的作业共享该资源池的资源。
当资源池所需的资源小于它所拥有的资源时，额外的资源会在其他资源池之间进行切分。
公平调度器保证最小共享资源，当一个资源池有作业在运行时，它至少能获取最小共享资源。
资源池可以被设置权重。
公平调度器支持抢占，可以中止得到过多资源的任务，以便把资源分给在特定的一段时间内未得到公平资源共享的资源池。

2. Capacity Scheduler（资源按比例分配给各个队列）

集群由很多队列组成，集群资源按比例分配给各个队列。
空闲的资源会分配给未达到资源使用上限的队列。
支持优先级，默认使用FIFO调度算法。
添加各种严格限制，防止个别用户或队列独占资源。

Hadoop学习笔记（三）：作业调度器相关推荐

项目实例：KNN预测电影网站用户性别（Hadoop学习笔记三）
通过学习<Hadoop大数据开发基础>这本书,整理了一下书本上的项目案例.让自己再梳理一下流程,也希望能给有需要的人提供一定的帮助,写的不好的希望大家提出来,一起进步. 1 学习目标理解 ...
Hadoop 学习笔记（三）常用命令
Hadoop 学习笔记(三)常用命令进入HADOOP_HOME目录. 执行sh bin/start-all.sh 进入HADOOP_HOME目录. 执行sh bin/stop-all.sh Usag ...
Hadoop学习笔记（四）HDFS部分下
Hadoop学习笔记(四)HDFS部分下一.HDFS 的数据流 1.1 HDFS的写数据流程客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,Nam ...
Hadoop学习笔记一简要介绍
Hadoop学习笔记一简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍
Hadoop学习笔记-20.网站日志分析项目案例(一)项目介绍网站日志分析项目案例(一)项目介绍:当前页面网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edis ...
Hadoop学习笔记(8) ——实战做个倒排索引
Hadoop学习笔记(8) --实战做个倒排索引倒排索引是文档检索系统中最常用数据结构.根据单词反过来查在文档中出现的频率,而不是根据文档来,所以称倒排索引(Inverted Index).结构如 ...
Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型 ,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...
Hadoop学习笔记—11.MapReduce中的排序和分组
Hadoop学习笔记-11.MapReduce中的排序和分组一.写在之前的 1.1 回顾Map阶段四大步骤首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行: 从上图中可以清楚地看出 ...
Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
Hadoop学习笔记—10.Shuffle过程那点事儿
Hadoop学习笔记-10.Shuffle过程那点事儿一.回顾Reduce阶段三大步骤在第四篇博文<初识MapReduce>中,我们认识了MapReduce的八大步骤,其中在Reduc ...

Hadoop学习笔记（三）：作业调度器

Hadoop学习笔记（三）：作业调度器相关推荐

最新文章

热门文章