Yarn 组件的指挥部 – 调度器Scheduler

linux基础为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍

接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapReduce，随着集群规模的扩大，资源的管理必要用一个单独的组件Yarn来管理，程序员只要关注如何来写程序就好了。

然后讲了Zookeeper；

轻量级组件，往大数据集群里导数据的，比如Sqoop和Flume，分别代表了SQL和Log；如果是第三方的数据，可以用第三方的API来抽取数据。

Yarn作为资源管理器，Zookeeper作为资源协调器；

资源主要有disk/mem/cpu，G、G、core（PC、VC）（物理核，虚拟核）。Yarn管理内存和cpu；cloudera manager里cluster中有动态资源池和静态资源池。

configuration ：静态资源池 HDFS Yarn 占整个操作系统资源的百分比，按组件来划分。之所以能实现这样划分，因为在linux中有个资源隔离技术叫CGroup，大名顶顶的Docker（linux上的容器）就是基于CGroup。

动态资源池，不是基于组件之间的隔离，是基于yarn组件内部的资源管理。若果靠编程来写作业，yarn组件要分大一点。

一个客户端提交了一个作业，另一个也提交了作业，就会对资源竞争，当资源、服务不够用的时候就会发生资源管理。怎么协调几个作业之间的关系。Yarn根据不同的客户端过来的作业，按照一定的策略去分配集群的资源。由yarn组件的指挥部scheduler调度器来做，有公平fair、优先级、FIFO。默认是基于优先级capacity的。Cloudera在自己的公平调度器里实现了基于优先级的功能 DRF （在yarn选项里设置weight权重）整个资源池的比例，乘上权重。虚拟核的数量，内存的最大值最小值，同时最大的作业数（一般资源池都是跟客户绑定的）

转载于:https://www.cnblogs.com/if-happy/p/10666807.html

Yarn 组件的指挥部 – 调度器Scheduler相关推荐

Vue3 生命周期Hooks函数与调度器Scheduler的原理
大厂技术高级前端 Node进阶点击上方程序员成长指北,关注公众号回复1,加入高级Node交流群写在最前:本文章的目标 Vue3的生命周期的实现原理是比较简单的,但要理解整个Vue3的生命 ...
yarn的三种调度器
yarn的三种调度器 yarn我们都知道主要是用于做资源调度,任务分配等功能的,那么在hadoop当中,究竟使用什么算法来进行任务调度就需要我们关注了,hadoop支持好几种任务的调度方式,不同的场 ...
YARN中的任务队列调度器-公平调度器（Fair Scheduler）
一.概述公平调度器可以为所有的应用"平均公平"分配资源,当然,这种"公平"是可以配置的,称为权重,可以在分配文件中为每一个队列设置分配资源的权重,如果没有设置 ...
YARN中的任务队列调度器-容量调度器（Capacity Scheduler）
一.概述容量调度器是YARN提供的三种调度器中的一种,这种调度器允许多个组织(队列)共享一个Hadoop集群,每个组织(队列)所分配的集群资源是固定的且可配置的.每个组织(队列)内部还可以进一步划分 ...
Yarn的调度器--Scheduler探究
引言在Yarn体系中,Scheduler负责为Application分配资源,按照调度策略可分为以下3种: FIFO Scheduler Capacity Scheduler Fair Schedu ...
先来先服务算法、运行时间最短者优先算法和最高响应比优先调度算法_CPU的调度器scheduler...
处理器作为计算机系统里的一种资源,也是需要管理,从而调度分配给需要的程序以达到最高效率,所以调度器应运而生. 1. 调度器overview 调度器本身也是一个程序,目的是为了给执行用户的程序提供资源, ...
k8s-------（| 五 |）调度器 scheduler，亲和（affinity），污点（taint），容忍（tolerations），标签labels
文章目录一.调度说明 1. 简介 2. 调度过程 3. 自定义调度器二.调度亲和性 1. node节点亲和性 (1)硬策略 (2)软策略 (3)硬策略与软策略 (4)节点标签相关操作 2. Pod ...
详解Yarn中三种资源调度器（FIFO Scheduler、Capacity Scheduler、Fair Scheduler）和配置自定义队列实现任务提交不同队列
前言在前面 Yarn的基本架构和作业提交全流程一文中提到,当ResourceManager收到客户端Client的请求之后会将该作业job添加到(默认的)容量调度器中,然后再由某一个空闲的Node ...
大数据之Yarn——Capacity调度器概念以及配置
试想一下,你现在所在的公司有一个hadoop的集群.但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求.那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这 ...

Yarn 组件的指挥部 – 调度器Scheduler

Yarn 组件的指挥部 – 调度器Scheduler相关推荐

最新文章

热门文章