yarn当中各个主要组件的作用及调度器

1.ResourceManager主要作用：

 处理客户端请求启动/监控ApplicationMaster监控NodeManager资源分配与调度

2.NodeManager主要作用：

 单个节点上的资源管理和任务管理接收并处理来自resourceManager的命令接收并处理来自ApplicationMaster的命令管理抽象容器container定时向RM汇报本节点资源使用情况和各个container的运行状态

3.ApplicationMaster主要作用：

 数据切分为应用程序申请资源任务监控与容错负责协调来自ResourceManager的资源，开通NodeManager监视容的执行和资源使用（CPU,内存等的资源分配）

4.Container主要作用：

   对任务运行环境的抽象任务运行资源（节点，内存，cpu）任务启动命令任务运行环境

5.JobHistoryServer主要作用：

这是yarn提供的一个查看已经完成的任务的历史日志记录的服务，
我们可以启动jobHistoryServer来观察已经完成的任务的所有详细日志信息

6.TimeLineServer主要作用：

hadoop2.4.0以后出现的新特性，主要是为了监控所有运行在yarn平台上面的
所有任务（例如MR，Storm，Spark，HBase等等）

7.调度器

1.FIFO Scheduler （队列调度器）
2.capacity scheduler（容量调度器，apache版本默认使用的调度器）
3.Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）

yarn当中各个主要组件的作用及调度器相关推荐

Yarn 组件的指挥部 – 调度器Scheduler
linux基础为hadoop集群的搭建扫清了障碍,也为内存的管理,文件系统的管理扫清了障碍接着到Hadoop的阶段,首先做集群的安装,深入到使用这两个核心的组件,分布式文件系统HDFS,解决大量数 ...
hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
文章目录组件模块说明容量调度器(Capacity Scheduler) 容量调度器特点公平调度器(Fair Scheduler) 配置容量调度器案例例子1 例子2 例子3 例子4 配置公平调度 ...
CDH 版本Hadoop Yarn配置容量调度器（默认是公平调度器）
配置中进行如下调整: 其实就是在在yarn-site.xm中添加yarn.resourcemanager.scheduler.class,修改成容量调度器: <property><n ...
大数据之Yarn——Capacity调度器概念以及配置
试想一下,你现在所在的公司有一个hadoop的集群.但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求.那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这 ...
Android四大组件及其作用
Andriod 的四大组件及其作用 Android 开发的四大组件分别是:活动(activity),用于表现功能:服务(service),后台运行服务,不提供界面呈现:广播接受者(Broadcast ...
详解yarn的resource manager组件
详解yarn的resource manager组件
android四大组件的作用简书,Android四大组件是什么
Android四大组件是:活动.服务.广播接收器.内容提供商.它们的英文名称是ACTIVITY.SERVICE.BroadcastReceiver.Content Provider.四个组件分别起到不 ...
vue中组件的导出导入_5.2 vue中 keep-alive 组件的作用，详细解释keep-alive使用方法...
问题:vue中 keep-alive 组件的作用 keep-alive:主要用于保留组件状态或避免重新渲染. 比如: 有一个列表页面和一个详情页面,那么用户就会经常执行打开详情=>返回列表=& ...
vue尚品汇商城项目-day03【vue插件-19.mockjs模拟数据（开发Home首页当中的ListContainer组件与Floor组件）】
文章目录 19.mockjs模拟数据(开发Home首页当中的ListContainer组件与Floor组件) 本人其他相关文章链接 19.mockjs模拟数据(开发Home首页当中的ListConta ...

yarn当中各个主要组件的作用及调度器

1.ResourceManager主要作用：

2.NodeManager主要作用：

3.ApplicationMaster主要作用：

4.Container主要作用：

5.JobHistoryServer主要作用：

6.TimeLineServer主要作用：

7.调度器

yarn当中各个主要组件的作用及调度器相关推荐

最新文章

热门文章