Hadoop 06_MapReduce2.0（YARN）

Hadoop YARN （MRv2）

MapReduce2.0

MRv2：On YARN

YARN：解耦资源与计算

ResourceManager

-主，核心

-集群节点资源管理

NodeManager

-与RM汇报资源

-管理Container生命周期

-计算框架中的角色都以Container表示

Container：【节点NM，CPU,MEM,I/O大小，启动命令】

-默认NodeManager启动线程监控Container大小，超出申请资源额度，kill

-支持Linux内核的Cgroup

MR ：

MR-ApplicationMaster-Container

-作业为单位，避免单点故障，负载到不同的节点

-创建Task需要和RM申请资源（Container /MR 1024MB）

Task-Container

Client：

-RM-Client：请求资源创建AM

-AM-Client：与AM交互

-------------------------------------------------------------------------------------

YARN

YARN：Yet Another Resource Negotiator；

Hadoop 2.0新引入的资源管理系统，直接从MRv1演化而来的；

-核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现

-ResourceManager：负责整个集群的资源管理和调度

-ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等

YARN的引入，使得多个计算框架可运行在一个集群中

-每个应用程序对应一个ApplicationMaster

-目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm等

【补充】JobTracker涉及的功能包括作业管理、状态监控、任务调度器等，
JobTracker主要包含的2个功能：资源管理和作业控制。

-------------------------------------------------------------------------------------

MapReduce On YARN

MapReduce On YARN：MRv2

将MapReduce作业直接运行在YARN上，而不是由JobTracker和TaskTracker构建的MRv1系统中

基本功能模块

-YARN：负责资源管理和调度

-MRAppMaster：负责任务切分、任务调度、任务监控和容错等

-MapTask/ReduceTask：任务驱动引擎，与MRv1一致

每个MapRaduce作业对应一个MRAppMaster

-MRAppMaster任务调度

-YARN将资源分配给MRAppMaster

-MRAppMaster进一步将资源分配给内部的任务

MRAppMaster容错

-失败后，由YARN重新启动

-任务失败后，MRAppMaster重新申请资源

Hadoop 06_MapReduce2.0（YARN）相关推荐

Hadoop 3.x（Yarn）----【Yarn 资源调度器】
Hadoop 3.x(Yarn)----[Yarn 资源调度器] 1. Yarn 基础架构 2. Yarn 工作机制 3. 作业提交全过程 4. Yarn 调度器和调度算法 1. 先进先出调度器(FI ...
Hadoop生态hive（二）安装
一.安装模式内嵌模式:元数据保持在内嵌的Derby模式,只允许一个会话连接本地独立模式:在本地安装Mysql,把元数据放到Mysql内远程模式:元数据放置在远程的Mysql数据库官方文档: ...
Hadoop阅读笔记（一）——强大的MapReduce
前言:来园子已经有8个月了,当初入园凭着满腔热血和一脑门子冲动,给自己起了个响亮的旗号"大数据小世界",顿时有了种世界都是我的,世界都在我手中的赶脚.可是......时光飞逝,岁 ...
Hadoop学习教程（MapReduce）（四）
MapReduce 1.MapReduce概述 1.1.MapReduce定义 1.2.MapReduce优缺点 1.2.1.MapReduce优点 1.2.2.MapReduce缺点 1.3.Map ...
Hadoop实战篇（1）
Hadoop实战篇(1) 作者 | WenasWei 前言在前面介绍过了Hadoop-离线批处理技术的整体架构,接下来便开始学习安装配置并使用 Hadoop ; 将从以下几点介绍: Linux 环境 ...
Kettle构建Hadoop ETL实践（六）：数据转换与装载
目录一.数据清洗 1. 处理"脏数据" 2. 数据清洗原则 3. 数据清洗实例 (1)身份证号码格式检查 (2)去除重复数据 (3)建立标准数据对照表二.Hive简介 1 ...
CentOS 6 安装Hadoop 2.6 （三）问题收集
CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop CentOS 6 安装Hadoop 2.6 (三)问题收集 CentOS ...
CentOS 6 安装Hadoop 2.6 （二）配置Hadoop
CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop CentOS 6 安装Hadoop 2.6 (三)问题收集 CentOS ...
Hadoop公司考试题（基础）
Hadoop公司考试题(基础) 几乎快忘记考试为何物的时候,突然参加考试,慌的一批. 百度答案发现,老师们也是偷懒,居然用牛* 的基础试题 1.现在在hadoop集群当中的配置文件中有这么两个配置, ...

Hadoop 06_MapReduce2.0（YARN）

Hadoop 06_MapReduce2.0（YARN）相关推荐

最新文章

热门文章