YARN编程实例—Unmanaged AM工作原理介绍

2024-06-21 00:44:09

1. 概述

在YARN中，一个ApplicationMaster需要占用一个container，该container可能位于任意一个NodeManager上，这给ApplicationMaster测试带来很大麻烦，为了解决该问题，YARN引入了一种新的ApplicationMaster—Unmanaged AM（具体参考：MAPREDUCE-4427），这种AM运行在客户端，不再由ResourceManager启动和销毁。用户只需稍微修改一下客户端即可将分布式环境下的AM运行在客户端的一个单独进程中。

2. Unmanaged AM工作原理

Unmanaged AM运行步骤如下：

步骤1 通过RPC函数ClientRMProtocol.getNewApplication()获取一个ApplicationId.

步骤2 创建一个ApplicationSubmissionContext对象，填充各个字段，并通过调用函数ApplicationSubmissionContext.setUnmanagedAM(true)启用Unmanaged AM。

步骤3 通过RPC函数ClientRMProtocol.submitApplication()将application提交到ResourceManage上，并监控application运行状态，直到其状态变为YarnApplicationState.ACCEPTED。

步骤4 在客户端中的一个独立线程中启动ApplicationMaster，然后等待ApplicationMaster运行结束，接着再等待ResourceManage报告application运行结束。

YARN在

hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-unmanaged-am-launcher目录中提供了一个应用实例（最新版本中有该实例，较早版本没有），有兴趣的读者可以自行参考。

原创文章，转载请注明：转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/yarn-unmanaged-am-implemention/

YARN编程实例—Unmanaged AM工作原理介绍相关推荐

MyBatis基本工作原理介绍
1.MyBatis基本工作原理介绍计算机的基本工作就是存储和计算,而MyBatis是存储领域的利器.MyBatis的基本工作原理就是:先封装SQL,接着调用JDBC操作数据库,最后把数据库返回的表结 ...
linnux 流量控制模块tc_可编程控制器PLC基本工作原理（第一颗）
可编程控制器PLC基本工作原理(第一课) 1.硬件结构 2.内部组成(点击关注第二颗) 3.循环扫描一.中央处理器 1.中央处理器是什么玩意? 中央处理器也称为CPU(Central Process ...
Express中间件工作原理介绍
Express中间件工作原理介绍中间件是Express框架学习中最难的部分,同时也是最为核心的技术,我们的学习路线如下 1.什么是中间件 2.Express中间件的本质及工作原理 3.自定义解析po ...
java并发编程——线程池的工作原理与源码解读
2019独角兽企业重金招聘Python工程师标准>>> 线程池的简单介绍基于多核CPU的发展,使得多线程开发日趋流行.然而线程的创建和销毁,都涉及到系统调用,比较消耗系统资源,所以 ...
时间同步装置（卫星时钟同步）工作原理介绍
时间同步装置(卫星时钟同步)工作原理介绍时间同步装置(卫星时钟同步)工作原理介绍微软从Windows2000开始,系统就支持使用NTP同步的方式获取时间,Windows系统默认的时间源都来自tim ...
【原理】#01红外热成像仪的工作原理介绍
红外热成像仪是电测中比较特殊的一种仪器设备,在温度测试领域有着广泛的应用. 红外热成像仪测温的原理是怎么样的?如何选择合适的热成像仪? 安泰小课堂将分两期视频为大家进行揭秘. 本期内容将重点讲解红外热 ...
石英加速度计工作原理介绍
石英加速度计工作原理介绍加速度是一种用来反映物体在运动过程中的速度变化状态的物理量,其无法直接测量,当前的加速度传感器(加速度计)采用间接测量以及力的平衡等技术来获取物体的加速度.加速度传感器的工作 ...
三维电子罗盘的工作原理介绍
三维电子罗盘的工作原理介绍三维电子罗盘工作原理介绍是由三维电子罗盘由三维磁阻传感器.双轴倾角传感器和MCU构成.三维磁阻传感器用来测量地球磁场,倾角传感器是在磁力仪非水平状态时进行补偿:MCU处理 ...
cache相关概念及工作原理介绍
cache相关概念及工作原理介绍笔者这篇文章主要从使用者的角度介绍cache的相关概念和工作原理. 一. cache是什么,为什么要用它关于cache是什么,为什么要用它.我们从这个表格说起.下图 ...

最新文章

热门文章