yarn client 提交任务

文章目录

目的
概念和流程
- yarn运行机制
- 1. 起yarn client
- 2. 起app master
- 3. Reference

目的

提交一个自定义的任务到Yarn上

概念和流程

yarn运行机制

1. 起yarn client

// 1.创建yarn client
YarnClientApplication app = yarnClient.createApplication();
// 2.配置
app.getApplicationSubmissionContext().setApplicationName( "truman.ApplicationMaster");
app.getApplicationSubmissionContext().setResource(Resource.newInstance(100, 1));
app.getApplicationSubmissionContext().setPriority(Priority.newInstance(0));
app.getApplicationSubmissionContext().setQueue("default");
app.getApplicationSubmissionContext().setAMContainerSpec(amContainer);
// 3.提交应用到rm
ApplicationId appId = yarnClient.submitApplication(app.getApplicationSubmissionContext());

2. 起app master

3. Reference

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html
https://blog.csdn.net/hahachenchen789/article/details/80586505

yarn client 提交任务相关推荐

Spark通过YARN提交任务不成功（包含YARN cluster和YARN client)
无论用YARN cluster和YARN client来跑,均会出现如下问题. [spark@master spark-1.6.1-bin-hadoop2.6]$ jps 2049 NameNode ...
从源码角度看Spark on yarn client cluster模式的本质区别
首先区分下AppMaster和Driver,任何一个yarn上运行的任务都必须有一个AppMaster,而任何一个Spark任务都会有一个Driver,Driver就是运行SparkContext(它 ...
添加spark.yarn.jars 解决 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set,
一:问题现象: 在spark on yarn 提交任务是,提示如下: WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive ...
spark yarn模式提交任务不成功（application state: ACCEPTED）
问题详情电脑8G,目前搭建3节点的spark集群,采用YARN模式. master分配2G,slave1分配1G,slave2分配1G.(在安装虚拟机时) export SPARK_WORKER_M ...
大数据Flink进阶（十五）：Flink On Yarn任务提交
文章目录 Flink On Yarn任务提交一.Flink On Yarn运行原理二.代码及Yarn环境准备 1.准备代码 2.yarn 环境准备三.Yarn Session模式 1.任务提交命 ...
Java代码使用Spark on Yarn 方式提交任务到带Kerberos认证的Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> 项目中遇到Spark Yarn方式提交到Hadoop集群,访问集群HDFS时发现使用的当前用户,没有访问权限,经过排查后发现H ...
12、基于yarn的提交模式
一.三种提交模式 1.Spark内核架构,其实就是第一种模式,standalone模式,基于Spark自己的Master-Worker集群.2.第二种,是基于YARN的yarn-cluster模式.3 ...
YARN作业提交流程剖析
YARN(MapReduce2) Yet Another Resource Negotiator / YARN Application Resource Negotiator 对于节点数超出4000的 ...
MapReduce中Client提交Job源码分析
回顾在进行submit源码分析之前,先来回顾一下WordCount案例(点击查看WordCount案例).仔细回想一下曾经Client都干了点啥?获取对象-->一通set-->job.w ...

yarn client 提交任务

文章目录

目的

概念和流程

yarn运行机制

1. 起yarn client

2. 起app master

3. Reference

yarn client 提交任务相关推荐

最新文章

热门文章