spark的作业提交流程
Spark的任务提交方式实际上有两种，分别是YarnClient模式和YarnCluster模式。
YarnClient模式
- 在 YARN Clinet 模式下，Driver 在任务提交的本地机器上运行；
- Driver 启动后会和 ResourceManager 通讯申请启动 ApplicationMaster；
- 随后 ResourceManager 分配 container，在合适的 NodeManager 上 启动 ApplicationMaster，此时的 ApplicationMaster 的功能相当于一个 ExecutorLauncher，只负责向 ResourceManager 申请 Executor 内存；
- ResourceManager 接到 ApplicationMaster 的资源申请后会分配 container，然后 ApplicationMaster 在资源分配指定的 NodeManager 上 启动 Executor 进程；
- Executor 进程启动后会向 Driver 反向注册，Executor 全部注册完成后 Driver 开始执行 main函数；
- 之后执行到 Action 算子时，触发一个 job ，并根据 宽依赖 开始划分 stage，每个stage生成对应的 taskset，之后将 task 分发到各个 Executor 上执行。
YarnCluster模式
- 在 YARN Cluster 模式下，任务提交后会和 ResourceManager 通讯申请启动 ApplicationMaster；
- 随后 ResourceManager 分配 container，在合适的 NodeManager 上 启动 ApplicationMaster，此时的 ApplicationMaster 就是 Driver；
- Driver 启动后向 ResourceManager 申请 Executor 内存，ResourceManager 接到 ApplicationMaster 的资源申请后会分配 container，然后在合适的 NodeManager 上 启动 Executor 进程；
- Executor 进程启动后会向 Driver 反向注册，Executor 全部注册完成后 Driver 开始执行 main函数；
- 之后执行到 Action 算子时，触发一个 job ，并根据 宽依赖 开始划分 stage，每个stage生成对应的 taskset，之后将 task 分发到各个 Executor 上执行。
spark的作业提交流程相关推荐
- Flink运行时架构及各部署模式下作业提交流程
1.运行时架构 1.1 核心组件 1.1.1 JobManager 作业管理器,对于一个提交执行的作业,JobManager 是真正意义上的"管理者"(Master),负责管理调度 ...
- spark StandAlone模式下的作业提交流程
spark StandAlone也有两种作业提交模式,client 和 cluster模式,以下以cluster为例说明 提交代码 ./spark-submit \ --class org.apach ...
- Spark Submit任务提交流程
1,简介 在上一篇博客中,我们详细介绍了Spark Standalone模式下集群的启动流程.在Spark 集群启动后,我们要想在集群上运行我们自己编写的程序,该如何做呢?本篇博客就主要介绍Spark ...
- 大数据_Flink_数据处理_运行时架构3_yarn上作业提交流程---Flink工作笔记0018
然后我们再来看看,yarn上面的flink的job提交流程,可以看到 首先flink client,1.先去上传flink的jar包和配置,到HDFS,然后,2再提交job任务,给resourcema ...
- YARN作业提交流程剖析
YARN(MapReduce2) Yet Another Resource Negotiator / YARN Application Resource Negotiator 对于节点数超出4000的 ...
- Spark详解（七）：SparkContext源码分析以及整体作业提交流程
1. SparkContext源码分析 在任何Spark程序中,必须要创建一个SparkContext,在SparkContext中,最主要的就是创建了TaskScheduler和DAGSchedul ...
- 大数据_Flink_数据处理_运行时架构2_作业提交流程_抽象架构---Flink工作笔记0017
1.首先先去提交任务,这个提交任务可以是在网页端后台,也可以是在命令行提交任务. 在网页端后台提交就是flink的网页管理端对吧. 2.第1步任务将会被提交到分发器 3.第2步分发器会把任务转交给jo ...
- Hadoop作业提交分析（三）
http://www.cnblogs.com/spork/archive/2010/04/12/1710294.html 通过前面两篇文章的分析,对Hadoop的作业提交流程基本明了了,下面我们就可以 ...
- Spark架构与作业执行流程简介
2019独角兽企业重金招聘Python工程师标准>>> Spark架构与作业执行流程简介 博客分类: spark Local模式 运行Spark最简单的方法是通过Local模式(即伪 ...
- 【概述】spark（一）:spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境
学习或者复习一门技术之前需要认识这个技术:包括这个技术的特点.架构.它是怎么运作的.它能在哪里运行等: 然后可以学习怎么使用它开放的API对一些业务场景进行开发实现: 其次对于某些特定场景我们可能使用 ...
最新文章
- js获取当前页面的URL信息
- Deep Manta：单目图像下2d到3d由粗到精的多任务网络车辆分析
- 计算机等级保护2.0标准,网络安全等级保护2.0标准情况-马力.pdf
- linux下监控用户的操作记录
- javax.servlet.jsp.JspFactory.getJspApplicationContext(Ljavax/servlet/ServletContext;)Ljavax/servlet/
- PHP代码优化的细节
- java servlet https_javaweb项目对https的配置01
- ubuntu优化服务器网络连接数,ubuntu下解决高并发socket最大连接数限制，tcp默认1024个连接...
- 计算机按应用可分为几类,计算机按性能可以分为哪几类
- 命令行管理windows服务器角色
- Ubuntu配置maven
- 一个教务系统多少钱_ERP系统多少钱
- 使用jQuery+huandlebars遍历中if判断
- 网盘助手插件chrome插件
- 千方百剂创建账套服务器文件,千方百剂辅助工具使用手册(图解).doc
- 抖音文字时钟壁纸html,抖音文字时钟
- 如何设计一个秒杀系统？
- 谷歌个性化地图瓦片_对Google广告个性化的调查
- 半同步/半异步模式,半同步半反应堆reactor模式
- oracle按照汉语拼音排序