spark提交到yarn_Spark任务提交方式
1.spark基于自带的Standalone资源调度框架,Driver部署任务到client
这里用到spark-submit一下三个参数
客户端命令:
客户端基于standalone client提交任务
standalone-client提交任务模型
1):spark集群启动后,worker节点向master节点汇报资源,master节点掌握资源;
2):客户端提交spark application到master,Driver会在客户端启动
提交任务是才会有
3):客户端向master申请资源;
4):master收到请求后找到满足资源的worker
5):Driver向worker发送task,并且监控task的执行,与执行结果汇报客户端控制台
2.spark基于自带的Standalone资源调度框架,Driver部署任务到cluster
客户端命令:
提交后会发现控制退出打印信息
standalone-cluster提交任务模型
1):spark集群启动后,worker节点向master节点汇报资源,master节点掌握资源;
2):客户端提交Spark application,首先客户端向Master申请启动Driver(Driver不在本地启动);
3):Master收到请求随机找到一台Worker节点,启动Driver;
4):Driver向Master申请资源;
5):Master在满足资源的Worker节点上,启动Executor,Driver向Executor发送task,监控task执行,回收结果
3.spark基于yarn资源调度框架,Driver部署任务到client
yarn-client提交任务模型
1):spark集群启动后,worker节点向master节点汇报资源,ResourceManager节点掌握资源;
2):客户端提交Sparkapplication,Driver在客户端启动,客户端向ResourceManager申请启动ApplicationMaster;
3):ResourceManager随机找到一台NodeManager节点启动ApplicationMaster;
4):ApplicationMaster启动后向ResourceManager申请满足资源Executor
5):ResourceManager返回满足资源的NodeManager,ApplicationMaster在NodeManager启动Executor
6):Excutor启动之后,反向注册给Driver;
7):Driver发送task,监控执行,回收结果到客户端;
4.spark基于yarn资源调度框架,Driver部署任务到cluster
yarn-cluster提交任务模型
1): 在客户端提交Spark application,客户端向ResourceManager申请启动ApplicationMaster;
2): ResourceManager收到请求随机找到一台NodeManager节点启动ApplicationMaster(Driver);
3): ApplicationMaster启动之后向ResourceManager申请资源用于启动Executor;
4): ResourceManager返回满足资源的NodeManager节点,ApplicationMaster连接NodeManager节点启动Executor;
5): Executor反向注册给ApplicationMaster(Driver)
6): ApplicationMaster(Driver)发送task,监控task执行,回收结果;
spark提交到yarn_Spark任务提交方式相关推荐
- Spark部署模式、任务提交
Spark部署模式与任务提交 一.作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业,其格式如下: ./bin/spark-submit \ ...
- 表单提交中Get和Post方式的区别及EncType表明提交数据的格式详解
表单提交中Get和Post方式的区别 1. get是从服务器上获取数据,post是向服务器传送数据. 2. get是把参数数据队列加到提交表单的ACTION属性所指的URL中,值和表单内各个字段一一对 ...
- form表单、控制器中接收表单提交数据的4种方式
Form表单 这篇文章主要讲的是form表单的提交 之前我们接触过的form表单元素是在Bootstrap框架里面,这次也将用到Bootstrap框架去布局(见图表1)通过Bootstrap框架布局呈 ...
- Spark源码阅读——任务提交过程
2019独角兽企业重金招聘Python工程师标准>>> Spark 源码阅读--任务提交过程 当我们在使用spark编写mr作业是,最后都要涉及到调用reduce,foreach或者 ...
- form表单提交数据的两种方式——submit直接提交、AJAX提交
submit提交 form表单本身提供action属性,在action属性中填写数据提交地址后,点击submit类型的按钮即可将数据提交至指定地址,代码如下: <form action=&quo ...
- php form表单提交方式,form表单提交数据的几种方式
一.submit提交 一般表单提交通过type=submit实现,input type="submit",浏览器显示为button按钮,通过点击这个按钮提交表单数据跳转到/url. ...
- form表单提交数据到后台的方式
form表单提交方式 1.无刷新页面提交表单 表单可实现无刷新页面提交,无需页面跳转,如下,通过一个隐藏的iframe实现,form表单的target设置为iframe的name名称, form提交目 ...
- 【大数据Spark系列】Spark部署模式与作业提交
文章目录 Spark部署模式与作业提交 一.作业提交 1.1 spark-submit 1.2 deploy-mode 1.3 master-url 二.Local模式 三.Standalone模式 ...
- 表单提交中get和post方式的区别
表单提交中get和post方式的区别有5点 1.get是从服务器上获取数据,post是向服务器传送数据. 2.get是把参数数据队列加到提交表单的ACTION属性所指的URL中,值和表单内各个字段 ...
- Spark支持三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
最新文章
- 拥抱人工智能报告:中国未来就业的挑战与应对
- 代码迁移之旅(二)- 渐进式迁移方案
- BugKuCTF 加密 easy_crypto
- 20170125小测
- jenkins 部署文档
- UML类图五种关系与代码的对应关系
- JAVA5000行代码什么概念_GitHub - catstiger/mvc: 一个不超过5000行代码的,快速,简单,易用的MVC框架。...
- 2018最新大神教你用Python玩转数据视频教程
- [转]C#中的多线程进度条使用
- 如何验证 nginx.conf 是否配置正确
- 地理探测器——Geodetector
- oracle数据投毒,Oracle 监听投毒COST解决
- Android 清理大师产品的具体实现(一)QQ专清
- 华中科技大学计算机免试,华中科技大学计算机学院2015年接收推荐免试研究生待录取结果公示...
- Python 文件处理
- ESP8266连接中国移动ONENET物联网平台TCP透传实现WIFI远程控制
- 谷歌(Chrome)浏览器丨插件安装教程
- 人生的差别在于业余时间的利用
- java案例--根据规则验证身份证号码正确性
- dct变换编码研究课设实验报告_制作电磁铁实验报告单_相关文章专题_写写帮文库...
热门文章
- es分页方式search_after
- CUBA Platform 7.0.3 发布,企业级应用开发平台
- JAVA内存模型和GC原理
- 七牛云:ckeditor JS SDK 结合 C#实现多图片上传。
- vc 实现打印机打印功能
- qt中将数据库中的数据显示
- oscache 与 ehcache的对比
- Java中字符(串)和数值类型的转换
- java开发电脑分频器,FPGA设计——分频器(2.5分频器的程序)
- php mpm,Ubuntu Apache 切换到php-fpm+mpm_event模式