spark submit提交方式

local模式

代码：

package top.lbing.hello;public class Hello {public String sayHello() {return "Hello Maven";}public static void main(String[] args) {System.out.println(new Hello().sayHello());}
}

提交：

# $SPARK_HOME 下
./bin/spark-submit \
--class top.lbing.hello.Hello \
--master local \
libs/hello-1.0-SNAPSHOT.jar

yarn client

代码：

# 同上

提交：

./bin/spark-submit \
--class top.lbing.hello.Hello \
--master yarn \
libs/hello-1.0-SNAPSHOT.jar

spark-submit 提交jar包到yarn上的时候,数据输入路径,数据输出路径都必须是HDFS的路径

yarn cluster

代码：

提交：

./bin/spark-submit \
--class top.lbing.hello.Hello \
--master yarn \
--deploy-mode cluster \
libs/hello-1.0-SNAPSHOT.jar

查看：
http://ip:8088/

spark on yarn和cluster区别：


spark client：driver运行在client端，client请求container完成作业调度执行，client不能退出，日志在控制台输出方便查看。
spark cluster：driver运行在applicationMaster，client一旦提交作业就可以关掉，作业已经运行在yarn上，日志在客户端看不到，因为作业运行在yarn上，使用yarn logs -applicationId application_id查看。

standalone

提交：

./bin/spark-submit \
–class com.demo.spark.Test \
–master spark://ip:7077 \
–executor-memory 1g \
–total-executor-cores 6 \
libs/test.jar

比较

模式	用途
local	开发使用
standalone	spark自带
yarn	生产环境使用，统一使用yarn对整个集群作业(MR/Spark)的资源调度

参数

spark submit脚本可选参数：

↑

可选参数	含义
–master	连接的集群URL,详见下表
–class	运行Java程序的应用主类,scala也是如此
–name	应用的名称,会显示在spark可视化网页中
–jars	如果你需要依赖少量的外部jar,就写到这里
–files	需要放到应用工作目录中的文件列表
–executor-memory	执行器进程使用的内存量,字节单位比如 512m或者 50g
–driver-memory	驱动器程序使用的内存量,单位大小同上

–mater连接的值	含义
local	运行本地模式,单核模式
local[N]	运行本地模式,N核模式
local[*]	运行本地模式,使用尽可能多的核心
yarn	连接到一个yarn集群
mesos://host:port	连接到mesos集群,主节点默认监听5050端口
spark://host:port	连接到spark集群,主节点默认监听7070端口

参考:
https://blog.csdn.net/huonan_123/article/details/84282843.

spark submit提交方式相关推荐

Spark Submit提交及参数调优
https://www.cnblogs.com/LHWorldBlog/p/8414342.html https://www.cnblogs.com/haoyy/p/6893943.html spar ...
spark任务提交方式standalone-client和standalone-cluster对比
spark中Standalone有两种任务提交模式,分别是Standalone-client模式和Standalone-cluster模式,其区别如下: 一.standalone-client任务提交 ...
spark submit提交任务一直卡在ACCEPTED状态
千辛万苦写好代码,打成jar包,spark submit提交运行到yarn 然后默默打开yarn界面查看运行的任务,但是半天不见任务名称,这可就奇了怪了查看 yarn application --l ...
input type = submit 提交方式和用js的form.submit()有什么区别？
说"一样的"的都不是专业的前端,至少有以下不同: 假设: A表单内有<input type="submit">,通过点击这个input来提交表单 B ...
平台搭建---Spark提交应用程序---Spark Submit提交应用程序及yarn
本部分来源,也可以到spark官网查看英文版. spark-submit 是在spark安装目录中bin目录下的一个shell脚本文件,用于在集群中启动应用程序(如***.py脚本):对于spark支 ...
Spark Submit任务提交流程
1,简介在上一篇博客中,我们详细介绍了Spark Standalone模式下集群的启动流程.在Spark 集群启动后,我们要想在集群上运行我们自己编写的程序,该如何做呢?本篇博客就主要介绍Spark ...
centos7.6查看什么进程跑的流量_Spark的提交方式有哪些？有什么区别？
spark的提交方式总体来说有两种,分别是standalone模式和yarn模式. 这两种模式又分别有两种提交方式,分别是: standalone下的client提交方式.(客户端提交) standa ...
Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包,经过半下午的实验,终于搞清了两者的关系以及 spark.yarn.jars 和 ...
Java代码使用Spark on Yarn 方式提交任务到带Kerberos认证的Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> 项目中遇到Spark Yarn方式提交到Hadoop集群,访问集群HDFS时发现使用的当前用户,没有访问权限,经过排查后发现H ...
spark提交python程序_Spark任务提交(Spark Submit)
Spark-Submit简介 spark-submit脚本用于在集群上启动应用程序,它位于Spark的bin目录中.这种启动方式可以通过统一的界面使用所有的Spark支持的集群管理功能,因此您不必为每 ...

spark submit提交方式

local模式

yarn client

yarn cluster

spark on yarn和cluster区别：

standalone

比较

参数

spark submit提交方式相关推荐

最新文章

热门文章