spark-submit

submit jars

Maven 打包流程

创建project

修改pom文件

clean package

pom文件中org.scala-tools这个插件决定能否用maven打包

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.ifeng.zgx</groupId><artifactId>WorldCount</artifactId><version>1.0-SNAPSHOT</version><properties><maven.compiler.source>1.7</maven.compiler.source><maven.compiler.target>1.7</maven.compiler.target><encoding>UTF-8</encoding><scala.version>2.10.6</scala.version><scala.compat.version>2.10</scala.compat.version></properties><repositories><repository><id>aliyunmaven</id><url>http://maven.aliyun.com/nexus/content/groups/public/</url></repository></repositories><dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.1.2</version></dependency></dependencies><build><sourceDirectory>src/main/scala</sourceDirectory><plugins><plugin><groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><version>3.2.0</version></plugin><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions><configuration><scalaVersion>2.11.8</scalaVersion><args><arg>-target:jvm-1.7</arg></args></configuration></plugin></plugins></build></project>

提交任务

spark-submit --master yarn--class com.testxx.jar

https://www.jianshu.com/p/ecc6eb298b8f

spark-submit相关推荐

zeppelin报错master is set as yarn, but spark.submit.deployMode is not specified
具体报错如下: java.lang.RuntimeException: master is set as yarn, but spark.submit.deployMode is not specif ...
spark submit参数及调优
spark submit参数及调优原文地址 spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ...
【原创】大数据基础之Spark（1）Spark Submit即Spark任务提交过程
Spark2.1.1 一 Spark Submit本地解析 1.1 现象提交命令: spark-submit --master local[10] --driver-memory 30g --cla ...
Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包,经过半下午的实验,终于搞清了两者的关系以及 spark.yarn.jars 和 ...
Spark Submit任务提交流程
1,简介在上一篇博客中,我们详细介绍了Spark Standalone模式下集群的启动流程.在Spark 集群启动后,我们要想在集群上运行我们自己编写的程序,该如何做呢?本篇博客就主要介绍Spark ...
spark submit参数及调优(转载)
spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ./bin/spark-submit \--c ...
spark submit参数及调试
原文:http://www.cnblogs.com/haoyy/p/6893943.html spark submit参数介绍你可以通过spark-submit --help或者spark-shel ...
Spark Submit提交及参数调优
https://www.cnblogs.com/LHWorldBlog/p/8414342.html https://www.cnblogs.com/haoyy/p/6893943.html spar ...
Spark：spark submit参数及调优 perfect
先看下spark运行原理流程: 我们使用spark-submit提交一个Spark作业之后,这个作业就会启动一个对应的Driver进程. 根据你使用的部署模式(deploy-mode)不同,Drive ...
spark提交python程序_Spark任务提交(Spark Submit)
Spark-Submit简介 spark-submit脚本用于在集群上启动应用程序,它位于Spark的bin目录中.这种启动方式可以通过统一的界面使用所有的Spark支持的集群管理功能,因此您不必为每 ...

spark-submit

submit jars

spark-submit相关推荐

最新文章

热门文章