localhost方式提交作业到spark运行

修改参数

代码见上一节代码地址

Java版本：

JavaRDD rdd1 =  sc.textFile(args[0])

Scala版本：

val rdd1 = sc.textFile(args(0))

编译
添加spark依赖包

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.2.1</version></dependency>

利用maven打包

将打包文件复制到centos的home目录下
进入spark的bin目录运行jar包

[root@localhost bin]# spark-submit --master local --name mywordCount --class  com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt

注意包名在前，jar包在后

运行结果如图所示：

还要注意的是Scala版本和spark版本一定要对应

转载于:https://www.cnblogs.com/flyingcr/p/10327062.html

localhost方式提交作业到spark运行相关推荐

详解Spark运行模式（local+standalone+yarn）
一.简述 Spark 有多种运行模式: 1.可以运行在一台机器上,称为 Local(本地)运行模式. 2.可以使用 Spark 自带的资源调度系统,称为 Standalone 模式. 3.可以使用 Y ...
java spark wordcount_提交任务到spark（以wordcount为例）
1.首先需要搭建好hadoop+spark环境,并保证服务正常.本文以wordcount为例. 2.创建源文件,即输入源.hello.txt文件,内容如下: tom jerry henry jim s ...
提交第一个spark作业到集群运行
写在前面接触spark有一段时间了,但是一直都没有真正意义上的在集群上面跑自己编写的代码.今天在本地使用scala编写一个简单的WordCount程序.然后,打包提交到集群上面跑一下... 在本地使 ...
spark提交到yarn_详细总结spark基于standalone、yarn集群提交作业流程
最近总结了一些关于spark core的内容,今天先来和大家分享一下spark的运行模式. spark运行模式 (1)local:在本地eclipse.IDEA中写spark代码运行程序,一般用于测试 ...
Java代码使用Spark on Yarn 方式提交任务到带Kerberos认证的Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> 项目中遇到Spark Yarn方式提交到Hadoop集群,访问集群HDFS时发现使用的当前用户,没有访问权限,经过排查后发现H ...
以yarn-client方式提交spark任务，任务一直卡在ACCEPTED状态
问题背景 spark是以客户端的方式安装的,并没有启动spark的mesos集群,这时候的spark就相当与hive客户端. 以local模型和yarn-cluster方式提交任务,都能正确额执行,但 ...
平台搭建---Spark提交应用程序---Spark Submit提交应用程序及yarn
本部分来源,也可以到spark官网查看英文版. spark-submit 是在spark安装目录中bin目录下的一个shell脚本文件,用于在集群中启动应用程序(如***.py脚本):对于spark支 ...
Spark运行模式Local+Standalone+Yarn+mesos
Spark运行模式Local+Standalone+Yarn+mesos bin/spark-submit --help 注意: --master MASTER_URL spark://host:po ...
Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
spark部署在单台机器上面时,可以使用本地模式(Local)运行:当部署在分布式集群上面的时候,可以根据自己的情况选择Standalone模式(Spark自带的模式).YARN-Client模式或者 ...

localhost方式提交作业到spark运行

localhost方式提交作业到spark运行相关推荐

最新文章

热门文章