基于IntelliJ Idea的Scala开发demo一Spark开发demo

顺着之前SBT的HelloWorld案例（具体请参考我的另外一篇博文《基于IntelliJ Idea的Scala开发demo—SBT包管理demo》）

今天给出一个基于Scala的spark开发demo，大致的步骤如下：

导入Spark依赖包
代码编写
代码打包以及运行

导入Spark依赖包

打开项目中的build.sbt文件，添加如下Spark依赖内容：

name := "LzScalaSparkTest"
version := "0.1"
scalaVersion := "2.11.12"// public version configuration
val sparkVersion = "2.3.4"// https://mvnrepository.com/artifact/org.apache.spark
// spark dependencies
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % sparkVersion ,"org.apache.spark" %% "spark-sql" % sparkVersion
)

如果没有用到spark-sql的话，可以不用添加spark-sql的依赖，如之前博文说，刷新包导入依赖之后如下图所示：

代码编写

以WordCount为例，新建Scala的object文件，相关代码如下：

import org.apache.log4j.Logger
import org.apache.spark.{SparkConf, SparkContext}object LzWordCount {// 全局log对象val LOGGER = Logger.getLogger(this.getClass)/* 这是一个文本文件中单词统计程序* 以下程序将输出每个文本中每个单词出现的次数*/def main(args: Array[String]) {val conf = new SparkConf().setAppName("WordCountProgram").setMaster("local[1]")new SparkContext(conf).textFile("hdfs:///hbase/hbase.version").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).collect().foreach(println)LOGGER.info("\n------------------运行结束-----------------\n")}}

代码打包以及运行

因为我们通常本地都是开发环境，spark应用程序通常都是在Hadoop/spark集群上面运行，一个比较简单的方式是，本地打包好之后上传到集群上运行，接下来就是介绍这套方案如何实现。

上面代码编写完成之后，可以直接在IntelliJ Idea上面打开“Terminal”，然后运行如下命令：

sbt package

运行成功之后，可以看到如下打包结果：

打包成功之后，可以通过远程文件上传工具将jar包上传到集群服务器（装有spark客户端的那一台即可）上，IntelliJ Idea可以配置项目自动部署上传到远程服务器，具体如何实现请参考我的另外一篇博文：《基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试》。

上传jar到集群之后，可以通过如下命令运行：

spark-submit --class LzWordCount lzscalasparktest_2.11-0.1.jar

我这边的运行结果如下图所示：