idea下将scala编写的项目打成jar包

如果文章里的内容有误，为避免误人子弟，请一定评论或直接私信我。
我已经很认真的将文章写的尽可能详细，希望这篇文章能给予您微不足道的帮助。

摘要

spark，中文译作星星之火，时至今日，这把由scala所编写的星星之火已经在大数据领域燃起燎原之势。

尽管我们可以直接在idea上运行我们用scala编写的spark项目，但实际生产中，我们还是需要将一个项目打成一个jar包上线成产环境。

软件版本：
idea：2020
spark:2.0.1
scala:2.11
hadoop-2.7.2

希望您已经在您的window下准备好上述环境，linux下同样如此

本文整个流程如下：
idea编写测试代码–>windows下降项目打包成jar–>上传至linux并使用命令提交job
本文使用的是yarn模式提交

不选择maven打包成jar的原因是maven编译项目并不默认支持scala，如果希望使用maven编译scala项目，需要使用插件，maven插件的引入对于如在下之类的maven小白而言，并不太友好

因此我们直接使用idea打包

1、编写测试代码

使用maven创建项目的过程本文便不再赘述
但是需要注意的是，如果你使用了hdfs，就需要将core-site.xml文件和hdfs-site.xml文件拷贝到项目的resource目录下，使用到了hive需要拷贝hive-site.xml文件和在pom文件中添加对应依赖

代码如下：
注意：这是在打包上传到linux的代码，在window下测试时请将文中的yarn改成loacl[*]

package com.cqaiimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}object shellTest {// window下设置用户为hadoop有权限用户System.setProperty("HADOOP_USER_NAME", "root")def main(args: Array[String]): Unit = {/*start test包名：com.cqai.shellTest*/// 注意:如果你希望使用yarn提交你的job，master一定要是yarn，如果不是yarn，使用local[*]等，有可能会报错的val sparkConf = new SparkConf().setMaster("yarn").setAppName("test1")val context = new SparkContext(sparkConf)// 注意：虽然spark默认从hadoop下读取文件，但建议还是写上hdfs，不然在window上有可能会报错 不认识的主机testval inputRDD: RDD[String] = context.textFile("hdfs://master:9000/user/hive/warehouse/initial_data.db/customer/mach_data=20220801")// 这行代码用于在window下测试和让inputRDD加载执行，inputRDD.collect().foreach(println)context.stop()}
}

2、window下使用idea打包

强烈建议直接看后面的图片流程，我在图片上标明了箭头，按照箭头从小到大操作即可
文字流程如下：
点击idea右上角
File=>projectStructure=>artifacts=>点击加号=>点击from model。。。(后续单词我省略了) =>点击Main Class选项框后的文件夹
=>点击Projet=>选择你项目入口的main方法=>点击ok=>在弹出的界面点击ok=>再次点击ok=>点击Build=>Build artifacts=>选中您的项目点击build即可
如果您希望打成瘦包，建议查看图片

胖包和瘦包的区别是胖包含有你用到的依赖和你写的代码，而瘦包只有你写好的代码，瘦包需要你linux上的软件版本和你的依赖版本相同才能运行
我打的是瘦包，如果您希望打成胖包，在下面第五张图片中有对应方法介绍
1

3

4

5

6

随后在linux下启动hadoop，并提交job
进程截图：

提交命令
注意我打好的jar包放在了spark目录下我创建的job目录里

 spark-submit \--class com.cqai.shellTest \--master yarn \--deploy-mode cluster \./job/matchPargetTest.jar 10

如果您出现这个错误

建议您将这个目录删除