idea 创建spark项目

File => new project => maven => next =>next …

项目结构

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.spark</groupId><artifactId>sparkDemo</artifactId><version>1.0-SNAPSHOT</version><properties><scala.version>2.11.8</scala.version><spark.version>2.1.1</spark.version></properties><dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>${scala.version}</version><!--<scope>provided</scope>--> <!--provided maven打包时 该jar包不加入打包里，如果本地运行把该scope去掉 ，集群加上--></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>${spark.version}</version><!--<scope>provided</scope>--></dependency></dependencies><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.6.1</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions><configuration><scalaVersion>${scala.version}</scalaVersion><args><arg>-target:jvm-1.8</arg></args></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><version>3.0.0</version><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>single</goal></goals></execution></executions><configuration><archive><manifest><mainClass>com.spark.demo.WordCount</mainClass></manifest></archive><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration></plugin></plugins></build>
</project>

注 <scope>provided</scope> 本地运行provided 会显示 java.lang.NoClassDefFoundError:

代码

package com.spark.demoimport org.apache.spark.{SparkConf, SparkContext}object WordCount extends App {// 集群上打包val sprakConf = new SparkConf().setAppName("WordCount")//本地local运行//val sprakConf = new SparkConf().setMaster("local[3]").setAppName("WordCount")// 远程调试
//  val sprakConf = new SparkConf().setMaster("spark://master:7077").setAppName("WordCount")
//                     .setJars(List("D:\\work\\IdeaProjects\\sparkDemo\\target\\sparkDemo-1.0-SNAPSHOT-jar-with-dependencies.jar"))
//                     .setIfMissing("spark.driver.host","192.168.98.1")val sparkContext = new SparkContext(sprakConf)val file = sparkContext.textFile("hdfs://master:8020/readme.txt")val words = file.flatMap(_.split(" "))val wordsTuple = words.map((_,1))wordsTuple.reduceByKey(_+_).saveAsTextFile("hdfs://master:8020/out")sparkContext.stop()
}

打包

集群提交
bin/spark-submit --class com.spark.demo.WordCount --master spark://master:7077 /home/admin/sparkDemo.jar

idea 创建spark项目相关推荐

spark java pom.xml_使用maven方式创建spark项目(配置pom.xml文件)
创建maven项目后,在pom.xml文件中添加如下配置项: 1.8 1.8 2.10.5 1.6.2 2.6.4 UTF-8 org.apache.spark spark-core_2.11 ${s ...
idea创建python spark项目的步骤_Spark入门（二）--如何用Idea运行我们的Spark项目
用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处,其中最大的好处,就是我们甚至可以在工程当中直接运行.调试我们的代码,在控制台输出我们的结果.或者可以逐行跟踪代码,了解spark ...
JavaWeb(十)——jetty服务器、创建jsp项目、servlet生命周期及url的匹配规则
文章目录 1. jetty服务器的下载与安装 1.1 jetty简介 1.2 jetty的下载与安装 2. idea创建jsp项目 3. idea给jsp项目导入jar包 4. 编写第一个servle ...
spark项目实战：电商分析平台之各个范围Session步长、访问时长占比统计（需求一）
spark项目实战:电商分析平台之各个范围Session步长.访问时长占比统计(需求一) 项目基本信息,架构,需要一览各个范围Session步长.访问时长占比统计概述各个范围Session步长.访 ...
scala java maven项目_IntelliJ IDEA下Maven创建Scala项目的方法步骤
环境:IntelliJ IDEA 版本:Spark-2.2.1 Scala-2.11.0 利用 Maven 第一次创建 Scala 项目也遇到了许多坑创建一个 Scala 的 WordCount 程 ...
设置maven 参数调休_IDEA 使用 Maven构建Spark项目
上一篇讲了普通构建spark项目这次分享用Maven构建Spark项目,中间遇到了很多坑!其根本原因是Scala 与 Spark的版本不一致! 本次环境: Java1.8 Scala 2.11.8 ...
IDEA本地运行Spark项目[演示自定义分区器]并查看HDFS结果文件
文章目录一.提出问题二.解决问题 (一)添加IP到主机名的映射 (二)在本地准备Spark库文件 (三)在IDEA里创建Scala项目 (四)添加Spark库文件到项目 (五)创建自定义分区器 ( ...
Spark项目模拟——航班飞行网图分析
文章目录 Spark项目模拟--航班飞行网图分析需求描述数据准备需求思路整理代码实现总结机场数量: 航线数量: 最大的边属性: 哪个机场到达航班最多: 找出最重要的飞行航线: 找出最便宜的 ...
Spark项目实战:大数据实时流处理日志(非常详细)
实战概览一.实战内容二.大数据实时流处理分析系统简介 1.需求 2.背景及架构三.实战所用到的架构和涉及的知识 1.后端架构 2.前端框架四.项目实战 1.后端开发实战 1.构建项目 2.引入 ...

idea 创建spark项目

idea 创建spark项目

idea 创建spark项目相关推荐

最新文章

热门文章