Intellij IDEA连接Spark集群

1. 首先安装Scala插件，File->Settings->Plugins，搜索出Scla插件，点击Install安装；

2. File->New Project->maven，新建一个Maven项目，填写GroupId和ArtifactId；

3. 编辑pom.xml文件，添加项目所需要的依赖：

    <properties><scala.version>2.10.5</scala.version><hadoop.version>2.6.5</hadoop.version></properties><repositories><repository><id>scala-tools.org</id><name>Scala-Tools Maven2 Repository</name><url>http://scala-tools.org/repo-releases</url></repository></repositories><dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.10</artifactId><version>1.6.0</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.10</artifactId><version>1.6.0</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.10</artifactId><version>1.6.0</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>${hadoop.version}</version></dependency></dependencies>

4. File->Project Structure->Libraries，选择和Spark运行环境一致的Scala版本：

5. File->Project Structure->Modules，在src/main/下面增加一个scala文件夹，并且设置成source文件夹；

6. 在scala文件夹下面新建一个scala文件SparkPi：

import scala.math.randomimport org.apache.spark._

object SparkPi {  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://master:7077").setJars(Seq("E:\\Intellij\\Projects\\SparkExample\\SparkExample.jar"))    val spark = new SparkContext(conf)    val slices = if (args.length > 0) args(0).toInt else 2    println("Time:" + spark.startTime)    val n = math.min(1000L * slices, Int.MaxValue).toInt // avoid overflow    val count = spark.parallelize(1 until n, slices).map { i =>      val x = random * 2 - 1      val y = random * 2 - 1      if (x*x + y*y < 1) 1 else 0    }.reduce(_ + _)    println("Pi is roughly " + 4.0 * count / n)    spark.stop()  }}

7. File->Project Structure->Artifacts，新建一个Jar->From modules with dependencies...，选择Main Class：

设置Output directory，删掉不必要的jar：

7. Build->Build Artifacts...，生成jar，然后再运行，成功！

转载于:https://www.cnblogs.com/mstk/p/6875068.html

Intellij IDEA连接Spark集群相关推荐

window安装python3后怎么用pyspark_pyspark：连接spark集群Windows环境搭建
软件 1.anaconda(python3.6) 2.spark-2.4.3-bin-hadoop2.7(spark版本要和集群上的一样) 3.JDK1.8 python环境配置 pip instal ...
Eclipse连接Hadoop集群（详细版）
颜子之不较,孟子之自反,是贤人处横逆之方子贡之无谄,原思之坐弦,是贤人守贫穷之法相关连接 HDFS相关知识 Hadoop分布式文件系统(HDFS)快速入门 Hadoop分布式文件系统(HDFS)知 ...
intellij连接真实spark集群运行wordcount-Java
#--------------------------------------------------------------------------------------------------- ...
如何将Jupyter Notebook连接到远程Spark集群并每天运行Spark作业？
As a data scientist, you are developing notebooks that process large data that does not fit in your ...
本地Spark连接远程集群Hive(Scala/Python)
精选30+云产品,助力企业轻松上云!>>> 点击蓝色"大数据每日哔哔"关注我加个"星标",第一时间获取大数据架构,实战经验摘要:本地Spa ...
spark集群访问mysql_spark连接数据源以及在spark集群上跑
1.spark连接mysql import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession ...
spark 序列化错误集群提交时_【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources...
本地提交任务到Spark集群报错:Initial job has not accepted any resources 错误信息如下: 18/04/17 18:18:14 INFO TaskSched ...
eclipse手动pom本地包_环境篇--Eclipse如何远程连接Hadoop集群调试
关注 DLab数据实验室公众号带你一起学习大数据- 写在前面:最近终于闲下来了,打算把之前了解到的内容整理一下,先从搭建环境开始吧- 现在接触大数据开发的朋友可能直接使用Spark或者其他的查询引 ...
spark 广播变量大数据_大数据处理 | Spark集群搭建及基本使用
点击蓝字关注我前面用了一篇文章详细的介绍了集群HDFS文件系统的搭建,HDFS文件系统只是一个用于存储数据的系统,它主要是用来服务于大数据计算框架,例如MapReduce.Spark,本文就接着上一 ...

Intellij IDEA连接Spark集群

Intellij IDEA连接Spark集群相关推荐

最新文章

热门文章