spark入门Intellj环境配置scalark入门Intellj环境配置scala

# 写在前面：

准备开始学spark，于是准备在IDE配一个spark的开发环境。

嫌这篇格式不好的看这里链接

用markdown写的，懒得调格式了，么么哒

# 相关配置：

## 关于系统

* mac os10.12

* intellj IDEA

## 关于我

* scala&函数式编程零基础

* 会hadoop， java， maven

# 失败的经验1

* 脑子一热，用sbt替换了maven。但事实是

　　1. 国内的sbt自动下载慢哭（用maven配国内镜像简直快到飞起，感谢阿里爸爸

　　2. sbt的依赖配置总是报各种bug，要根据stackoverflow去补很多依赖（事实证明用maven只要一条依赖

* 而由于sbt需要的很多依赖之间兼容性并不好，每次修改都是一次漫长的等待。最后最崩溃的是还会产生冲突

# 成功的经验

* 心累之下还是回归了maven

* 有一个一定要注意的是scala2.12版本及以上跟spark各个版本都不兼容（至少目前是这样）

* 我先装的scala是2.12.2，为此重新下了个2.10.3，并将2.10.3作为intellj的默认scala，sdk

* 记得配maven的ali镜像，爽到飞（修改maven的conf目录下的setting.xml，修改完记得intellj的maven设置也用这个配置

* 事实证明maven中只需要在pom.xml中添加如下一个依赖，

    <dependencies><!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.10</artifactId><version>2.1.0</version></dependency></dependencies>

# 顺便给个scala的spark wordcount

object Test {def main(args: Array[String]) {// println("Hello World")val conf = new SparkConf().setAppName("Test").setMaster("local")val sc = new SparkContext(conf)val text = sc.textFile("input/") val counts = text.flatMap(line => line.split("\t")) .map(word => (word, 1)) .reduceByKey(_+_) counts.foreach(println) } }

最后祝学spark愉快！~

转载于:https://www.cnblogs.com/wttttt/p/6826735.html

spark入门Intellj环境配置scalark入门Intellj环境配置scala相关推荐

Java环境下GDAL / OGR环境配置与入门
Java环境下GDAL / OGR环境配置与入门 0.概述 1.环境配置 1.1 开发环境下载 1.2 环境变量配置 1.3java工程配置 1.3.1新建Java工程 1.3.2添加GDAL的jar ...
C#环境下GDAL / OGR环境配置与入门
C#环境下GDAL.OGR环境配置与入门 0.概述 1.环境配置 2.类库介绍 3.代码实践 4. 总结 0.概述由于需要进行一些Shapefile文件的读取和管理,但是ArcGIS的二次开发工具又 ...
Jpa环境配置及入门（增删改查）
案例:客户的相关操作(增删改查) 1.分析: 1.搭建环境: 创建maven工程,导入相关坐标: 配置使用jpa的核心配置文件: 位置:需要配置到类路径下叫做 META-INF的文件夹下命名:per ...
【搜遍互联网，集百家之长】环境配置从入门到放弃之Mac环境下，安装XAMPP，给phpstorm安装Xdebug调试工具...
前提刚从Windows转到OS X,工作需要给phpstorm安装断点调试工具xdebug,一开始没当回事,心想不就个插件吗,上网看看文档还不是分分钟搞定,没想到就是噩梦的开始.整整两天,翻遍谷歌和 ...
webpack从入门到精通（三）生产环境的基本配置
1. 提取css成单独文件 1)创建文件 index.js中我们引入css文件 import '../css/a.css'; import '../css/b.css'; 2)下载plugin包 np ...
webpack从入门到精通（二）开发环境的基本配置
1. 打包样式资源 1)创建文件文件代码如下: index.less #title {color: #fff; } index.css html, body{margin: 0;padding: 0 ...
中修改环境变量_Golang入门（1）：安装与配置环境变量的意义
摘要在几年前学习Java的时候,环境的配置就会劝退一部分的初学者.而对于Golang来说,也需要从环境的配置开始学起.这一篇文章将从如何安装Golang开始讲起,随后将会提到Golang中的环境变量 ...
【Autoware入门教程】如何在Gazebo仿真环境配置自动驾驶汽车
假设你已经安装好了Autoware,Autoware源码中其实已经配置有Gazebo仿真环境,当然你也可以根据自己的需要另外下载自动驾驶汽车的仿真模型.该汽车模型已经默认配置好了Velodyne HD ...
Spark环境搭建与入门实例
1目的及要求基于Spark平台,使用Spark ML库实现数据聚类分析.使用Synthetic Control Chart Time Series数据synthetic_control.data,数 ...
java mvc 小程序_[Java教程]Spring MVC 的环境搭建和入门小程序
[Java教程]Spring MVC 的环境搭建和入门小程序 0 2017-02-17 00:00:16 1.1.下载spring框架包. 1.1.1百度搜索Spring Framework. 进入s ...

spark入门Intellj环境配置scalark入门Intellj环境配置scala

spark入门Intellj环境配置scalark入门Intellj环境配置scala相关推荐

最新文章

热门文章