IDEA下用SBT搭建Spark Helloworld
原文:http://www.linuxidc.com/Linux/2016-12/138698.htm
没用过IDEA工具,听说跟Eclipse差不多,sbt在Idea其实就等于maven在Eclipse。Spark运行在JVM中,所以要在Idea下运行spark,就先要安装JDK 1.8+ 然后加入Scala和Spark的依赖包就可以进行开发了,不要安装低版本的JDK。
先下载IDEA的社区版
https://www.jetbrains.com/idea/download/download-thanks.html?platform=windows&code=IIC
Scala、Spark环境
安装完后下载Scala插件
新建sbt工程
这里需要注意,如果选择Spark2.0以上,那么Scala要选2.11以上。因为我用的是Spark2.0.2,所以就选择2.11.1,选择JDK版本后确认。
工程创建成功后的目录
编辑build.sbt文件,添加Spark依赖
version := "1.0" scalaVersion := "2.11.1"
libraryDependencies+= "org.apache.spark" % "spark-core_2.11" % "2.0.2"
保存,等待下载完依赖的包。
PS: Scala版本对应的Spark可在官网查询
Helloworld
在project下 src/scala包下创建一个scala.class
helloworld.scala
/**
* Created by Jan on 2016/12/19.
*/
object Helloworld {
def main(args: Array[String]) {
val logFile= "./README.md" // Should be some file on your server.
val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
val sc= new SparkContext(conf)
val logData= sc.textFile(logFile, 2).cache()
val numAs= logData.filter(line => line.contains("h")).count()
val numBs= logData.filter(line => line.contains("j")).count()
println("Lines with h: %s, Lines with j: %s".format(numAs, numBs))
}
}
上面代码目的是:在本地读取一个叫README.md的文件,通过Spark内存分析,计算字母“h”和字母“j”在文件中出现多少次。
运行代码
可能出现的错误:
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
原因是缺少了winutils.exe文件,这个而且没有设置HADOOP_HOME
1. 下载hadoop到本机并添加bin目录到环境变量
http://hadoop.apache.org/releases.html
2. 下载winutils.exe文件,下载后放到hadoop的bin目录下
IDEA下用SBT搭建Spark Helloworld相关推荐
- docker下,极速搭建spark集群(含hdfs集群)
搭建spark和hdfs的集群环境会消耗一些时间和精力,处于学习和开发阶段的同学关注的是spark应用的开发,他们希望整个环境能快速搭建好,从而尽快投入编码和调试,今天咱们就借助docker,极速搭建 ...
- SBT搭建Spark
http://www.cnblogs.com/yongjian/p/6211007.html http://www.aboutyun.com/thread-8587-1-1.html http://b ...
- idea spark java,IntelliJ Idea 搭建spark 开发环境
笔者介绍的是在MAC环境下使用Idea搭建spark环境. 环境: spark 2.0.0 scala 2.11.8 maven 3.9.9 idea 15 1.Idea的安装.Idea可以在官网上下 ...
- 如何使用intellij搭建spark开发环境(下)
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%B ...
- Spark在Windows下的环境搭建
本文转载自:http://blog.csdn.net/u011513853/article/details/52865076 由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态 ...
- 二、Spark在Windows下的环境搭建
由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar ...
- linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法
Spark编程环境 Spark 可以独立安装使用,也可以和Hadoop 一起安装使用.在安装 Spark 之前,首先确保你的电脑上已经安装了 Java 8 或者更高的版本. Spark 安装 访问 S ...
- PyCharm搭建Spark开发环境windows下安装pyspark
目录 windows下安装pyspark PyCharm搭建Spark开发环境 windows下安装pyspark spark和hadoop版本版本之间有对应关系 安装jdk 安装hadoop 下载 ...
- pythonspark安装_Spark学习笔记--Spark在Windows下的环境搭建
本文主要是讲解Spark在Windows环境是如何搭建的 一.JDK的安装 1.1 下载JDK 首先需要安装JDK,并且将环境变量配置好,如果已经安装了的老司机可以忽略.JDK(全称是JavaTM P ...
最新文章
- 解密 | OpenCV加载图像大小是有限制的 ?
- Java多线程系列--“基础篇”10之 线程优先级和守护线程
- c++17(2)-枚举类enum class
- step2 . day7 C语言阶段小的项目总结
- chart.js 饼图显示百分比_Excel制作华夫饼图,其实很简单
- php fpm子进程数配置,php-fpm进程管理方式以及子进程数量配置原则详解
- Linux cpu 占用率高问题查询
- docker 启动容器的时候没-p 后面怎么加-p_基于Docker搭建基础自动化部署
- Seinfeld(杭电3351)
- Codeforce 697A - Pineapple Incident
- ACM时间复杂度及算法的选择分析
- 计算机软件维护方法,计算机软件维护策略
- 干货合辑!Ms08067安全实验室2020年度盘点
- RSS阅读器FeedDemon使用方法
- 对物理量“角速度”与“波矢”的理解
- 激励人生成功的10句经典英文
- java I/O流
- unity打包xcode,在iOS11设备调试报错
- android控制板
- Android中实现一键分享功能
热门文章
- Mysql俩种表级锁
- 数据库原理与应用(SQL Server)笔记 第七章 流程控制语句、系统内置函数
- c语言中常用的预处理命令6,C语言的预处理命令
- 集群(二)——LVS-DR-Keepalived
- Java和C/C++程序实时通讯数据移植问题的研究
- 如何选一台好的中低端的笔记本电脑
- 前端如何实现音乐盒胶盘的转动_郑州Web前端入门教程之如何实现图片优化?
- matplotlib 中文_详解Matplotlib中文字符显示问题
- 搜索长度未知的有序数组java_java二分法实现在有序的数组中定位某数在数组中的位置...
- 按15分钟取数据_【数量技术宅|金融数据分析系列分享】套利策略的价差序列计算,恐怕没有你想的那么简单...