IDEA下使用maven配置Spark开发环境
IDEA下使用maven配置Spark开发环境
- 1、安装Java
- 2、配置环境变量
- 3、配置Hadoop环境
- 4、安装Scala插件
- 5、配置maven
- 4、Spark编程
- Spark测试
使用到的软件安装包: https://pan.baidu.com/s/1fOKsPYBmOUhHupT50_6yqQ 提取码: d473
1、安装Java
点击下一步,
点击下一步:
2、配置环境变量
环境变量设置:右键->我的电脑,选择属性
点击高级系统设置
点击环境变量:
点击新建:
变量名输入:JAVA_HOME
然后点击浏览目录,选择C盘下的C:\Program Files (x86)\Java\jdk1.8.0_301文件夹,点击打开即可
3、配置Hadoop环境
1、将hadoop-common-2.6.0-bin-master 拷贝到C盘目录下
2、将C:\ hadoop-common-2.6.0-bin-master\bin下的hadoop.dll文件和winutils.exe文件拷贝到C:\Windows\System32下,若有重复,不需要复制替换。
3、配置环境变量:
和配置Java的环境变量流程一样,配置Hadoop环境
重启电脑
4、安装Scala插件
选择Plugis
输入scala,点击install
重启IDEA
5、配置maven
输入Spark_Project
选择提供的maven安装包
选择apache-maven-3.6.1-bin\apache-maven-3.6.1\conf下的setting文件,并将Override打钩
点击pom文件,将提供的pom内容全部复制修改
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"><modelVersion>4.0.0</modelVersion><groupId>org.example</groupId><artifactId>untitled2</artifactId><version>1.0-SNAPSHOT</version><inceptionYear>2008</inceptionYear><properties><scala.version>2.11.8</scala.version></properties><repositories><repository><id>scala-tools.org</id><name>Scala-Tools Maven2 Repository</name><url>http://scala-tools.org/repo-releases</url></repository></repositories><pluginRepositories><pluginRepository><id>scala-tools.org</id><name>Scala-Tools Maven2 Repository</name><url>http://scala-tools.org/repo-releases</url></pluginRepository></pluginRepositories><dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>${scala.version}</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>3.8.1</version><scope>test</scope></dependency><dependency><groupId>org.specs</groupId><artifactId>specs</artifactId><version>1.2.5</version><scope>test</scope></dependency><!-- <dependency>--><!-- <groupId>org.apache.spark</groupId>--><!-- <artifactId>spark-core_2.11</artifactId>--><!-- <version>2.1.1</version>--><!-- <scope>provided</scope>--><!-- </dependency>--><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>2.1.1</version><scope>provided</scope></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.11</artifactId><version>2.1.1</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-0-10_2.11</artifactId><version>2.1.1</version></dependency></dependencies><build><sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src/test/scala</testSourceDirectory><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions><configuration><scalaVersion>${scala.version}</scalaVersion><args><arg>-target:jvm-1.5</arg></args></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-eclipse-plugin</artifactId><configuration><downloadSources>true</downloadSources><buildcommands><buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand></buildcommands><additionalProjectnatures><projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature></additionalProjectnatures><classpathContainers><classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer><classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer></classpathContainers></configuration></plugin></plugins></build><reporting><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><configuration><scalaVersion>${scala.version}</scalaVersion></configuration></plugin></plugins></reporting>
</project>
至此,环境配置完成,开始Spark编程。
4、Spark编程
1、删除test文件夹
创建Scala文件
选择Object选项,输入HelloWorld类
Scala测试完成!
Spark测试
Spark测试代码:
ackage org.exampleimport org.apache.spark.{SparkConf, SparkContext}object HelloWorld {def main(args: Array[String]) {val logFile = "hdfs://hadoop000:8020/hello.txt"val conf = new SparkConf().setAppName("Simple Application").setMaster("local") //.setMaster("local")val sc = new SparkContext(conf)val rdd = sc.textFile(logFile)val wordcount = rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).map(x => (x._2, x._1)).sortByKey(false).map(x => (x._2, x._1))println(wordcount)wordcount.saveAsTextFile("hdfs://hadoop000:8020/output")sc.stop()}
}
发现报错,原因是虚拟内存未配置,
输入:-Xms1024m
运行成功!
IDEA下使用maven配置Spark开发环境相关推荐
- IDEA2022 配置spark开发环境
本人强烈建议在 linux环境下 学习 spark!!! Introduction Apache Spark是一个快速且通用的分布式计算引擎,可以在大规模数据集上进行高效的数据处理,包括数据转换.数据 ...
- Intellij IDEA使用Maven搭建spark开发环境(scala)
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例. 1.准备工作 首先需要在你电脑上安装jdk和scala ...
- 【Python】Mac下Sublime Text3配置Python3开发环境
我采用的第二种方案 1 [Python]Mac下Sublime Text3配置Python3开发环境 https://blog.csdn.net/qq_33304418/article/details ...
- eclipse配置spark开发环境
前言 无论Windows 或Linux 操作系统,构建Spark 开发环境的思路一致,基于Eclipse 或Idea,通过Java.Scala 或Python 语言进行开发.安装之前需要提前准备好JD ...
- Spark:windows下配置spark开发环境
安装基本的开发环境 从spark官网下载spark,如spark-2.3.0-bin-hadoop2.7.tgz,解压并配置环境变量: 增加SPARK_HOME PATH中加入%SPARK_HOME% ...
- win10php环境配置教程,Windows10系统下如何去配置PHP开发环境
Windows下搭建(Apache+PHP+MySQL)=>WAMP Linux下搭建(Apache+PHP+MySQL) =>LAMP PHP开发环境配置一般有套件安装和自定义安装两种方 ...
- windows配置spark开发环境
声明:搭建过程中,会因为版本兼容问题,造成闪退等问题,以下是我自用的版本,如需其他版本,最好先查一下兼容问题 1.jdk-8u333-windows-x64下载链接 2.scala-2.13.10下载 ...
- 基于maven搭建spark开发环境
1 背景 需要开发spark 项目,开发语言为java 2 步骤 2.1 创建工程 创建maven工程,这个不在这篇文档论述 2.2 引入pom <properties><maven ...
- windows下用eclipse配置c++开发环境
主要是windows下安装MinGW编译环境以及Eclispse编辑器安装CDT,C/C++ Development Tools两大步骤 通过网上收集的资料 将最终成功的方法总结下 一:win7下安装 ...
最新文章
- 设备漏电对计算机影响,电脑机箱漏电对电脑有影响吗
- JQery遍历方法each
- PCM数据格式(转)
- LeetCode Integer to English Words(整数转化为英文字母)
- Oracle常用知识
- js大屏导出图片_整理了30个实用可视化大屏模板,附源文件+工具
- DNS 错误事件4000 4013
- php对帖子分类,php – MySQL:从类别中获取帖子
- 古风祥云PNG免抠素材,喜欢吗?
- View4.5测试参考文档1--测试环境规划
- [渝粤教育] 西南科技大学 管理学原理 在线考试复习资料(3)
- ams1117-3.3v电源稳压芯片低压差线性稳压器
- 博微JAVA面试_博微Java笔试题
- maven使用国内源和使用代理
- 数据清洗挑战Day1 | 手把手教你处理数据集中的缺失值
- 有向图和无向图转化为邻接表后链表中结点个数
- OA系统实施:理清OA需求很关键
- 使用AUI框架开发微信小程序
- 创造与魔法java语言_创造与魔法 | 最新魔法使用大全
- 正交频分复用中的正交问题
热门文章
- html5 win8风格站点,HTML5 Win8砖块样式的界面布局
- USB HUB(GL850G)电路
- linux获取窗口句柄,如何获取在winexec或shellexecute中执行的句柄?
- 使用cin时遇到的一些错误与解决
- python表白神器
- 《超级时间整理术》晨读笔记
- 计算机应用类专业综合知识理论,计算机应用专业综合理论
- 苹果官方付费升级内存_vivo超大福利惠及老用户,内存升级覆盖全国官方服务中心...
- 2022-2028全球与中国通用定时器继电器模块市场现状及未来发展趋势
- 保姆级NodeJS安装环境配置优化