apache-spark导入eclipse环境

工作中用到了apache-spark，想深入了解一下，决定从源码开始。

先导入到常用的ide，eclipse吧：

准备工作

　1. 下载Eclipse：http://scala-ide.org/

　2. 从github上下载源码：https://github.com/apache/spark

第一个实验品是Spark-Core项目

　　1. exist maven project 导入Eclipse

　　2. Eclipse自动导入依赖，这个过程时间较长，请等待

　　完成后，发现报错：

　　spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。

　　原因：版本不一致

Scala IDE uses Scala 2.11.7
Apache Spark built with Scala 2.10

解决方法：

　　选中scala libary container [2.11.7]，点击右键，选中属性--->classpath container -->2.10 bundle.

　　此时重新编译，编译完成ok，没有报错。

参考文献：

【1】https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup

【2】http://stackoverflow.com/questions/34507966/spark-build-path-is-cross-compiled-with-an-incompatible-version-of-scala-2-10-0

【3】http://blog.csdn.net/yunlong34574/article/details/39213503

转载于:https://www.cnblogs.com/davidwang456/p/5135338.html

apache-spark导入eclipse环境相关推荐

Apache Spark学习：利用Eclipse构建Spark集成开发环境
介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上, 介绍如何利用Eclipse构建Spark集成开发环境 . 不建议大家使用eclips ...
Apache Spark源码阅读环境搭建
文章目录 1 下载源码 2 导入项目 3 新建文件 4 Debug JavaWordCount 4.1 搜索JavaWordCount 4.2 修改参数 4.3 Debug 遇到的报错 1 未设置Ma ...
win10 spark+scala+eclipse+sbt 安装配置
转载请务必注明原创地址为:http://dongkelun.com/2018/03/... 1.首先安装配置jdk1.8以上,建议全部的安装路径不要有空格 2.安装spark 2.1 下载下载地址: ...
Spark 在 Window 环境下的搭建
1.java/scala的安装 - 安装JDK 下载: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2 ...
Tomcat8源码编译及导入Eclipse中研究
最近因为需求需要修改Tomcat中的某些功能,无奈只能研究那部分源码然后稍作修改. 目前Tomcat最新版是8.0,下载了源码包,编译并导入Eclipse中研究比较方便. 1. Tomcat8源码编译 ...
Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
新手福利：Apache Spark 入门攻略
时至今日,Spark 已成为大数据领域最火的一个开源项目,具备高性能.易于使用等特性.然而作为一个年轻的开源项目,其使用上存在的挑战亦不可为不大,这里为大家分享 SciSpike 软件架构师 Ashw ...
solr源码导入eclipse
转载自:http://blog.csdn.net/vltic/article/details/19917377 (1)相应的开发环境准备 (1)jdk1.6+的安装和环境变量配置(命 ...
Spark IDEA 编程环境配置
文章目录 1. 下载资料准备 2. 建立项目.添加环境设置 3. 第一个 Spark 程序学自:Spark机器学习实战 https://book.douban.com/subject/3528041 ...

apache-spark导入eclipse环境

apache-spark导入eclipse环境相关推荐

最新文章

热门文章