用eclipse读spark源码

最近没有时间研究IDEA开发环境，相信也有很多人和我一样习惯使用eclipse开发环境，幸好spark源码提供了生成eclipse工程的插件。

当然首先你得下载Scala的eclipse插件，对于不同版本的eclipse环境，你要下载的Scala插件也有所不同。具体请参考这里对应你的eclipse版本。然后从spark的主页或者github主页下载spark的源码包（github上是最新的代码），你既然想看源码，还是编译一边源码比较好，所以建议选择较小的source包而不是prebuilt包。

编译：解压源码包之后进入SPARK_HOME目录，执行sbt/sbt命令，进入sbt控制界面，然后输入eclipse命令，等待若干时间，最后将生成spark项目中的每个子项目的eclipse工程配置，然后输入package命令将每个子项目打包，最后输入assembly命令生成assembly包。最后两步最好进行，因为生成之后你可以搭建spark集群。

导入：至此你可以导入spark的eclipse工程，文件->导入->常规->现有项目到工作空间中，选择spark的根目录即可导入成功。

之后你可以在eclipse中看到有很多个项目，最核心的项目是core项目，可以结合examples项目中的文件来看core中的代码。

用eclipse读spark源码相关推荐

Mac下使用Eclipse读java源码
Mac下java默认是没有附带源码的,到苹果开发者网站也没找到,就尝试了一下使用Window下的源码包,过程只需两步: 拷贝java在windows安装路径下的src.jar到你的Mac系统,在Max ...
Apache Spark源码走读（九）如何进行代码跟读使用Intellij idea调试Spark源码
<一>如何进行代码跟读概要今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读.众所周知,Spark使用scala进行开发,由于scala有众多的语法糖,很多时候代码跟着 ...
sparkcore分区_Spark学习：Spark源码和调优简介 Spark Core (二）
本文基于 Spark 2.4.4 版本的源码,试图分析其 Core 模块的部分实现原理,其中如有错误,请指正.为了简化论述,将部分细节放到了源码中作为注释,因此正文中是主要内容. 第一部分内容见: S ...
spark 源码分析 Blockmanager
原文链接参考, Spark源码分析之-Storage模块对于storage, 为何Spark需要storage模块?为了cache RDD Spark的特点就是可以将RDD cache在memo ...
spark 源码分析之十八 -- Spark存储体系剖析
本篇文章主要剖析BlockManager相关的类以及总结Spark底层存储体系. 总述先看 BlockManager相关类之间的关系如下: 我们从NettyRpcEnv 开始,做一下简单说明. Ne ...
Spark源码和调优简介 Spark Core
作者:calvinrzluo,腾讯 IEG 后台开发工程师本文基于 Spark 2.4.4 版本的源码,试图分析其 Core 模块的部分实现原理,其中如有错误,请指正.为了简化论述,将部分细节放到了 ...
Windows + IDEA + SBT 打造Spark源码阅读环境
Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上完成Spark平台应用的开发.因此,Spark源 ...
Spark源码分析之Sort-Based Shuffle读写流程
一概述我们知道Spark Shuffle机制总共有三种: # 未优化的Hash Shuffle:每一个ShuffleMapTask都会为每一个ReducerTask创建一个单独的文件,总的文件数是 ...
Spark源码剖析（一）：如何将spark源码导入到IDEA中
由于近期准备深入研究一下Spark的核心源码,所以开了这一系列用来记录自己研究spark源码的过程! 想要读源码,那么第一步肯定导入spark源码啦(笔者使用的是IntelliJ IDEA),在网上找 ...

用eclipse读spark源码

用eclipse读spark源码相关推荐

最新文章

热门文章