Spark源码学习之IDEA源码阅读环境搭建

2024-05-08 09:31:55

软件准备

（1）Java 1.8
（2）Scala 2.11.12（需要在IDEA中安装）
（3）Maven 3.8.2（需要在IDEA中配置）
（4）Git 2.33
以上软件需要安装好，并进行环境配置。

（5）spark 2.4.3 源码（官网可下载）

编译源码

（1）修改MAVEN_OPTS，增加Maven编译时内存的大小：

在Maven安装目录下找到bin/mvn.cmd文件，打开在文件中添加

MAVEN_OPTS="-Xmx2g -XX:MetaspaceSize=2G -XX:ReservedCodeCacheSize=2G"

（2）运行Git中的git-bash.exe，然后在相应的spark目录下直接执行如下命令，进行源码编译：（耗时较长）

$ > mvn -Pyarn -Phadoop-2.7 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive -DskipTests clean package

源码编译的结果如下：

搭建IDEA阅读环境

（1）在IDEA界面直接open刚刚编译的源码文件

（2）点击build开始构建（耗时较长）

（3）使用IDEA进行编译

①为Maven工具设置JVM参数，命令如下：

-XX:PermSize=2G

②在Maven面板中进行编译（耗时较长）

编译完成后的目标Jar文件存放在assembly/target/scala-2.11/jars目录下，将其添加到项目Example Module。添加步骤如下：

（4）运行Master和Worker（方便调试）
①点击IDEA的“Run -> Edit Confgurations”菜单，在弹出的界面中单击左上角的加号，先添加Master的运行环境配置如下：

添加完成后点击运行Master进程。

出现上图说明运行成功了，然后从上面蓝色的框可以看出Master启动于spark://172.18.224.1:7077地址，而它的WebUI启动于http://windows10.microdone.cn:8080地址。（windows10.microdone.cn即为172.18.224.1）
②点击IDEA的“Run -> Edit Confgurations”菜单，在弹出的界面中单击左上角的加号，先添加Worker的运行环境配置如下：

添加完成后点击运行Worker进程。
至此，已经完成了IDEA源码阅读环境的搭建

③查看Mater和Worker的WebUI界面

Mater的WebUI界面

Worker的WebUI界面

Spark源码学习之IDEA源码阅读环境搭建相关推荐

spring5.3.x源码阅读环境搭建
spring5.3.x源码阅读环境搭建-gradle构建编译文章目录 spring5.3.x源码阅读环境搭建-gradle构建编译一.依赖工具二.下载源码三.开始构建四.编译源码五.源码测 ...
ardupilot java_基于Eclipse IDE的Ardupilot飞控源码阅读环境搭建
基于Eclipse IDE的Ardupilot飞控源码阅读环境搭建作者:Awesome 日期:2017-10-21 需准备的软件工具 Ardupilot飞控源码 PX4 toolchain JAVA ...
4.2.10 Kafka源码剖析, 阅读环境搭建, broker启动流程, topic创建流程, Producer生产者流程, Consumer消费者流程,
目录 4.1 Kafka源码剖析之源码阅读环境搭建 4.1.1 安装配置Gradle 4.1.2 Scala的安装和配置 4.1.3 Idea配置 4.1.4 源码操作 4.2 Kafka源码剖析之B ...
Mybatis 源码阅读环境搭建
Mybatis源码阅读环境搭建前言一.下载mybatis的源码二.编译源码三.创建测试项目前言 mybatis源码阅读环境搭建还是比较简单的,接下来我们讲解一下如何搭建该源码阅读环境 ...
Spring Boot 2.0系列文章(四)：Spring Boot 2.0 源码阅读环境搭建
前提前几天面试的时候,被问过 Spring Boot 的自动配置源码怎么实现的,没看过源码的我只能投降��了. 这不,赶紧来补补了,所以才有了这篇文章的出现,Spring Boot 2. 0 源码阅 ...
Fuzz学习笔记（一）—— WinAFL环境搭建与基本使用
WinAFL学习笔记(一)-- WinAFL环境搭建环境配置安装步骤 1)安装git 2)安装CMake 3)编译dynamorio 编译32位编译64位 4)编译winafl 编译32位编译 ...
51单片机学习历程——硬件准备＆开发环境搭建
系列文章目录第一章 51单片机学习历程(1)--开发环境搭建第二章 51单片机学习历程(2)--建立新的工程第三章 51单片机学习历程(3)--点亮一颗LED 第四章 51单片机学习历程(4)- ...
好好学习天天编程—C语言之环境搭建（一）
好好学习天天编程-C语言之环境搭建(一) 一.安装Visual Studio 2010及以上版本二.搭建环境三.编写代码四.运行代码 Ctrl+F5 或者Ctrl+Fn+F5 如果界面不出来这 ...
深度学习图像识别：基础知识与环境搭建
深度学习图像识别:基础知识与环境搭建 1. 深度学习的基本原理什么是人工智能? 通过学习掌握了某中技能的机器,我们认为它具备了人工智能什么是深度学习? 深度学习的概念源于人工神经网络的研究: 含多 ...

最新文章

热门文章