Spark源码打包编译的过程

前言

上篇文章介绍了下安装sbt环境启动scala项目

安装SBT环境运行Scala项目

为什么要弄这个因为我本来是想对spark源码编译部署

spark是用scala语言编译的

spark源码

https://gitee.com/pingfanrenbiji/spark

spark提供的编译方式

编译的前提是将所有的依赖包都下载下来

而资源包管理方式有maven、graddle、sbt等

maven方式

将maven资源库修改为阿里云资源库

配置方式

方式1

方式2

<repositories>    <repository>        <id>aliyun</id>        <url>https://maven.aliyun.com/repository/public</url>        <releases>            <enabled>true</enabled>        </releases>        <snapshots>            <enabled>false</enabled>        </snapshots>    </repository></repositories>

如果你只是配置了repositories,那么你会发现在mvn在下载依赖的时候,一部分从阿里云下载,一部分还是从默认的仓库（https://repo.maven.apache.org ）下载
只有项目本身的依赖，走了aliyun这个repository，maven命令需要的插件（比如clean、install都是maven的插件），走的还是默认的repository

方式3

在maven setting文件中

 <mirrors>  <mirror>     <id>nexus-aliyun</id>     <mirrorOf>central</mirrorOf>       <name>Nexus aliyun</name>     <url>http://maven.aliyun.com/nexus/content/groups/public</url>    </mirror> </mirrors>

maven编译打包

mvn -DskipTests clean package

sbt方式

这样下载依赖包的速度超级慢

原因是从https://repo1.maven.org/maven2/这个国外的资源库网站下载的

那么类似于maven 准备换成国内的资源库

国内资源库配置方法

上面文章介绍的是配置的华为的国内资源库

这里配置下阿里的国内资源库

vim ~/.sbt/repositories

[repositories]aliyun-maven-repo: https://maven.aliyun.com/repository/publicaliyun-nexus: https://maven.aliyun.com/nexus/content/groups/public/typesafe: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnlymaven-centralsonatype-oss-releasessonatype-oss-snapshotsivy-sbt-plugin: https://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]

检验配置的国内资源库是否生效

mkdir testcd testsbtshow fullResolvers

可以看到配置的阿里云资源库已经生效了

既然sbt资源库下载已经换成了国内的资源库了

那么试试吧

咦！怎么还是repo1.maven.org

接下来说一下我努力挣扎的过程反正结果以失败而告终最后先放弃

Spark源码打包编译的过程相关推荐

mvn 打包_Spark源码打包编译的过程
前言上篇文章介绍了下安装sbt环境启动scala项目安装SBT环境运行Scala项目为什么要弄这个因为我本来是想对spark源码编译部署 spark是用scala语言编译的 spark源码 ...
Spark源码阅读——任务提交过程
2019独角兽企业重金招聘Python工程师标准>>> Spark 源码阅读--任务提交过程当我们在使用spark编写mr作业是,最后都要涉及到调用reduce,foreach或者 ...
Spark源码的编译过程详细解读(各版本)（博主推荐）
本文转自大数据躺过的坑博客园博客,原文链接:xxxxx,如需转载请自行联系原作者说在前面的话重新试多几次.编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,按ctrl+c,重 ...
初步了解mac下C源码的编译过程
初步了解mac下C源码的编译过程参考: 请问Mac OS X (10.9.1)下创建和使用动态链接库的方法 cc.gcc.g++.CC的区别概括 - 今晚打酱油_ - 博客园 Linux 下的 c ...
在Windows上编译Spark源码
原文转自http://my.oschina.net/u/1452001/blog/344067?fromerr=1iS9kYnS 在本机(Windows 8)上安装spark玩一玩,Spark的Qui ...
spark的java源码,Spark源码包的编译
Spark源码包的编译和部署生成,其本质只有两种:Maven和SBT (Simple Build Tool), 只不过针对不同的场景而已: Maven编译 SBT编译 IntelliJ IDEA编译( ...
Spark笔记整理（一）：spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
[TOC] spark单机安装部署 1.安装scala 解压:tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名:mv scala-2.10.5/ scala 配置 ...
Android 编译过程介绍，Android.mk 和 Android.bp 分析，在源码中编译 AndroidStudio 构建的 App
目录一.Android 编译 1. 编译流程 2. Soong 介绍 3. build.sh 二.Android.mk 解析三.Android.bp 解析 1. 模块类型 2. 模块属性四.An ...
v57.02 鸿蒙内核源码分析(编译过程) | 简单案例说透中间过程 | 百篇博客分析HarmonyOS源码
子畏于匡,颜渊后.子曰:"吾以女为死矣."曰:"子在,回何敢死?" <论语>:先进篇百篇博客系列篇.本篇为: v57.xx 鸿蒙内核源码分析(编译 ...