2019独角兽企业重金招聘Python工程师标准>>>

apache 网站上面已经有了已经构建好了的版本,我这里还是自己利用午休时间重新构建一下(jdk,python,scala的安装就省略了,自己可以去安装)

http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可以去这里

我下载的是http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgz源码包

下载对应的linux服务器上面,然后解压

wget http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgztar zxf spark-1.0.1.tgz
cd spark-1.0.1

我们可以大概的ls浏览一下目录中有哪些文件,心中有个数

如果想要构建对应的安装包,apache已经为我们提供了一个构建脚本make-distribution.sh(也可以自己去参考官方提供的文档http://spark.apache.org/docs/latest/building-with-maven.html 不过脚本里面都给我们封装好了)

可以查看下脚本,里面肯定有介绍怎么用,看到下面这一段

# Optional Arguments
#      --tgz: Additionally creates spark-$VERSION-bin.tar.gz
#      --hadoop VERSION: Builds against specified version of Hadoop.
#      --with-yarn: Enables support for Hadoop YARN.
#      --with-hive: Enable support for reading Hive tables.
#      --name: A moniker for the release target. Defaults to the Hadoop verison.

下面我们开始执行构建命令

sh make-distribution.sh --hadoop 2.2.0 --with-yarn --with-hive --tgz

漫长的等待......

公司网络真慢,maven下载一些依赖要下老半天,人家午休都睡醒了,我还在呆呆的看着屏幕在滚...

不是一般的坑爹,中间网络断了几次导致maven下载jar失败,重试了几次,最后终于成功了,容易么

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Spark Project Parent POM .......................... SUCCESS [8.214s]
[INFO] Spark Project Core ................................ SUCCESS [17:02.599s]
[INFO] Spark Project Bagel ............................... SUCCESS [3:59.860s]
[INFO] Spark Project GraphX .............................. SUCCESS [3:19.409s]
[INFO] Spark Project ML Library .......................... SUCCESS [4:58.597s]
[INFO] Spark Project Streaming ........................... SUCCESS [5:04.713s]
[INFO] Spark Project Tools ............................... SUCCESS [1:15.190s]
[INFO] Spark Project Catalyst ............................ SUCCESS [3:44.361s]
[INFO] Spark Project SQL ................................. SUCCESS [3:29.240s]
[INFO] Spark Project Hive ................................ SUCCESS [8:23.878s]
[INFO] Spark Project REPL ................................ SUCCESS [3:39.937s]
[INFO] Spark Project YARN Parent POM ..................... SUCCESS [14.723s]
[INFO] Spark Project YARN Stable API ..................... SUCCESS [1:54.831s]
[INFO] Spark Project Assembly ............................ SUCCESS [2:10.078s]
[INFO] Spark Project External Twitter .................... SUCCESS [3:02.286s]
[INFO] Spark Project External Kafka ...................... SUCCESS [1:49.284s]
[INFO] Spark Project External Flume ...................... SUCCESS [1:24.960s]
[INFO] Spark Project External ZeroMQ ..................... SUCCESS [1:08.075s]
[INFO] Spark Project External MQTT ....................... SUCCESS [58.880s]
[INFO] Spark Project Examples ............................ SUCCESS [9:48.584s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1:17:40.063s
[INFO] Finished at: Wed Jul 23 03:22:57 PDT 2014
[INFO] Final Memory: 43M/393M
[INFO] ------------------------------------------------------------------------

花了一个多小时,真受不了,下面再来看下构建成功后多出了什么

在spark根目录下面会多出一个 spark-1.0.1-bin-2.2.0.tgz的文件,这也就是我们需要部署到其他机器的文件,

完成。

转载于:https://my.oschina.net/heartdong/blog/294120

Spark 1.0.1源码安装相关推荐

  1. ZABIX5.0.7源码安装详细过程

    ZABIX5.0.7源码安装详细过程 Zabbix5.0源码安装文档 一:Linux初始设置 关闭selinux vi /etc/selinux/config SELINUX=disabled 关闭网 ...

  2. 在 CentOS 7.0 上源码安装 Xen 4.5

    上周 CentOS 7.0 正式版发布了,Xen4CentOS 项目还没来得及更新支持 CentOS 7.0,所以目前要在 CentOS 7.0 上玩 Xen 的唯一办法只有编译源代码了.貌似这次 C ...

  3. .net framework 4.0安装_R4.0的源码安装——以mac为例

    装了一堆东西回来,已经忘了最初要做的是啥. 太长不看版 其实就是缺什么安装什么.每个人情况可能都不太一样.对于我的mac上,如下: configure之前需要安装: gcc xz pcre2 安装方法 ...

  4. Pure-Ftpd-1.0.49源码安装

    下载源码 pure-ftpd源码链接 安装 #将源码文件pure-ftpd-1.0.49.tar.gz放到/usr/local/src文件夹下 #解压 tar -zxvf pure-ftpd-1.0. ...

  5. 米酷影视v7.0.4源码+安装教程

    简介: 1.优化幻灯采集 2.优化首页和列表页采集 3.修复尝鲜分页尾页问题 4.增加虎牙直播 5.修复历史记录标题过长换行问题 6.修复弹窗公告移动端样式 7.修复综艺播放页猜你喜欢不显示爱奇艺图片 ...

  6. MySQL-8.0.12源码安装实例

    1.通过官网下载对应的版本后,通过FTP上传至云服务器的/usr/local/src 目录 2.解压缩文件 [root@JSH-01 src]# ls mysql-boost-8.0.12.tar.g ...

  7. Fedora25下源码安装Xen4.8

    小论文的实验需要去修改xen的源代码.因此,需要搭建xen的环境,由于需要修改源代码,因此在构建环境的时候必须从源码安装开始.电脑很早之前装了个Fedora21,平时都是师兄在用,发现系统已经被更新成 ...

  8. centos 6.8 源码安装 erlang/otp 19.0.2

    2019独角兽企业重金招聘Python工程师标准>>> 最近一直都是在debian jessie下开发erlang代码,但部署环境一直都是在centos 6上面,发现centos 6 ...

  9. glib 2.0 arm linux,glib源码安装使用方法

    glib库是GTK+和GNOME工程的基础底层核心程序库,是一个综合用途的实用的轻量级的C程序库,它提供C语言的常用的数据结构的定义.相关的处理函数,有趣而实用的宏,可移植的封装和一些运行时机能,如事 ...

最新文章

  1. 关于JQuery中的ajax请求或者post请求的回调方法中的操作执行或者变量修改没反映的问题...
  2. 一种不会导致资源泄露的“终止”线程的方法
  3. (原創) 如何將編譯結果,統一放在一個目錄下? (SOC) (Quartus II)
  4. 安装mysql 5.5.14 报错
  5. Jakarta Commons Logging学习笔记
  6. Natasha 4.0 探索之路系列(二) 「域」与插件
  7. python randint什么分布_python随机数分布random测试
  8. magento 删除所有用户订单 delete order customer
  9. optional java_使用Java时查看Optional数据类型和一些反模式
  10. 广工 2013 c语言 试卷,广工2013-5-30、6-25概率论c试卷答案.doc
  11. 文件服务器软件_使用Home FTP Server在电脑之间传文件
  12. centos安装pip失败:No package pip available.
  13. 扩展欧几里得算法及其简单应用
  14. java实现irr滤波器_IIR巴特沃斯滤波器实现(ccs iir)
  15. c programe language learn notes 1
  16. uniapp实现app跳转app
  17. 力扣算法——78_子集
  18. WPS以及它的两种方式PIN与PBC的理解
  19. window内置对象和js内置对象与方法
  20. 数据结构——左倾红黑树

热门文章

  1. 服务器根没有web文件系统,Web服务器
  2. inventor中齿条怎么画_渐开线齿轮是怎么回事,图解6种齿轮加工工艺
  3. 行星齿轮设计_行星减速机内部结构图与传动原理
  4. python如何搭建环境_Python基础环境如何搭建
  5. 未来教育计算机二级答案19,2019年3月计算机二级MSOffice提分试题及答案019
  6. java stream Interface Collector<T,A,R>
  7. Spring mvc配置文件
  8. docker 与宿主共享文件
  9. matplotlib.pyplot.figure
  10. freecplus框架-PostgreSQL数据库操作