Spark 1.0.1源码安装
2019独角兽企业重金招聘Python工程师标准>>>
apache 网站上面已经有了已经构建好了的版本,我这里还是自己利用午休时间重新构建一下(jdk,python,scala的安装就省略了,自己可以去安装)
http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可以去这里
我下载的是http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgz源码包
下载对应的linux服务器上面,然后解压
wget http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgztar zxf spark-1.0.1.tgz
cd spark-1.0.1
我们可以大概的ls浏览一下目录中有哪些文件,心中有个数
如果想要构建对应的安装包,apache已经为我们提供了一个构建脚本make-distribution.sh(也可以自己去参考官方提供的文档http://spark.apache.org/docs/latest/building-with-maven.html 不过脚本里面都给我们封装好了)
可以查看下脚本,里面肯定有介绍怎么用,看到下面这一段
# Optional Arguments
# --tgz: Additionally creates spark-$VERSION-bin.tar.gz
# --hadoop VERSION: Builds against specified version of Hadoop.
# --with-yarn: Enables support for Hadoop YARN.
# --with-hive: Enable support for reading Hive tables.
# --name: A moniker for the release target. Defaults to the Hadoop verison.
下面我们开始执行构建命令
sh make-distribution.sh --hadoop 2.2.0 --with-yarn --with-hive --tgz
漫长的等待......
公司网络真慢,maven下载一些依赖要下老半天,人家午休都睡醒了,我还在呆呆的看着屏幕在滚...
不是一般的坑爹,中间网络断了几次导致maven下载jar失败,重试了几次,最后终于成功了,容易么
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Spark Project Parent POM .......................... SUCCESS [8.214s]
[INFO] Spark Project Core ................................ SUCCESS [17:02.599s]
[INFO] Spark Project Bagel ............................... SUCCESS [3:59.860s]
[INFO] Spark Project GraphX .............................. SUCCESS [3:19.409s]
[INFO] Spark Project ML Library .......................... SUCCESS [4:58.597s]
[INFO] Spark Project Streaming ........................... SUCCESS [5:04.713s]
[INFO] Spark Project Tools ............................... SUCCESS [1:15.190s]
[INFO] Spark Project Catalyst ............................ SUCCESS [3:44.361s]
[INFO] Spark Project SQL ................................. SUCCESS [3:29.240s]
[INFO] Spark Project Hive ................................ SUCCESS [8:23.878s]
[INFO] Spark Project REPL ................................ SUCCESS [3:39.937s]
[INFO] Spark Project YARN Parent POM ..................... SUCCESS [14.723s]
[INFO] Spark Project YARN Stable API ..................... SUCCESS [1:54.831s]
[INFO] Spark Project Assembly ............................ SUCCESS [2:10.078s]
[INFO] Spark Project External Twitter .................... SUCCESS [3:02.286s]
[INFO] Spark Project External Kafka ...................... SUCCESS [1:49.284s]
[INFO] Spark Project External Flume ...................... SUCCESS [1:24.960s]
[INFO] Spark Project External ZeroMQ ..................... SUCCESS [1:08.075s]
[INFO] Spark Project External MQTT ....................... SUCCESS [58.880s]
[INFO] Spark Project Examples ............................ SUCCESS [9:48.584s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1:17:40.063s
[INFO] Finished at: Wed Jul 23 03:22:57 PDT 2014
[INFO] Final Memory: 43M/393M
[INFO] ------------------------------------------------------------------------
花了一个多小时,真受不了,下面再来看下构建成功后多出了什么
在spark根目录下面会多出一个 spark-1.0.1-bin-2.2.0.tgz的文件,这也就是我们需要部署到其他机器的文件,
完成。
转载于:https://my.oschina.net/heartdong/blog/294120
Spark 1.0.1源码安装相关推荐
- ZABIX5.0.7源码安装详细过程
ZABIX5.0.7源码安装详细过程 Zabbix5.0源码安装文档 一:Linux初始设置 关闭selinux vi /etc/selinux/config SELINUX=disabled 关闭网 ...
- 在 CentOS 7.0 上源码安装 Xen 4.5
上周 CentOS 7.0 正式版发布了,Xen4CentOS 项目还没来得及更新支持 CentOS 7.0,所以目前要在 CentOS 7.0 上玩 Xen 的唯一办法只有编译源代码了.貌似这次 C ...
- .net framework 4.0安装_R4.0的源码安装——以mac为例
装了一堆东西回来,已经忘了最初要做的是啥. 太长不看版 其实就是缺什么安装什么.每个人情况可能都不太一样.对于我的mac上,如下: configure之前需要安装: gcc xz pcre2 安装方法 ...
- Pure-Ftpd-1.0.49源码安装
下载源码 pure-ftpd源码链接 安装 #将源码文件pure-ftpd-1.0.49.tar.gz放到/usr/local/src文件夹下 #解压 tar -zxvf pure-ftpd-1.0. ...
- 米酷影视v7.0.4源码+安装教程
简介: 1.优化幻灯采集 2.优化首页和列表页采集 3.修复尝鲜分页尾页问题 4.增加虎牙直播 5.修复历史记录标题过长换行问题 6.修复弹窗公告移动端样式 7.修复综艺播放页猜你喜欢不显示爱奇艺图片 ...
- MySQL-8.0.12源码安装实例
1.通过官网下载对应的版本后,通过FTP上传至云服务器的/usr/local/src 目录 2.解压缩文件 [root@JSH-01 src]# ls mysql-boost-8.0.12.tar.g ...
- Fedora25下源码安装Xen4.8
小论文的实验需要去修改xen的源代码.因此,需要搭建xen的环境,由于需要修改源代码,因此在构建环境的时候必须从源码安装开始.电脑很早之前装了个Fedora21,平时都是师兄在用,发现系统已经被更新成 ...
- centos 6.8 源码安装 erlang/otp 19.0.2
2019独角兽企业重金招聘Python工程师标准>>> 最近一直都是在debian jessie下开发erlang代码,但部署环境一直都是在centos 6上面,发现centos 6 ...
- glib 2.0 arm linux,glib源码安装使用方法
glib库是GTK+和GNOME工程的基础底层核心程序库,是一个综合用途的实用的轻量级的C程序库,它提供C语言的常用的数据结构的定义.相关的处理函数,有趣而实用的宏,可移植的封装和一些运行时机能,如事 ...
最新文章
- 关于JQuery中的ajax请求或者post请求的回调方法中的操作执行或者变量修改没反映的问题...
- 一种不会导致资源泄露的“终止”线程的方法
- (原創) 如何將編譯結果,統一放在一個目錄下? (SOC) (Quartus II)
- 安装mysql 5.5.14 报错
- Jakarta Commons Logging学习笔记
- Natasha 4.0 探索之路系列(二) 「域」与插件
- python randint什么分布_python随机数分布random测试
- magento 删除所有用户订单 delete order customer
- optional java_使用Java时查看Optional数据类型和一些反模式
- 广工 2013 c语言 试卷,广工2013-5-30、6-25概率论c试卷答案.doc
- 文件服务器软件_使用Home FTP Server在电脑之间传文件
- centos安装pip失败:No package pip available.
- 扩展欧几里得算法及其简单应用
- java实现irr滤波器_IIR巴特沃斯滤波器实现(ccs iir)
- c programe language learn notes 1
- uniapp实现app跳转app
- 力扣算法——78_子集
- WPS以及它的两种方式PIN与PBC的理解
- window内置对象和js内置对象与方法
- 数据结构——左倾红黑树
热门文章
- 服务器根没有web文件系统,Web服务器
- inventor中齿条怎么画_渐开线齿轮是怎么回事,图解6种齿轮加工工艺
- 行星齿轮设计_行星减速机内部结构图与传动原理
- python如何搭建环境_Python基础环境如何搭建
- 未来教育计算机二级答案19,2019年3月计算机二级MSOffice提分试题及答案019
- java stream Interface Collector<T,A,R>
- Spring mvc配置文件
- docker 与宿主共享文件
- matplotlib.pyplot.figure
- freecplus框架-PostgreSQL数据库操作