在Windows上编译Spark源码
原文转自http://my.oschina.net/u/1452001/blog/344067?fromerr=1iS9kYnS
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。
首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz。
按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。
到Spark的root目录下,运行sbt package,这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)
第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包
上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。
实际测试
在本机(Windows 10)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。
首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.5.1。。
按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。
到Spark的root目录下,运行sbt package,这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)
第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.5.1-hadoop2.6.0.jar, spark-assembly_2.10-1.5.1.jar这两个jar包
在Windows上编译Spark源码相关推荐
- Windows上编译github源码方式运行Node-RED,以及离线迁移安装Node-RED
场景 Node-RED简介与Windows上安装.启动和运行示例: Node-RED简介与Windows上安装.启动和运行示例_BADAO_LIUMANG_QIZHI的博客-CSDN博客 上面是在Wi ...
- WINDOWS 下编译 ffmpeg 源码总结
WINDOWS 下编译 ffmpeg 源码,有两种方式:VC.GCC 1.VC 编译: https://github.com/ShiftMediaProject/FFVS-Project-Gene ...
- Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本
windows 下编译 hbase源码,报错 [ERROR] Command execution failed. java.io.IOException: Cannot run program &qu ...
- 在Windows和Linux上编译gRPC源码操作步骤(C++)
gRPC最新发布版本为v1.23.0,下面以此版本为例说明在Windows和Linux下编译过程. Windows7/10 vs2103编译gRPC源码操作步骤: 1. 需要本机已安装Git.CMak ...
- windows下载编译chromium源码
前言 chromium 源码的下载编译,真的就是如各位前辈说的一样,参考再完整的教程,还是会遇到各种各样的问题.因为每个人的开发环境是不一样的,网络环境也不一样. 一路参考各路大神的教程开始踩坑填坑的 ...
- 海思3559A上编译Valgrind源码操作步骤
注:按照以下步骤可以在海思板子上正常编译valgrind源码并生成valgrind可执行文件,但可能还不能在海思板子上正常使用. 1. 从http://valgrind.org/downloads/? ...
- 记一次失败的Windows环境编译Nginx源码
最近想学习下nginx的源码,之前在linux环境编译安装过多次,在windows环境还是第一次尝试,遇到了不少问题,记录一下.可惜的是编译成功后,在最后运行的时候还是会报错,如果有人遇到类似的问题希 ...
- windows下编译lua源码
http://blog.csdn.net/zjg555543/article/details/11814563 因为之前一直使用 lua for windows 来搭建lua的使用环境,但是最新的 l ...
- windows下编译pcl-master源码(带GPU)
参考博客 1.http://pointclouds.org/documentation/tutorials/compiling_pcl_windows.php#compiling-pcl-window ...
最新文章
- 如何将你在公有云环境中的漏洞找出来?
- ubuntu 启用root 并使用ssh登陆
- 中国研究的超级系统计算机,[公告]超级系统恢复--学习电脑 Book 3 V1.1
- Python+opencv 机器视觉 - 基于霍夫圈变换算法检测图像中的圆形实例演示
- python学习笔记四-列表
- Spring核心(ioc控制反转)
- mysql锁争用_关于MYSQL条件竞争与锁的问题
- ubuntu 搜狗安装搜狗输入法(fcitx)亲测有用
- [BZOJ 2500] 幸福的道路
- 手把手带你玩转Tensorflow 物体检测 API (3)——训练模型
- but was actually of type [com.sun.proxy.$Proxy13]
- hibernate缓存详解
- 红外遥控c语言,NEC协议红外遥控器
- 一篇不错的讲解Java异常的文章
- JAVA I/O基本操作
- 选择BI工具需注意什么
- 学术论文海报模板_推荐 | 绘制学术论文中的图表一般有哪些专业的软件?
- 2023最新SSM计算机毕业设计选题大全(附源码+LW)之java学生综合考评系统b8vlm
- 凌晨3点--- 给我一支烟
- Visual C++ 2010如何解决程序运行闪退问题
热门文章
- hdu 1286找新朋友 (简单数学题)
- C语言课后习题(14)
- 华为服务器型号命名,服务器的命名规则
- python socket自动重连_python之tcp自动重连
- 今晚8点直播丨经典知识库:数据库对象命名设计规范手册
- “我的国产数据库之路”征文活动——专访优秀作者彭冲
- 荐书送书丨《PostgreSQL实战》、《PostgreSQL修炼之道:从小工到专家(第2版)》...
- 从一个真实案例看性能差异问题处理方法论
- 深入解析:DBA_OBJECTS中的OBJECT_ID与DATA_OBJECT_ID的区别
- 招商银行周伟:Fintech数据开放平台之数据库军规和内功修炼(含PPT)