在Windows上build Spark
2019独角兽企业重金招聘Python工程师标准>>>
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。
首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz。
按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。
到Spark的root目录下,运行sbt package,这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)
第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包
上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。
转载于:https://my.oschina.net/u/1452001/blog/344067
在Windows上build Spark相关推荐
- 【吐血经验】在 windows 上安装 spark 遇到的一些坑 | 避坑指南
在 windows 上安装 spark 遇到的一些坑 | 避坑指南 最近有个活:给了我一个阿里云桌面(windows 10系统),让我在上面用 scala + spark 写一些东西. 总是报错不断, ...
- 在Windows上编译Spark源码
原文转自http://my.oschina.net/u/1452001/blog/344067?fromerr=1iS9kYnS 在本机(Windows 8)上安装spark玩一玩,Spark的Qui ...
- 安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
这两天花了点时间重装了win 10,必要的开发常用工具如IDE Idea以及运行spark等任务需要的hadoop本地依赖环境重新配起来,记录下简要步骤和几个小问题希望能给正在学习的小伙伴一点帮助. ...
- 在Windows上运行Spark程序
一.下载Saprk程序 https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 解压到d:\spark-2.1.1-bi ...
- 在阿里云Serverless K8S集群上部署Spark任务并连接OSS(详细步骤)
在阿里云ASK集群上部署Spark任务并连接OSS 简介 ASK是阿里云的一个产品,属于Serverless Kubernetes 集群,这次实验是要在ASK集群上运行Spark计算任务(以WordC ...
- Windows平台搭建Spark开发环境(Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8)
在开始之前,需要说明的是 要跑通基本的wordcount程序,是不需要在windows上安装 hadoop 和spark的,因为idea在跑程序的时候,会按照 pom.xml配置文件,从指定的 rep ...
- Jenkins简介及在Windows上的简单使用示例
Jenkins是一款开源CI(Continuous Integration,持续集成)&CD(Continuous Delivery,持续交付)软件,用于自动化各种任务,包括构建.测试和部署软 ...
- Windows上也能用Swift编程了,官方编译工具安装包现已上线
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 最近,Swift发行了5.3版本,这意味着它可以直接在Windows 10上使用了. 由于Swift是苹果开发的一门编程语言,能在Ubunt ...
- mscoreei.dll没有被指定在windows上运行_在Windows上使用Docker运行.NetCore
今天我们来说下如何在windows下使用docker运行.net core,既然是docker,那么我们首先得在windows上安装docker. 在Windows安装 docker 有两种选择 : ...
最新文章
- Notification和KVO有什么不同
- 倍增LCA NOIP2013 货车运输
- python中元组的使用_Python当中tuple元组的使用
- 【面试虐菜】—— JAVA面试题(3)
- 五天带你学完《计算机网络》·第五天·网络层(下)
- GitLab CI/CD
- 【nyoj 270】数的分解(统计因子模板)
- 遍历文件夹并移动其中所有的文件
- 发展光伏产业 破解大气污染之困
- python是什么类型的编程语言-python是什么编程语言
- 计算机应用技术头像,意大利科学家应用计算机技术进行头像复原
- Google CFO 的辞职信(引用)
- [Python从零到壹] 五十八.图像增强及运算篇之图像锐化Sobel、Laplacian算子实现边缘检测
- OpenAI 强化学习 SpiningUP 中文文档 中文教程
- 当往日悄然走远,只留下清澈的心
- 科技云报道:都想当中国VMware,但用户体验拉平了吗?
- (翻译)测试替身— Fakes, Mocks 和 Stubs
- orge_src版编译与安装
- NLP之文本分类:「Tf-Idf、Word2Vec和BERT」三种模型比较
- 使用友盟社会化分享IOS版SDK分享纯图片到微信
热门文章
- python exe enter退出,Python程序退出处理程序(atexit)
- mpython 直接访问_python -mSimpleHTTPServer 开启一个简单的http服务器,可传输文件
- create报错不是函数_各种SQL中关于日期函数的那些事(建议收藏)
- 小程序文本框为空自动填写_微信免费转码机器人!小程序自动转码!
- 后渗透后门_TheFatRat:Msfvenom傻瓜化,小白也可以学渗透
- c语言中0xof423什么意思,C语言指针 百思不得其解的一个问题
- 安卓学习笔记38:利用OpenGL ES绘制旋转立方体
- 《天天数学》连载01:一月一日
- QT中让窗口屏幕居中的方法
- 【BZOJ3289】Mato的文件管理,莫队+树状数组