安装SBT环境运行Scala项目
介绍2种spark安装方式
通过docker的方式安装
下载docker文件
https://gitee.com/pingfanrenbiji/docker-spark
docker-compose up
该docker-comose 编排了2个spark docker 一个是master 一个worker
worker依赖于master
访问spark页面
http://localhost:8080/
通过源码方式安装
spark源码
https://gitee.com/pingfanrenbiji/spark
spark是基于scala语言开发的 所以需要安装stb环境 类似于maven、graddle jar包资源管理工具
先来一个简单的demo来安装下sbt环境
下载相关资源包
https://gitee.com/pingfanrenbiji/resource/tree/master/stb
解sbt压缩包
sbt/conf/ 目录下有两个配置文件 sbtconfig.txt 仅适用于 Windows 平台而 sbtopts 仅适用于 Mac/Linux 平台
配置sbt环境变量
#当前用户vim ~/.bash_profile
export SBT_HOME=/Users/mengfanxiao/Documents/third_software/spark/sbtexport PATH=$PATH:$SBT_HOME/bin
source ~/.bash_profile
#所有用户sudo vim /etc/profile source /etc/profile
Mac系统的环境变量
加载顺序为:/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc
/etc/profile和/etc/paths是系统级别的,系统启动就会加载
后面几个是当前用户级的环境变量
后面3个按照从前往后的顺序读取
如果/.bash_profile文件存在,则后面的几个文件就会被忽略不读了
如果/.bash_profile文件不存在,才会以此类推读取后面的文件
~/.bashrc没有上述规则,它是bash shell打开的时候载入的。
创建国内资源库配置
mkdir ~/.sbt
vim ~/.sbt/repositories
文件内容:[repositories]localhuaweicloud-maven: https://repo.huaweicloud.com/repository/maven/maven-central: https://repo1.maven.org/maven2/sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
设置所有项目均使用全局仓库配置,忽略项目自身仓库配置
vim sbt/conf/sbtopts添加一行-Dsbt.override.build.repos=true
添加资源库配置
vim sbt/conf/sbtopts添加一行-Dsbt.repository.config=/Users/mengfanxiao/.sbt/repositories
运行hello-scala
demo源码下载下来
配置stb版本号1.3.0版本
由于SBT 1.3.0包含了多项性能提升,如果是已有的本地项目,请手动将项目的SBT构建版本改成1.3.0
vim project/build.propertiessbt.version = 1.3.0
执行stb安装相关依赖并进入stb命令行
sbt
第一次进入 sbt shell 时,由于需要下载相关依赖,大概需要几十秒时间,第二次及以后进入 sbt shell 会很快
检查当前项目的SBT构建版本是否为1.3.0
sbtVersion
确认全局仓库是否已经覆盖项目自身仓库
show overrideBuildResolvers
确认仓库列表是否与 ~/.sbt/repositories/ 文件一致
查看SBT本地缓存
确认一下是否从国内仓库下载依赖。针对不同的操作系统,对应的缓存路径如下:
Windows缓存路径是 /%LOCALAPPDATA%\Coursier\Cache\v1/
即如果用户名是mengfanxiao,则完整路径是 /C:\Users\mengfanxiao\AppData\Local\Coursier\Cache\v1/
Linux缓存路径为 /~/.cache/coursier/v1/
Mac缓存路径为 ~/Library/Caches/Coursier/v1
编辑和运行程序
compilerun
就是run的这个main方法
后记
既然学会了如何运行scala项目 那么下一篇咱们运行下spark看看
时候不早了 要去上班了哦
安装SBT环境运行Scala项目相关推荐
- Visual Studio 2019 安装并创建运行C++项目
Visual Studio 2019 安装并创建运行C++项目 一.安装Visual Studio 2019 在官网下载社区版本的VS2019: https://visualstudio.micros ...
- CentOS 安装 laradock 以及运行 Laravel 项目
Docker 官方文档 https://docs.docker.com/install/linux/dock... Laradock 官方文档 https://laradock.io/getting- ...
- java环境安装完毕,运行web项目报javax annotation managedbean unsup错误
原因是java的jdk(jdk1.6)版本跟Tomcate(6.0)版本不对应,小编采取的是换了tomcate版本
- node安装与环境搭建 + VUE项目搭建
一.node环境安装 1.node下载 node.js官网地址:Node.js LTS:表示稳定版 一般用于生产环境,重点在于稳定,如果你需要稳定性并拥有复杂的生产环境(例如中型或大型企业),建议使 ...
- Docker环境运行SpringBoot项目
1. 打包Jar 将Spring Boot工程打包成Jar,在工程根目录下执行命令 mvn package 随后,在target目录下生成一份 my-server.jar 2. 创建Dockerfil ...
- Docker环境运行Vue项目
1. 打包VUE工程 在vue工程根目录下,执行打包命令 npm run build 随后将生成 dist文件夹,里面的内容就是打包后的文件 2. 创建Nginx配置文件 在vue工程根目录下,创建文 ...
- scala安装及环境配置
Scala 是 Scalable Language 的简写,是一门多范式的编程语言,一种类似java的编程语言.scala设计初衷是实现可伸缩的语言.并集成面向对象编程和函数式编程的各种特性. S ...
- linux上运行项目,发布项目到 Linux 上运行 Core 项目
目录索引 简介 ASP.Net Core 给我们带来的最大的亮点就是跨平台,我在我电脑(win7)上用虚拟机建了个 CentOS7 ,来演示下,我们windows上的项目如何发布项目到Linux上运行 ...
- sbt介绍与构建Scala项目
一.sbt简介 sbt是类似ANT.MAVEN的构建工具,全称为Simple build tool,是Scala事实上的标准构建工具. 主要特性: 原生支持编译Scala代码和与诸多Scala测试框架 ...
最新文章
- 论文《城市大脑的定义与建设规范探讨》在IEEE(ICBAIE)发表
- [译] React 路由和 React 组件的爱恨情仇
- 直方图均衡算法及结合自动色阶的改进
- mysql两个表查询修改_MySQL:查询、修改(二)
- Java:对象的强、软、弱和虚引用
- 形成性考核(计算机应用基础) 答案,2019年最新电大《计算机应用基础(Win7)》形成性考核册及答案.pdf...
- 云时代下,移动云揭秘数据库“新解”
- 机器学习笔记(6):多类逻辑回归-使用gluon
- 算法竞赛学习资源整理
- 报错:The following signatures couldn‘t be verified because the public key is not available: NO_PUBKEY
- 用枚举法实现工厂模型
- Luogu2572 [SCOI2010]序列操作
- linux编译安装libxml2,libxml2的编译与安装
- k近邻算法_机器学习 第38集:k近邻算法k值过小和过大有什么危害?k值如何选取?( 含有笔记、代码、注释 )...
- 批量图片格式转化——gif转换为jpg、png
- python等高线绘制_用matplotlib画等高线图详解
- 《全国青少年软件编程等级考试》2021年3月C语言一级真题(含答案)
- 苹果手机怎么清除缓存_手机里的文件如何彻底删除?教你清除缓存的方法
- google 搜索十大搜索技巧和实用小技巧
- 代码排错和避免错误的正确姿势