Ubuntu 16.04 Spark单机环境搭建
说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。
安装Java SE
1、下载JAVA SE linux版本。下载地址为:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
注意选择Linux版本,根据机器类型选择32位或者64位。
2、下载jdk-8u131-linux-x64.tar.gz后,解压到自己指定目录。
$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java
3、配置JAVA环境变量。
打开.bashrc文件。
$ nano ~/.bashrc
在.bashrc文件末尾增加如下内容:
export JAVA_HOME=/usr/lib/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
保存后退出,运行如下命令,使修改环境变量即可生效:
$ source ~/.bashrc
4、检测java是否成功安装。
$ java -version
java version "1.8.0_131"
如果显示了java安装的版本,则表示已正确安装,可以进行下一步了。
安装Scala
1、下载Scala的压缩文件。下载地址为:
http://www.scala-lang.org/download/
2、下载scala-2.12.2.tgz后,解压到指定的目录:
$ tar -zxvf scala-2.12.2.tgz -C /opt/scala/
3、配置scala环境变量。
打开.bashrc文件。
$ nano ~/.bashrc
在.bashrc文件末尾增加如下内容:
export SCALA_HOME=/opt/scala/scala-2.12.2
export PATH=${SCALA_HOME}/bin:$PATH
保存后退出,运行如下命令,使修改环境变量即可生效:
$ source ~/.bashrc
4、检测scala是否正确安装。
$ scala -version
Scala code runner version 2.12.2 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc
若显示如上信息,则表示scala已安装正确。
安装Spark
1、下载Spark的压缩文件。下载地址为:
http://spark.apache.org/downloads.html
2、下载spark-2.1.1-bin-hadoop2.7.tgz后,解压到指定的目录:
$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/spark/
3、配置scala环境变量。
打开.bashrc文件。
$ nano ~/.bashrc
在.bashrc文件末尾增加如下内容:
export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
保存后退出,运行如下命令,使修改环境变量即可生效:
$ source ~/.bashrc
4、检测spark是否正确安装。
$ spark-shell
如果出现如下界面,则表示spark已正确安装:
安装sbt
1、下载Spark的压缩文件。下载地址为:
http://www.scala-sbt.org/download.html
2、下载sbt-0.13.15.tgz后,解压到指定的目录:
$ tar -zxvf sbt-0.13.15.tgz -C /opt/scala/sbt/
3、配置sbt环境变量。
打开.bashrc文件。
$ nano ~/.bashrc
在.bashrc文件末尾增加如下内容:
export SBT_HOME=/opt/scala/sbt
export PATH=${SBT_HOME}/bin:$PATH
保存后退出,运行如下命令,使修改环境变量即可生效:
$ source ~/.bashrc
4、建立启动sbt的脚本。
$ mkdir /opt/scala/sbt/
$ cd /opt/scala/sbt/
$ touch sbt
脚本内容如下,注意sbt-launch.jar的路径
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"
修改sbt文件的权限
$ chmod u+x sbt
5、检测sbt是否正确安装。
$ sbt sbt-version
[info] 0.13.15
第一次执行的时候会下载很多东西,不用管它,后来就好了。
如果出现sbt的版本信息就表示安装成功。
至此,Linux下Spark单机环境已经成功搭建完毕!
Ubuntu 16.04 Spark单机环境搭建相关推荐
- ubuntu 16.04 php 开发环境搭建
ubuntu 16.04 php 开发环境搭建 mysql sudo apt install -y mysql-server mysql-client php 5.6 sudo add-apt-rep ...
- nodejs实践录:ubuntu 16.04系统nodejs环境搭建
本文讲述ubuntu 16.04 64bit系统中,nodejs环境的搭建. 安装 此章节已失效 此章节已失效 更新源,命令如下: sudo apt-get update sudo apt-get i ...
- 在Ubuntu 16.04.3 LTS上搭建Go语言环境实录
1.安装 sudo apt-get install golang-go 目前go的最新版本是1.9.2,但是在Ubuntu 16.04上采用预编译好的包安装的话,只能是go 1.6.x版本. 安装完成 ...
- ubuntu 16.04 LTS 开发环境的安装及常用软件
Ubuntu 16.04 LTS版本安装完成后自带有常用的谷歌,Firefox浏览器以及一些常用的办公软件,但是这远远不能满足作为一个编程爱好者对于开发环境和工具的需求,为此总结一些这段时间的使用心得 ...
- Ubuntu 16.04 配置 multi-agent-emergence-environments 环境
1 目标 配置 Emergent Tool Use from Multi-Agent Interaction 博客所使用的环境. 2 使用环境 Ubuntu 16.04 + VMware Workst ...
- 在Ubuntu 16.04.3 LTS上搭建QUIC交互demo
目的 本文依据参考文献中的资料,来利用chromium源码编译出quic_server和quic_client, 并依靠它们来发送QUIC协议请求,了解QUIC交互的细节. 前提 必须能够流畅地翻墙下 ...
- [ubuntu 14.04] android 编译环境搭建
最近想学习下自己搭建编译安卓源码的服务器.安装了ubuntu 14.04 64位桌面版操作系统. 我下载的是 jdk1.7.0_71版本的. 下面安装参考:http://www.cnblogs.com ...
- Ubuntu 18.04 go语言环境搭建
来源:微信公众号「编程学习基地」 文章目录 简介 下载go安装包 环境配置 添加环境变量 第一个go语言程序 go入门学习 简介 go语言是一种开源的.语法精简的静态编程语言,它的开源社区比较庞大,应 ...
- 大数据Spark系列之Spark单机环境搭建
1. 下载spark与scala Spark下载地址 http://mirrors.hust.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoo ...
最新文章
- Auto ML自动调参
- 阿里云天池大赛赛题解析――深度学习篇
- ANDROID调用webservice带soapheader验证
- android中的屏幕单位介绍
- 北理珠计算机学院罗晓莹,北理珠的“程序猿”们勇夺全国大奖!
- 正态性检验方法——K-S检验和S-W检验
- java skip函数_Rxjava skip
- 【数据挖掘】二手车交易价格预测(三)数据分析
- 5G牌照今日发放!!!
- Opencv imread读取图片结果一直为空
- 工业大数据应用技术国家工程实验室
- 记一次lumen直接删除migration文件踩的坑
- hadoop之hdfs的shell命令操作
- 过360云查杀vc++代码
- QT+OpenGL模型加载 - Assimp
- 巨头们的短视频梦,做到哪了?
- 【Python】实现M行N列的矩阵转置
- 社会工程学在网络***中的应用与防范
- 后台任务和PHP-Resque的使用
- Scratch软件编程等级考试一级——20220619
热门文章
- 参数cluster_interconnect详细介绍
- Python中的字符串操作总结(Python3.6.1版本)
- mysql服务器的HA集群之corosync+drbd+pacemaker实现 上
- NYOJ 685 查找字符串 字典树
- Hadoop的NameNode与SecondaryNameNode,DataNode
- 使用QSerialport读取串口数据并处理
- 使用numpy与matplotlib.pyplot画图
- linux 网络编程 2---(TCP编程)
- JavaScript学习笔记之数组(二)
- RabbitMQ headers Exchange