Ubuntu 配置 spark

下载文件：

Jdk: jdk-8u181-linux-x64.tar.gz

Scala: scala-2.11.8.tgz

Spark: spark-2.3.1-bin-hadoop2.7.tgz

Anaconda:Anaconda3-4.3.1-Linux-x86_64.sh

安装jdk/scala/spark：

sudo mkdir /usr/lib/jdk

sudo mkdir /usr/lib/scala

sudo mkdir /usr/lib/spark

cd ~/下载

sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/lib/jdk

sudo tar -zxvf scala-2.11.8.tgz -C /usr/lib/scala

sudo tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /usr/lib/sparksudo vim /etc/profile

export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

export SCALA_HOME=/usr/lib/scala/scala-2.11.8
export PATH=${SCALA_HOME}/bin:$PATH

export SPARK_HOME=/usr/lib/spark/spark-2.3.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH

export PYTHONPATH=/usr/lib/spark/spark-2.3.1-bin-hadoop2.7/python:/usr/bin/pythonexport PYSPARK_DRIVER_PYTHON="ipython"

cd /usr/lib/spark/spark-2.3.1-bin-hadoop2.7/python/lib

unzip -d ../ ./py4j-0.10.7-src.zip

转载于:https://www.cnblogs.com/Conco/p/9571480.html

Ubuntu 配置 spark相关推荐

# Ubuntu 配置自带vnc桌面共享
Ubuntu 配置自带桌面共享 1.在setting>>shareing>>remote 选择on 如果用ubunutu直接远程连接的话已经可以了, 2.在ubuntu下使用系 ...
Ubuntu搭建Spark运行环境
前言因为之前研究的方向是分布式系统,重点放在了Hadoop分布式文件系统上.现如今,社会对机器学习的需求势如破竹.为了调整研究方向,而且不抛弃原本的研究成果,研究反向便从分布式系统转为分布式机器学习 ...
Ubuntu 配置 Android 开发环境
. 果断换Ubuntu了, Ubuntu的截图效果不好, 不能设置阴影 ... 作者 : 万境绝尘转载请注明出处 : http://blog.csdn.net/shulianghan/article ...
ubuntu 配置网络
Ubuntu配置和修改IP地址 1.修改配置文件/etc/network/interfaces root@ubuntu:~# sudo gedit /etc/network/interfaces 添加 ...
linux ubuntu 安装samba ftp nfs tftp,Ubuntu配置TFTP和NFS和samba服务配置.doc
Ubuntu配置TFTP和NFS和samba服务配置配置tftp服务的步骤: 1.安装相关软件包:tftpd(服务端),tftp(客户端),xinetd sudo apt-get install t ...
Ubuntu配置上位机Blackfin开发环境手记
Ubuntu配置上位机Blackfin开发环境手记 -------- 本文档适合使用Ctrl+F 搜索关键字 -------------- -------- It's more convenient ...
Idea配置spark环境及编写scala代码
由于之前在往上没有找到比较好的关于IDEA配置spark环境,现在分享一下 1.打开IDEA create New Project 2.创建项目,如下图所示 3.配置maven文件,即使你本地没有sp ...
Centos/ubuntu配置SVN服务
Centos安装svn yum -y install subversion ubuntu安装svn apt-get install subversion Centos配置svn root@hello: ...
ubuntu 配置ftp server(zz)
ubuntu 配置 ftp server 安装vsftpd sudo apt-get install vsftpd # vsftp(Very Secure FTP)是一种在Unix/Linux中非常安 ...

Ubuntu 配置 spark

Ubuntu 配置 spark相关推荐

最新文章

热门文章