Ubuntu 下PySpark安装

操作系统：Ubuntu20.04
所需软件： Java 8 +，Python 3.5 +, Scala 2.11.12+

安装Java 8

  sudo apt-get updatesudo apt-get install openjdk-8-jdkjava -version

安装scala

sudo wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.deb
sudo dpkg -i scala-2.12.8.deb
scala -version

安装pip
```
sudo apt-get install pip
```
安装py4j
```
sudo pip install py4j
```
安装Python3.6
默认情况下，Ubuntu20.04附带了Python2.7和Python3.5，如果没有附带或者想要安装最新python3.6，可以使用"deadsnakes"团队PPA，它为Ubuntu打包了最新Python版本
```
 sudo add-apt-repository ppa:deadsnakes/ppasudo apt updatesudo apt install python3.6
```

安装spark

sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz

编辑系统变量

vim ~/.bashrc

SPARK_HOME路径视自己安装路径决定。

export SPARK_HOME=/opt/module/spark-2.4.8-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH

source ~/.bashrc

启动pyspark
```
pyspark
```

文章转载于：链接
作者：Congqing He

Ubuntu 下PySpark安装相关推荐

ubuntu下如何安装两个版本OpenCV？
本文首发于微信公众号「3D视觉工坊」--ubuntu下如何安装两个版本OpenCV? 前言由于在VSLAM技术研究过程中,经常会涉及OpenCV不同版本在ubuntu系统下的安装.因此小凡在此简单总 ...
Ubuntu下Python安装了依赖包后仍然找不到包 python setup.py install 解决方案
Ubuntu下Python安装了依赖包后仍然找不到包 python setup.py install 解决方案参考文章: (1)Ubuntu下Python安装了依赖包后仍然找不到包 python s ...
Geant4在Ubuntu下的安装教程
Geant4在Ubuntu下的安装教程 Geant4是欧洲核子中心(CERN)开发的一款粒子输运模拟软件,使用蒙特卡洛(Monte carlo)算法,特长领域是高能物理.核物理等,如光子中子的辐射屏蔽 ...
Ubuntu下软件安装的方法（配图解）
Ubuntu下软件安装的方法 1.APP Store安装 1.)双击Ubuntu软件 2.)可以选择软件安装 2.Sudo apt-get install 安装法我们以安装git为例 1.打开终端 ...
ubuntu下手动安装gnome插件
ubuntu下手动安装gnome插件 // 下载环境 sudo apt-get install chrome-gnome-shell sudo apt install gnome-shell gnom ...
Ubuntu下pip安装CPU版PaddlePaddle
Ubuntu下pip安装CPU版PaddlePaddle Ubuntu下pip安装cpu版PaddlePaddle安装过程记录虚拟机连不上网(NAT) 更改下载源更改sources.list So ...
Ubuntu下升级安装gcc-7.5.0
Ubuntu16.04 手动升级gcc版本 1.首先下载压缩包 Index of /gnu/gcc/gcc-7.5.0http://ftp.gnu.org/gnu/gcc/gcc-7.5.0/2.具体 ...
转载ubuntu下codeblocks安装及汉化教程
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/aniuge008/article/de ...
Ubuntu下为安装的软件创建启动图标并添加到开始菜单
Ubuntu下为安装的软件创建启动图标并添加到开始菜单 linux操作系统,如果用apt-get命令安装软件,往往会自带启动图标,但是很多时候自己安装的软件没有自动生成这样的图标,要自己手动创建图标快 ...

Ubuntu 下PySpark安装

Ubuntu 下PySpark安装相关推荐

最新文章

热门文章