（1）安装----anaconda3下配置pyspark【单机】

1、确保已经安装jdk和anaconda3。【我安装的jdk为1.8，anaconda的python为3.6】

2、安装spark，到官网 http://spark.apache.org/downloads.html 上下载，我下载的是spark-2.3.1-bin-hadoop2.7.tgz。

　　（1）将上面的压缩包解压在一个文件夹下：注意存放的路径一定不能带空格，我存放在目录下E:\programs2\spark\spark-2.3.1-bin-hadoop2.7，然后将其加入环境变量中。

新建：SPARK_HOME = 'E:\programs2\spark\spark-2.3.1-bin-hadoop2.7'

在Path中添加：

%SPARK_HOME%\bin
%SPARK_HOME%\sbin

（2）配置anaconda的python环境变量：

新建 PYTHONPATH = %SPARK_HOME%\python\lib\py4j-0.10.7-src;%SPARK_HOME%\python\lib\pyspark

（3）将E:\programs2\spark\spark-2.3.1-bin-hadoop2.7\python\pyspark整个文件夹复制到Anaconda3\Lib\site-packages文件夹中。

（4）添加系统环境变量
变量名：PYSPARK_DRIVER_PYTHON；变量值：ipython
变量名：PYSPARK_DRIVER_PYTHON_OPTS；变量值：notebook

3、安装Hadoop

到官网上下载hadoop-2.7.3.tar.gz，然后解压缩在E:\programs2\hadoop\hadoop-2.7.3

并且还需winutils.exe，winutils.pdb等，可在https://github.com/srccodes/hadoop-common-2.2.0-bin下载，然后复制到目录为：E:\programs2\hadoop\hadoop-2.7.3\bin

添加环境变量 HADOOP_HOME = E:\programs2\hadoop\hadoop-2.7.3

在Path中添加：%HADOOP_HOME%\bin;%HADOOP%\sbin

4、确认是否安装成功

当输入命令pyspark出现界面时表明spark安装配置完成了，如果环境变量配置成功的话，直接把jupyter notebook打开。

参考：https://www.e-learn.cn/content/python/786199

转载于:https://www.cnblogs.com/Lee-yl/p/9759348.html

（1）安装----anaconda3下配置pyspark【单机】相关推荐

ubuntu16.04安装anaconda3并配置tensorflow（CPU）+sypder(亲测有效)
最近再学习<深度学习之TensorFlow:入门.原理与进阶实战>,需要搭建一个tensorflow的环境,准备先在笔记本上搭建一个cpu的环境,台式机上再搭建GPU的环境. 1.Anac ...
Windows下安装Anaconda3与配置
目录下载安装测试成功与否下载 Anaconda用来管理不同版本的Python环境,可以方便地安装.更新.卸载工具包,而且安装时能自动安装相应的依赖包.同时Anaconda自带很多常用软件包以及 ...
mysql front mac安装_Mac下配置安装数据库-MySQL
那么从今天开始陆续会更新数据库和Hibernate框架的博文,也是Himi学习的历程记录,希望大家能共同讨论和研究: OK,本篇简单介绍安装吧,首先到MySQL官方网站: http://www.mys ...
在ubuntu的anaconda安装tensorflow并配置spyder
环境: ubuntu16.04 anaconda3 1.创建一个名为tensorflow的虚拟环境,版本是python3.5的 conda create --name tensorflow pytho ...
Windows下超详细安装Anaconda3以及jupyter notebook
Anaconda是一个软件包管理器,一个环境管理器以及一个Python发行版,其中包含许多开源软件包的集合(numpy,scikit-learn,scipy,pandas等).如果在安装Anacond ...
Windows下配置单机Hadoop环境
Windows下配置单机Hadoop环境文章目录 Windows下配置单机Hadoop环境下载Hadoop 下载配置文件配置环境变量初始化HDFS 启动Hadoop 关闭Hadoop 常见错误 ...
tensorflow gpu python3.5_Win10+Anaconda3下tensorflow-gpu环境配置
Win10+Anaconda3下tensorflow-gpu环境配置基本环境操作系统window10-education 显卡 NIVIDA GETFORCE GTX 1050 安装Anacond ...
在Win10下安装Anaconda3，“开始”菜单目录下只有Anconda prompt怎么办
有些机器(通常是台式机)安装win10后,在此win10环境下安装python3.7版本的Anaconda3,安装完成了,系统环境变量也配置好了,查看"开始"菜单中的Anacond ...
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到 ...

（1）安装----anaconda3下配置pyspark【单机】

（1）安装----anaconda3下配置pyspark【单机】相关推荐

最新文章

热门文章