【原创】搭建spark环境中的坑及解决办法

一、在搭建好环境之后如果在安装了 spark-1.6-bin-without-hadoop (spark.apache.org/download) 之后，在python 中 “import pyspark” 会报“no module named pyspark” 错误。

解决办法：

在本地使用spark之前，需要在~/.bash_profile 中增加两个环境变量：SPARK_HOME 以及必知的PYTHONPATH

export SPARK_HOME=/Users/abc/Documents/spark-1.6.0-bin-without－hadoop ＃这是spark 的安装路径

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

转载于:https://www.cnblogs.com/liyangqiu/p/7987316.html

【原创】搭建spark环境中的坑及解决办法相关推荐

有关阿里云服务器ping不通解决办法（云服务器搭建完环境访问不了ip解决办法）
阿里云服务器ping不通解决办法(云服务器搭建完环境访问不了ip解决办法) 问题:这里的服务器我以阿里云为例,学生套餐嘛,便宜,最近搞服务器,然后Ubuntu16.04下搭建LAMP环境后发现输入ip ...
oracle错误oui 25031,搭建Oracle10gRAC过程中出现OUI-25031的解决办法
OS 版本是:Enterprise Linux Enterprise Linux Server release 5.4DB 版本是:Oracle Database 10g Enterprise Edi ...
解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；
项目场景: idea中搭建spark环境报错:Unable to fetch table student. Invalid method name: 'get_table_req'; 问题描述 Una ...
pycharm搭建spark环境
2019独角兽企业重金招聘Python工程师标准>>> pycharm搭建spark环境安装python环境 windows下有安装包,自行下载安装即可安装spark环境官网下 ...
基于hadoop搭建Spark环境
基于hadoop搭建Spark环境需要准备的东西 1. 准备一个配置好的hadoop,master虚拟机 2. 下载下面的三个文件 3. jdk-8u181-linux-x64.tar.gz 4. ...
探讨：在Mac新系统下安装新版XAMPP过程中遇到到的坑以及解决办法
探讨:在Mac新系统下安装新版XAMPP过程中遇到到的坑以及解决办法简介 XAMPP安装 XAMPP 是个啥? 安装XAMPP 新版问题:IP地址访问不再是localhost 操作问题:apache ...
Python 爬虫中国知网论文过程中遇到的坑及解决办法
假期,老师给布置了 Python 爬虫中国知网论文的任务,目前实现了登录和搜索功能,先写一下遇到的坑和解决办法吧. Python 爬虫中国知网论文过程中遇到的坑及解决办法一. selenium 模块 ...
linux eclipse乱码,Eclipse项目中乱码问题的解决办法
一.产生的原因: 1.Http协议进行通信的时候是基于请求和响应的,传输的内容我们称之为报文! 2.Http协议会按照一定的规则将报文编码,然后在读取的时候再使用响应的解码格式进行解码! 3.这个一定 ...
lxml 中没有etree的解决办法
lxml 中没有etree的解决办法环境 : win10 python 3.6.5 cmd : pip install lxml==4.2.1 python >>>import l ...

【原创】搭建spark环境中的坑及解决办法

【原创】搭建spark环境中的坑及解决办法相关推荐

最新文章

热门文章