pycharm搭建spark环境

2019独角兽企业重金招聘Python工程师标准>>>

pycharm搭建spark环境

安装python环境
windows下有安装包，自行下载安装即可

安装spark环境

官网下载 spark-2.3.1-bin-hadoop2.7 包，解压即可

配置

HADOOP_HOME:D:\softwares\Java\hadoop-2.7.7
SPARK_HOME:D:\softwares\Java\spark-2.3.1-bin-hadoop2.7
PATH:%SPARK_HOME%\bin;%HADOOP_HOME%\bin;

配置python-spark环境
- 将spark目录 D:\softwares\Java\spark-2.3.1-bin-hadoop2.7\python\lib 下的 py4j-0.10.7-src.zip 解压
- 将解压后的 py4j 放到 python 目录 D:\softwares\Java\Python36\Lib\site-packages 下
- 提示：python 和 spark 的安装目录自行替换

下载安装pycharm

创建项目

创建python文件，内容如下：

from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster('local').setAppName('JackManWu')
sc = SparkContext(conf=conf)
lines = sc.textFile("D:\softwares\Java\spark-2.3.1-bin-hadoop2.7\README.md")
print(lines.count())

点击run运行，结果如下：

2018-08-20 17:30:13 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2018-08-20 17:30:15 WARN  Utils:66 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
103

运行是没有问题，但是在pycharm中，pyspark ， SparkConf 和 SparkContext 会有红色波浪线，而且也没有spark的代码智能提示、补全等，极不方便，如下方法可以解决：
- 点击File->Settings，在左侧导航栏找到自己的项目，点击 Project Structure ，在面板右侧，点击 Add Content Root ，将spark目录 D:\softwares\Java\spark-2.3.1-bin-hadoop2.7\python\lib 下的 pyspark.zip 的文件添加进项目中，即可解决红色波浪线及智能提示补全问题。

转载于:https://my.oschina.net/u/3163032/blog/1930971

pycharm搭建spark环境相关推荐

PyCharm搭建Spark开发环境windows下安装pyspark
目录 windows下安装pyspark PyCharm搭建Spark开发环境 windows下安装pyspark spark和hadoop版本版本之间有对应关系安装jdk 安装hadoop 下载 ...
解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；
项目场景: idea中搭建spark环境报错:Unable to fetch table student. Invalid method name: 'get_table_req'; 问题描述 Una ...
基于hadoop搭建Spark环境
基于hadoop搭建Spark环境需要准备的东西 1. 准备一个配置好的hadoop,master虚拟机 2. 下载下面的三个文件 3. jdk-8u181-linux-x64.tar.gz 4. ...
PyCharm搭建Spark开发环境
1.安装好JDK 下载并安装好jdk-12.0.1_windows-x64_bin.exe,配置环境变量: 新建系统变量JAVA_HOME,值为Java安装路径新建系统变量CLASSPATH,值为 ...
【原创】搭建spark环境中的坑及解决办法
一.在搭建好环境之后如果在安装了 spark-1.6-bin-without-hadoop (spark.apache.org/download) 之后,在python 中 "import ...
【Mac OS】Anaconda+PyCharm搭建PyTorch环境
初衷,小编开始学PyTorch. PyTorch是一个Python包/库: PyCharm是一个Python开发工具/编辑器: Anaconda是一个Python管理工具(Python.各种Pytho ...
在PyCharm搭建Python环境+Anaconda配置
图1 话不多说,先上一幅图,这是已经安装好的Python软件,正在跑CNN(用的是TensorFlow,以后会详细讲解该环境的安装).OK,现在我们正式来安装PyCharm+Anaconda,具体步骤 ...
【原创】搭建spark环境二
我在Windows7系统安装了虚拟机,通过虚拟机安装了Ubuntu13.04,我设置的主机与虚拟机的连接方式是桥接,安装好后,发现虚拟机ping不通主机,但是主机可以ping通虚拟机. 我的操作是:关 ...
idea spark java,IntelliJ Idea 搭建spark 开发环境
笔者介绍的是在MAC环境下使用Idea搭建spark环境. 环境: spark 2.0.0 scala 2.11.8 maven 3.9.9 idea 15 1.Idea的安装.Idea可以在官网上下 ...

pycharm搭建spark环境

pycharm搭建spark环境

pycharm搭建spark环境相关推荐

最新文章

热门文章