如何在Windows环境下使用PyCharm开发PySpark

1.安装Python环境
Windows搭建python环境请参考
2.安装Spark环境
官网下载spark并解压
3.配置Windows环境

HADOOP_HOME:D:\bigdata\hadoop-2.8.4
SPARK_HOME:D:\bigdata\spark-2.3.1-bin-hadoop2.7
PATH:%SPARK_HOME%\bin;%HADOOP_HOME%\bin;

4.配置PySpark环境

将spark目录 D:\bigdata\spark-2.3.1-bin-hadoop2.7\jars 下的 py4j-0.10.6.jar 解压
将解压后的 py4j文件放到 python 目录 D:\Python36\Lib\site-packages 下

5.下载安装PyCharm(如何破解)
现在就可以使用PyCharm进行开发了,但是在pycharm中，pyspark ， SparkConf 和 SparkContext 会有红色波浪线，而且也没有spark的代码智能提示、补全等，极不方便，如下方法可以解决：

点击File->Settings，在左侧导航栏找到自己的项目，点击 Project Structure ，在面板右侧，点击 Add Content Root ，将spark目录 D:\bigdata\spark-2.3.1-bin-hadoop2.7\python\lib 下的 pyspark.zip 的文件添加进项目中，即可解决红色波浪线及智能提示补全问题

写一个简单的WordCount：

from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster('local[4]').setAppName('test')
sc = SparkContext(conf=conf)
sc.setLogLevel("ERROR")
data = sc.textFile("D:\PySpark\data\words")
lines = data.flatMap(lambda line: line.split(','))
words = lines.map(lambda word: (word, 1))
words.reduceByKey(lambda x, y: x + y).foreach(print)
sc.stop()

忽然报错了：

ModuleNotFoundError: No module named 'py4j'

解决方法：

点击PyCharm左下角的Terminal，然后 pip install py4j

再次运行结果：

('a', 3)
('b', 1)
('c', 2)
('d', 2)

6.如何在集群中提交编写好的代码

spark-submit --master yarn --deploy-mode cluster --queue q1 --num-executors 1 wordcount.py

只需要把该py文件上传服务器再执行上面提交命令即可，相比起java或scala需要把代码打成jar包来说python更加简单

如何在Windows环境下使用PyCharm开发PySpark相关推荐

如何在 Windows 环境下配置 PHP 开发运行环境
我们都知道 PHP 运行需要的环境通常被称为 AMP. 其中 A 是 Apache 应用服务器,M 是 Mysql,P 就是 PHP 了. 实际上,很多人可能会使用一个测试 Mysql,但是针对一些小 ...
第二课如何在WINDOWS环境下搭建以太坊开发环境
[本文目标] 根据本文指导,可以在WINDOUWS环境下完成以太坊智能合约部署前的比较环境准备. [技术收获] 如何在WINDOW(笔者以WINDOWS 10为例)环境搭建以太坊开发环境,按照以下安装 ...
windows环境下搭建rabbitMQ开发环境
2019独角兽企业重金招聘Python工程师标准>>> windows环境下搭建rabbitMQ开发环境 1.下载与安装 erlang rabbitmq 是使用erlang语言开发的 ...
在Windows环境下搭建Android开发环境
标题:在Windows环境下搭建 Android 开发环境作者:CrazyPebble 时间:2011年2月28日声明:此文在参考其他网上资料以及笔者实践总结写下,一来自己可以做一些总结,二来给跟 ...
如何在Windows环境下的VS中安装使用Google Protobuf完成SOCKET通信
http://blog.csdn.net/whuancai/article/details/11994341 如何在Windows环境下的VS中安装使用Google Protobuf完成SOCKET通 ...
铂链第1课如何在WINDOWS操作系统下搭建BOTTOS开发环境
1. 文章摘要铂链(Bottos)是国内首个基于区块链技术的数据共享.AI模型共享生态一站式应用平台,是实现将数据和模型通过点对点网络进行登记发行.转让交易的去中心化网络共享协议. [本文目标] 辉 ...
第一课如何在WINDOWS环境下搭建以太坊开发环境
目录:https://blog.csdn.net/qq_40452317/article/details/90270046 [本文目标] 根据本文指导,可以在WINDOUWS环境下完成以太坊智能合约部 ...
如何在Windows环境下快速搭建Web服务器并发布网页
1. 环境说明本案例基于Windows Server 2012环境进行搭建,其他Windows系统可参考配置. 2. 配置实现 1)开启 Windows 下程序和功能,如下图所示(红框中所有功能): ...
windows环境下搭建python开发环境的方法_windows下python开发环境的搭建
首先我们来安装python 1.首先进入网站下载:点击打开链接(或自己输入网址https://www.python.org/downloads/),进入之后如下图,选择图中红色圈中区域进行下载. im ...

如何在Windows环境下使用PyCharm开发PySpark

如何在Windows环境下使用PyCharm开发PySpark相关推荐

最新文章

热门文章