PyCharm搭建Spark开发环境windows下安装pyspark

windows下安装pyspark

spark和hadoop版本版本之间有对应关系

安装jdk

安装hadoop

下载
hadoop-2.7.7.tar.gz
配置环境变量
不再演示
下载winutils.exe

https://github.com/steveloughran/winutils

选择对应的hadoop版本下载

复制winutils.exe到安装好的hadoop的bin目录下

安装spark

下载spark-2.4.6-bin-hadoop2.7.tgz

配置环境变量

安装Anaconda3.7

国内下载和安装配置

配置环境变量
复制py4j和pyspark

将D:\spark-2.4.6-bin-hadoop2.7\python\lib下两个包（pyspark.zip，py4j.zip）解压缩后拷贝到D:\Anaconda\libsite-packages目录下,然后全部替换

测试

打开cmd输入pyspark

输入语句

sc.parallelize(["b", "a", "c"]).collect()

PyCharm搭建Spark开发环境

上一标题是前提

在pycharm中随便建一个python文件
配置

PYSPARK_PYTHON：python路径
SPARK_HOME:spark路径

测试程序

from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAppName("myapp")
sc = SparkContext(conf=conf)
print(sc.parallelize([1, 2, 3]).collect())

PyCharm搭建Spark开发环境windows下安装pyspark相关推荐

如何使用intellij搭建spark开发环境（下）
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%B ...
PyCharm搭建Spark开发环境
1.安装好JDK 下载并安装好jdk-12.0.1_windows-x64_bin.exe,配置环境变量: 新建系统变量JAVA_HOME,值为Java安装路径新建系统变量CLASSPATH,值为 ...
如何使用IntelliJ IDEA搭建spark开发环境（上）
本文部分转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB ...
搭建Spark开发环境并完成wordcount示例
一.搭建Spark开发环境流程 1.安装eclipse,我这里用的是集成环境,解压就能用.(包含了scala环境) 安装包传送门: 2.导入相关的jar包 Jar包传送门: 具体操作: (1)装上以上 ...
idea搭建spark开发环境完整版（windows）
利用intellij idea 搭建spark开发环境(windows) 本文配置所有环境 Win10 企业版2016长期服务版 Jdk1.8.0.131 Hadoop2.7.3 Spark2.2.0 ...
Intellij IDEA使用Maven搭建spark开发环境（scala）
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例. 1.准备工作首先需要在你电脑上安装jdk和scala ...
PyCharm搭建Python开发环境
PyCharm搭建Python开发环境 PyCharm搭建Python开发环境 Python安装 PyCharm下载 PyCharm安装创建hello world示例进行环境测试 PyCharm搭建 ...
Intellij搭建spark开发环境
spark怎么学习呢?在一无所知的前提下,首先去官网快速了解一下spark是干什么的,官网在此.然后,安装开发环境,从wordcount开始学习.第三,上手以后可以学习其他算法了.最后,不要放弃,继续 ...
idea spark java,IntelliJ Idea 搭建spark 开发环境
笔者介绍的是在MAC环境下使用Idea搭建spark环境. 环境: spark 2.0.0 scala 2.11.8 maven 3.9.9 idea 15 1.Idea的安装.Idea可以在官网上下 ...

PyCharm搭建Spark开发环境windows下安装pyspark

目录

windows下安装pyspark

PyCharm搭建Spark开发环境

PyCharm搭建Spark开发环境windows下安装pyspark相关推荐

最新文章

热门文章