idea_pyspark 环境配置

本文转载自：https://www.cnblogs.com/LazyJoJo/p/6910504.html

1、配置好Hadoop和spark

2、配置好Pytho3.5

3、安装py4j

　　pip3 install py4j

4、idea 中添加Python插件

file->setting->editor->plugins

右边搜索框中搜索Python，下载插件

5、下载完后，重启软件，建立Python项目，导入pyspark的包文件

导入步骤：file->project Structure->modules->右边栏中点dependencies->点添加->将"spark/python" 添加进去

6、test:

from pyspark.sql import SparkSession
if __name__ == "__main__":spark = SparkSession \.builder \.master("local") \.appName("PythonWordCount") \.getOrCreate()data = spark.read.csv("/lab/data/2/02singleentry.csv")data.show(10)spark.stop()

7、目前观察不能读取本地的数据，只能读取HDFS上的数据

转载于:https://www.cnblogs.com/wpcnblog/p/8046364.html

idea_pyspark 环境配置相关推荐

QT5.3 + vs2012 + box2d环境配置
安装vs 和 qt 下载vs 2012,傻瓜式安装,但安装时间可能比较长.(其中一定选择"Visual C++"选项) 下载Qt 5.3,选择适合自己电脑的版本下载安装,我选的是q ...
YOLOv4 资源环境配置和测试样例效果
YOLOv4 资源环境配置和测试样例效果基本环境:cuda=10.0,cudnn>=7.0, opencv>=2.4 一.下载yolov4 git clone https://githu ...
cmd怎么实现Java你好_java环境配置以及如何在cmd窗口运行java代码
对于初学java的人来说,电脑的环境配置也许会让你头疼,但只要你认真一些学习,相信对你来说都是OK的啦~ 首先回到桌面,选择我的电脑,单击右键属性,进入高级系统设置,点击环境变量设置.用户变量选择Te ...
Springboot使用Maven Profile和Spring Profile进行多环境配置
Springboot使用Maven Profile和Spring Profile进行多环境配置目的在实际的项目上,一般会分三种环境dev.test.prod来方便我们的开发和部署,要求我们在开发的 ...
linux 编译opencl,OpenCL编译环境配置（VS+Nvidia）
英伟达的显卡首先要下载安装CUDA开发包,可以参考这里的步骤: VS2015编译环境下CUDA安装配置安装好CUDA之后,OpenCL的配置就已经完成了80%了,剩下的工作就是把OpenCL的路 ...
windows下rpc框架thrift的环境配置
windows下rpc框架thrift的环境配置引用链接: https://www.cnblogs.com/49er/p/7193829.html 最近在弄windows下的Facebook的rp ...
【Qt】Qt5.x移植后的环境配置（imx6）
1.环境配置脚本如下 #!/bin/shexport QTDIR=/usr/lib/qt5 export QT_QPA_PLATFORM_PLUGIN_PATH=$QTDIR/plugins expo ...
python安装成功的图标_ubuntu下：安装anaconda、环境配置、软件图标的创建、成功启动anaconda图形界面...
Ubuntu安装anaconda常见的四大问题: 目录 1.介绍 2.安装anaconda 3.环境配置 4.软件图标的创建 5.成功启动anaconda图形界面 1.介绍先介绍一下anaconda ...
【spring】使用spring的环境配置及从官网获得配置文件所用代码的方法
环境配置 1.添加jar包 spring-beans-4.1.3.RELEASE.jar spring-context-4.1.3.RELEASE.jar spring-core-4.1.3.RELE ...

idea_pyspark 环境配置

idea_pyspark 环境配置相关推荐

最新文章

热门文章