spark指定python版本_如何将正常的Python应用程序正确转换为PySpark版本

我是PySpark的初学者,最近我尝试向我的Spark集群提交一个简单的python应用程序(批量调整大小图片).我可以成功地通过pycharm运行该应用程序,并且当我将应用程序提交给spark时,图像的大小也会随之调整.

这是我原来的Python代码：

import os

from PIL import Image

size_64 = (64,64)

for f in os.listdir('.')

if f.endswith('.jpg'):

i = Image.open(f)

fn, fext = os.path.splitext(f)

i.thumbnail(size_64)

i.save('resize/{}_64'.format(fn, fext))

然后我将其转换为我认为可以正确提交python应用程序的方式：

import os

from PIL import Image

from pyspark import SparkContext, SparkConf

APP_NAME = "ImageResizer"

def main(sc):

size_64 = (64,64)

for f in os.listdir('.')

if f.endswith('.jpg'):

i = Image.open(f)

fn, fext = os.path.splitext(f)

i.thumbnail(size_64)

i.save('resize/{}_64'.format(fn, fext))

print 'done'

if __name__ == "__main__":

conf = SparkConf().setAppName(APP_NAME)

conf = conf.setMaster("spark://10.233.70.48:7077")

sc = SparkContext(conf=conf)

main(sc)

但是,有人告诉我我实际上根本没有使用spark(我也这样认为,但我只是不知道如何使用).我想知道如何将原始代码正确转换为Pyspark方式.

熟悉pyspark的人可以帮助我吗？关于如何正确,系统地学习如何编写PySpark应用程序的任何建议？

谢谢

spark指定python版本_如何将正常的Python应用程序正确转换为PySpark版本相关推荐

anaconda虚拟环境python升级_使用Anaconda虚拟环境管理Python版本
1 引言在前几篇博文中介绍过virtualenv.virtualenvwrapper等几个虚拟环境管理工具,本篇要介绍的anaconda也有很强大的虚拟环境管理功能,甚至相比virtualenv.v ...
怎么查看自己安装的python版本_教你如何检查 Python 版本
本教程介绍如何使用命令行检查操作系统上安装的 Python 版本.这在安装用 Python 编写的需要特定版本 Python 的应用程序时非常有用. Python 是世界上最流行的编程语言之一.它用 ...
学习python下载哪个版本_听学编程之Python 一、Python版本和安装
本文应听友要求,根据喜马拉雅上的音频节目『听学编程之Python』整理所得. python是好是坏,我就不多啰嗦了,既然你收听了这个教程,那就说明你要学这个语言了.基本不会亏的.这个语言很有用,完全可 ...
零基础学python 视频_零基础入门学习PYTHON(第2版)(微课视频版)
小甲鱼畅销图书重磅升级,针对Python 3.7,通过生动的实例,让读者在实践中理解概念,在轻松.愉快中学会Python! 本书提倡理解为主,应用为王.因此,只要有可能,小甲鱼(注:作者)都会通过生动 ...
python 切片_知乎问答之 Python 切片整理
知乎问答之 Python 切片这是一个知乎问答的补充.原问题是python中字符串 s[ : -1]是什么意思?,当时回答的内容只是对问题本身的简单回答,对 Python 切片中的重要信息是有所忽略 ...
vscode找不到python环境_在vscode成功配置Python环境
注意:如果您希望在Visual Studio Code中开始使用Python,请参阅教程.本文仅关注设置Python解释器/环境的各个方面. Python中的"环境"是Python ...
ubuntu下安装python教程_怎么在ubuntu安装python
怎么在ubuntu安装python? python在ubuntu下有几种安装方法: ● 通过ubuntu官方的apt工具包安装 ● 通过PPA(Personal Package Archive) 的a ...
windows10安装python环境_在windows10下安装python（配置环境变量）,Windows10
建议使用:anaconda(环境管理和包管理)+Pycharm (强大的IDE开发工具) python环境变量设置: window系统高级设置-> 系统环境变量里变量名: PYTHONPATH ...
sublime运行python代码_怎么用sublime运行python
首先需要安装一个Sublime Text(http://www.sublimetext.com/)和一个Python(https://www.python.org/downloads/) 接下来打开S ...

spark指定python版本_如何将正常的Python应用程序正确转换为PySpark版本

spark指定python版本_如何将正常的Python应用程序正确转换为PySpark版本相关推荐

最新文章

热门文章