在使用pyspark的时候，需要使用RDD中的map成员方法
遇到了如下问题：

_pickle.PicklingError: Could not serialize object: IndexError: tuple index out of range

代码如下：

from pyspark import SparkConf, SparkContextimport os
os.environ["PYSPARK_PYTHON"] = "/Users/week/PycharmProjects/PythonProject/venv/bin/python3"conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)# 准备一个RDD
rdd = sc.parallelize([1, 2, 3, 4, 5])# 通过map方法将数据全部乘以10
def func(data):return data * 10rdd2 = rdd.map(func)
print(rdd2.collect())

报错信息如下：

错误原因：

Python版本使用的是3.11过高导致，于是更换了3.10.9
官网下载太慢，这里在阿里云镜像仓库进行下载，3秒下载完成

附上仓库地址：
https://registry.npmmirror.com/binary.html?path=python/3.10.9/

修改代码里的python解释器环境

os.environ["PYSPARK_PYTHON"] = "/Library/Frameworks/Python.framework/Versions/3.10/bin/python3"

控制台输出成功，错误解决

Python3使用pyspark时报错PicklingError相关推荐

PyCharm远程连接（linux）python解释器导入pyspark时报错：No module named ‘pyspark‘
PyCharm远程连接(linux)python解释器导入pyspark时报错:No module named 'pyspark' ,并且from pyspark import SparkConf, ...
解决安装python3.7.2时报错Setup failed,0x80072f7d-未指定的错误
解决安装python3.7.2时报错Setup failed,0x80072f7d-未指定的错误之前win7安装过python,很顺利的安装成功.但是系统升级后再次安装就安装不上了,总是报错,百度了 ...
安装python3.8.3时报错Setup failedError 0x80070003-系统找不到指定的路径
一开始安装好几次都出现这个错误,真心烦! 后面百度也没找到方法. 于是我打开安装程序的log,发现如下错误信息 Error 0x80070003: Failed to create cache dir ...
【积累】python3.8安装时报错0x80070003：系统找不到指定位置
报错截图报错日志: 解决方法: 到C盘ProgramData目录下,原因是Package Cache目录变成了一个快捷方式,直接删除Package Cache,再次安装即可
[转载] python3 安装完Pycurl在import pycurl时报错
参考链接: 在PycURL和Python中使用cURL 此次遇到的问题是在import pycurl 时报错 pycurl:libcurl link-time version is older th ...
python无法安装pycurl_解决python3 安装完Pycurl在import pycurl时报错的问题
此次遇到的问题是在import pycurl 时报错 pycurl:libcurl link-time version is older than compile-time version 在网上看了 ...
python 调用 tensorflow.dll_解决windows上安装tensorflow时报错,“DLL load failed: 找不到指定的模块”的问题...
最近打算开始研究一下机器学习,今天在windows上装tensorflow花了点功夫,其实前面的步骤不难,只要依次装好python3.5,numpy,tensorflow就行了,有一点要注意的是目前只 ...
在导入graphsurgeon时报错：ImportError: cannot import name ‘NodeDef‘ from ‘tensorflow‘
欢迎大家关注笔者,你的关注是我持续更博的最大动力原创文章,转载告知,盗版必究在导入graphsurgeon时报错:ImportError: cannot import name 'NodeDef' ...
jmeter执行python脚本,Jmeter+Python-1问题记录jmeter执行Python3的脚本时报 ValueErro
Jmeter+Python-1问题记录jmeter执行Python3的脚本时报 ValueErro Jmeter+Python-1:问题记录,jmeter执行Python3的脚本时报 ValueErr ...

Python3使用pyspark时报错PicklingError

代码如下：

报错信息如下：

错误原因：

Python3使用pyspark时报错PicklingError相关推荐

最新文章

热门文章