python pickle文件大小_无法在Python中加载以前转储的大尺寸pickle文件

我使用cPickle和协议版本2来转储一些计算结果.代码如下所示：

> f = open('foo.pck', 'w')

> cPickle.dump(var, f, protocol=2)

> f.close()

变量var是长度为2的元组. var [0]的类型是一个列表,var [1]是一个numpy.ndarray.

上面的代码段成功生成了一个大尺寸(~1.7G)的文件.

但是,当我尝试从foo.pck加载变量时,我收到以下错误.

ValueError Traceback (most recent call last)

/home/user_account/tmp/ in ()

----> 1 v = cPickle.load(f)

ValueError: buffer size does not match array size

加载代码如下所示.

> f= open('foo.pck', 'r')

> v = cPickle.load(f)

我也尝试使用pickle(而不是cPickle)来加载变量,但是得到了类似的错误消息,如下所示.

ValueError Traceback (most recent call last)

/home/user_account/tmp/ in ()

----> 1 v = pickle.load(f)

/usr/lib64/python2.6/pickle.pyc in load(file)

1368

1369 def load(file):

-> 1370 return Unpickler(file).load()

1371

1372 def loads(str):

/usr/lib64/python2.6/pickle.pyc in load(self)

856 while 1:

857 key = read(1)

--> 858 dispatch[key](self)

859 except _Stop, stopinst:

860 return stopinst.value

/usr/lib64/python2.6/pickle.pyc in load_build(self)

1215 setstate = getattr(inst, "__setstate__", None)

1216 if setstate:

-> 1217 setstate(state)

1218 return

1219 slotstate = None

ValueError: buffer size does not match array size

我尝试了相同的代码段到更小的数据,它工作得很好.所以我最好的猜测是我达到了pickle(或cPickle)的加载大小限制.但是,成功转储(使用大型变量)但无法加载是很奇怪的.

如果这确实是一个加载大小限制问题,我应该如何绕过它？如果没有,问题的可能原因是什么？

任何建议表示赞赏.谢谢！

python pickle文件大小_无法在Python中加载以前转储的大尺寸pickle文件相关推荐

python pickle文件大小_无法在Python中加载以前转储的大大小pickle文件
我使用cPickle和协议版本2转储一些计算结果.代码如下:> f = open('foo.pck', 'w') > cPickle.dump(var, f, protocol=2) &g ...
ipython和python怎么用_如何使用IPython重新加载和自动加载？
我刚安装了ipython0.13.1,遇到了两个问题.我有一个小的"demo"项目,其中包含一个名为"app"的应用程序:. ├── app │ ├── _ ...
centerandzoom 无效_在bootstrap modal 中加载百度地图的信息窗口失效解决方法
这个问题其实很傻,解决方法没有任何技术含量,只是记录下工作中发生的事. 前阵子给一个汽车集团客户做了一个经销商查询系统,其中一个功能是使用地图标注经销商店面地址,并且实现导航功能. 页面演示地址:ht ...
python错误修复_如何修复这个dll加载python的错误？
我在python代码中使用了一个c++dll. 当我在我的计算机上运行python应用程序时,它工作正常,但当我将所有内容复制到另一台计算机时,会发生以下情况:Traceback (most rece ...
《R数据可视化手册》一1.4　从Excel文件中加载数据
本节书摘来自异步社区<R数据可视化手册>一书中的第1章,第1.4节,作者 [美]Winston Chang,更多章节内容可以访问云栖社区"异步社区"公众号查看 1.4 ...
如何在OsgEarth中加载谷歌卫星地图的ArcGISServer服务教程
说明: 本实例演示如何在arcgis中发布下载好的影像瓦片数据,在osgearth中加载发布好的瓦片服务. 本实例使用软件版本:ArcGIS10.2,osg3.3.1和osgEarth2.5 VC10 ...
python加载模型包占用内存多大_如何保持Keras模型加载到内存中并在需要时使用它？ - python...
我正在阅读Keras blog讲解如何使用Flask创建简单的图像分类器Restful API.我想知道如何在不使用python的其他Web框架中实现加载模型的相同方法. 在下面的代码中,将在服务器启 ...
python框架漏洞_注意！Python中的10个常见安全漏洞及修复方法
编写安全的代码很困难,当你学习一门编程语言.一个模块或框架时,你会学习其使用方法.在考虑安全性时,你需要考虑如何避免代码被滥用,Python也不例外,即使在标准库中,也存在着许多糟糕的实例.然而,许多 ...
python读取json文件多个json数据_在Python中加载和解析包含多个JSON对象的JSO...
我试图在Python中加载和解析一个JSON文件.但我试图加载该文件: import json json_data = open('file') data = json.load(json_data) ...
python 按需加载_基于python的opcode优化和模块按需加载机制研究(学习与个人思路)（原创）...
基于python的opcode优化和模块按需加载机制研究(学习与思考) 姓名:XXX 学校信息:XXX 主用编程语言:python3.5 文档转换为PDF有些图片无法完全显示,请移步我的博客查看完成 ...

python pickle文件大小_无法在Python中加载以前转储的大尺寸pickle文件

python pickle文件大小_无法在Python中加载以前转储的大尺寸pickle文件相关推荐

最新文章

热门文章