python多大储存空间不足怎么办

我有一些数据存储在数据库中，我想处理。所以在数据库加载之前我就决定了所有的数据都在缓慢的加载。但是，由于存储的数据太大，我遇到内存不足的错误(我看到使用了超过2个gig)。所以我决定使用磁盘数据结构，并发现使用shelve是一种选择。下面是我要做的(伪python代码)def loadData():

if (#dict exists on disk):

d = shelve.open(name)

return d

else:

d = shelve.open(name, writeback=True)

#access DB and write data to dict

# d[key] = value

# or for mutable values

# oldValue = d[key]

# newValue = f(oldValue)

# d[key] = newValue

d.close()

d = shelve.open(name, writeback=True)

return d

我有几个问题

1)我真的需要写回=True吗？它有什么作用？在

2)我仍然会遇到OutofMemory异常，因为我无法控制何时将数据写入磁盘。我该怎么做？我试着每隔几次迭代执行一次sync()，但也没用。在

谢谢！在

python多大储存空间不足怎么办_Python存储空间不足相关推荐

python读取大文件的某行_python 大文件以行为单位读取方式比对
先前需要做一个使用python读取大文件(大于1G),并逐条存入内存进行处理的工作.做了很多的尝试,最终看到了如下的文章. 该文章实际上提供了集中读取大文件的方式,先经过测试总结如下 1. for l ...
python读取大文件csv内存溢出_Python，内存错误，csv文件太大
我有一个python模块的问题,它不能处理导入大数据文件(文件目标.csv重量接近1 Gb) 加载此行时出现错误:targets = [(name, float(X), float(Y), float ...
python读取大文件的某行_Python按行读取文件的实现方法【小文件和大文件读取】...
本文实例讲述了Python按行读取文件的实现方法.分享给大家供大家参考,具体如下: 小文件: #coding=utf-8 #author: walker #date: 2013-12-30 #func ...
python与大数据的关系论文_python与大数据的关系图
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
在旧计算机上增加储存空间,手机老显示存储空间不足怎么办？三大方式让你增加有效使用空间...
根据相关数据显示,我国用户更换手机的频率基本为2年~3年左右,这个使用时间决定了多数用户会遇上一个最常见的问题,既存储空间不足. 手机时不时就提示存储空间不足,系统性能将下降等,个人之前的旧机器也经常 ...
python读取大文件内容_Python模块linecache处理大文件
linecache模块简介 Python处理大文件需要用到Linecache模块. linecache模块的作用是将文件内容读取到内存中,进行缓存,而不是每次都要从硬盘中读取,这样效率提高很多,又省去 ...
python做大数据的框架_Python+大数据计算平台，PyODPS架构手把手教你搭建
原文链接:http://click.aliyun.com/m/13965/ 在2016年10月的云栖社区在线培训上,来自阿里云大数据事业部的秦续业分享了<双剑合壁--Python和大数据计算平台 ...
python金融大数据分析视频_Python金融大数据分析 PDF 全书超清版
给大家带来的一篇关于Python相关的电子书资源,介绍了关于Python金融.大数据分析方面的内容,本书是由人民邮电出版社出版,格式为PDF,资源大小47.8 MB,希尔皮斯科编写,目前豆瓣.亚马逊. ...
python 免费空间_用python做大数据
不学Python迟早会被淘汰?Python真有这么好的前景? 最近几年Python编程语言在国内引起不小的轰动,有超越Java之势,本来在美国这个编程语言就是最火的,应用的非常非常的广泛,而Pytho ...

python多大储存空间不足怎么办_Python存储空间不足

python多大储存空间不足怎么办_Python存储空间不足相关推荐

最新文章

热门文章