python数据处理太慢_使用Python将数据写入LMDB非常慢

根据我的经验,我已经有50-100毫秒写入LMDB从Python写入在Ubuntu上的ext4硬盘上的Caffe数据.这就是我使用tmpfs(Linux内置的RAM磁盘功能)并在0.07毫秒左右完成这些写入的原因.您可以在ramdisk上创建较小的数据库并将它们复制到硬盘上,然后再对所有数据库进行训练.我正在制作大约20-40GB的内存,因为我有64 GB的内存.

一些代码可以帮助您动态创建,填充和移动LMDB到存储.随意编辑它以适合您的情况.它可以节省你一些时间来了解LMDB和文件操作如何在Python中工作.

import shutil

import lmdb

import random

def move_db():

global image_db

image_db.close();

rnd = ''.join(random.choice(string.ascii_uppercase + string.digits) for _ in range(5))

shutil.move( fold + 'ram/train_images','/storage/lmdb/'+rnd)

open_db()

def open_db():

global image_db

image_db = lmdb.open(os.path.join(fold,'ram/train_images'),map_async=True,max_dbs=0)

def write_to_lmdb(db,key,value):

"""

Write (key,value) to db

"""

success = False

while not success:

txn = db.begin(write=True)

try:

txn.put(key,value)

txn.commit()

success = True

except lmdb.MapFullError:

txn.abort()

# double the map_size

curr_limit = db.info()['map_size']

new_limit = curr_limit*2

print '>>> Doubling LMDB map size to %sMB ...' % (new_limit>>20,)

db.set_mapsize(new_limit) # double it

...

image_datum = caffe.io.array_to_datum( transformed_image,label )

write_to_lmdb(image_db,str(itr),image_datum.SerializeToString())

python数据处理太慢_使用Python将数据写入LMDB非常慢相关推荐

python数据处理不用编程_用Python玩转数据数据处理相关小例编程题
描述有5名某界大佬xiaoyun.xiaohong.xiaoteng.xiaoyi和xiaoyang,其QQ号分别是88888.5555555.11111.1234321和1212121,用字典将这 ...
python 写入网络视频文件很慢_用Python将数据写入LMDB非常慢
Creating datasets for training with Caffe I both tried using HDF5 and LMDB. However, creating a LMDB ...
python如何控制传感器_在Python中单行写入传感器数据
我正在尝试使用Python将来自2个传感器节点的数据写入CSV文件.在AT模式下,通过Xbee Series 1进行通信,2个传感器节点上的Xbee终端设备将数据传递给连接到我的计算机的Xbee协调器 ...
五行代码python 创建Excel（xls）文件以及数据写入
五行代码python 创建Excel(xls)文件以及数据写入今天我们采用xlwt来快速创建Excel的文件,一起来看一下代码. import xlwt new_workbook=xlwt.Work ...
python数据处理电脑配置_视频剪辑，Python跑数据，diy电脑组装怎么配置？
不太了解题主Python跑数据,是跑什么规模的数据.是机器学习,PyTorch, TF那类模型的数据集吗?墙裂推荐GPU,这个必须.性能据说GPU ≈ 30-50倍CPU.其他不知. 如今,电脑组装已 ...
python数据处理电脑配置_『大数据python计算机基础教学视频教程』入门学python需要什么配置的电脑...
x = 1 if x 4.2 1) else匹前的缩进相同且最接近的if 2) 改之前y=x 2行,之后是y=x 1先执行第5题代码还n = 1 while n <= 5: i = 1 wh ...
gdp python 变迁动图_用 Python 带你看各国 GDP 变迁
前言文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 周萝卜源自:萝卜大杂烩 PS:如有需要Python学习资料的小伙伴可 ...
gdp python 变迁动图_用 Python 带你看各国 GDP 变迁|python3教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ 前言文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联 ...
python处理excel案例_使用Python处理Excel表格的简单方法
使用Python处理Excel表格的简单方法 Excel 中的每一个单元,都会有这些属性:颜色(colors).number formatting.字体(fonts).边界(borders).alig ...
python中级项目下载_中级Python复习：教程，项目思想和技巧
python中级项目下载本文旨在向Python初学者和开发人员介绍Python中使用的一些关键概念,这些概念一开始就没有讲授. 如果您可以创建二次方根求解器,则可以理解本文. 这些是我一天之内没有学 ...

python数据处理太慢_使用Python将数据写入LMDB非常慢

python数据处理太慢_使用Python将数据写入LMDB非常慢相关推荐

最新文章

热门文章