torch序列化 pickle 慢

100张图片反序列化需要1s，300张需要3s

#coding=utf-8
import time
import numpy as np
import redis
import cv2 as cv
import pickle

import torch

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
r = redis.StrictRedis(connection_pool=pool)

x = torch.rand(1, 3, 352, 352)

for i in range(3):
r.set(i,pickle.dumps(x))

start = time.time()
for i in range(100):
b = r.get(1)
b=pickle.loads(b)
# print(b.type)

print('time',time.time()-start)
#
# for i in range(100):
# data = np.arange(1000 * 4000, dtype='float').reshape(1000, 4000)
# t1=time.time()
# r.set(b'list'+str(i),data)
# print('存入时间',time.time()-t1)
#
# for i in range(100):
# t2=time.time()
# list2=r.get

torch序列化 pickle 慢相关推荐

Python 序列化 pickle/cPickle模块
Python 序列化 pickle/cPickle模块 2013-10-17 Posted by yeho Python序列化的概念很简单.内存里面有一个数据结构,你希望将它保存下来,重用,或者发送给 ...
Python基础知识点拾遗---文件IO（os、filecmp、shutil库）、sys库、序列化(pickle)、类
Python基础知识点拾遗文件IO 文本目录 os 获取文件的创建.修改及最近访问时间获取当前文件的大小获取当前的登录用户名称获取当前的cpu核数调用操作系统底层的random生成器 sh ...
Python基础23_os,sys,序列化,pickle,json
一. os 模块所有关于操作系统的内容都在os模块 os.makedirs("d:/1PY/新建文件夹/宝宝") # 可生成多层递归目录 os.remo ...
Python对象序列化-Pickle模块
一前言一般情况下,如果要在不同的主机上传递数据,其传递的数据格式是二进制或字符串.字符串的传输是日常网络通信中的普遍情况,如socket.后端接口.下位机与上位机的通信等等,所以这篇主要来解决数据 ...
Torch——[TypeError: can‘t pickle Environment objects]解决方案
问题描述问题分析因为windows操作系统的原因,在Windows中,多进程multiprocessing使用的是序列化pickle来在多进程之间转移数据,而socket对象是不能被序列化的,但是 ...
json和pickle的数据序列化
我们的目的是类似虚拟机的挂起操作在没学json与pickle之前我们通常这样. #序列化 a={'name':'qiangql','age':22 } f=open('text.text','w') ...
0727Python总结-内置方法,数学模块,random随机模块,序列化模块pickle
一.内置方法 abs 绝对值函数 round 四舍五入 (n.5 n为偶数则舍去 n.5 n为奇数,则进一!) 特点:奇进偶不进 sum 计算一个序列得和 max 获取一个序列里边的最大值 min 获 ...
python CSV、JSON文件读写及pickle序列化使用笔记
一.CSV使用 1 CSV文件读取逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本). ...
python(pickle)：序列化、反序列化 --- pickle.dump() / pickle.dumps() / pickle.load() / pickle.loads()的使用
1.pickle序列化 pickle.dump()方法将obj对象序列化为字节(bytes)写入到file文件中 pickle.dump(obj, file, protocol=None, *, fi ...

torch序列化 pickle 慢

torch序列化 pickle 慢相关推荐

最新文章

热门文章