pytorch 一两张数据GPU测试，dataload速度慢的原因

pytorch 的dataload开辟线程需要消耗时间，但是是我们的数据量太少(每次只有一到两张图片)，开辟线程反而会降低整个流程的性能。解决方案：适当的开辟线程或者不开辟线程，如方法1。或者直接不用dataload方法，如方法2.

#方法1：
inputs = torch.utils.data.DataLoader(DataLoader('', img_paths, assets.basetransforms),batch_size=1, shuffle=False, num_workers=0, pin_memory=True)#方法2
for i in range(len(img_paths)):f = open(img_paths[i], 'rb')img = Image.open(f).convert('RGB')img = assets.basetransforms(img)img = img.unsqueeze(0)inputs.append(img)f.close()# inputs = torch.utils.data.DataLoader(
#     DataLoader('', img_paths, assets.basetransforms),
#     batch_size=1, shuffle=False, num_workers=4, pin_memory=True
# )

参考博客https://blog.csdn.net/qq_24946843/article/details/95627053

pytorch 一两张数据GPU测试，dataload速度慢的原因相关推荐

第25章 Pytorch 如何高效使用GPU
第25章 Pytorch 如何高效使用GPU 深度学习涉及很多向量或多矩阵运算,如矩阵相乘.矩阵相加.矩阵-向量乘法等.深层模型的算法,如BP,Auto-Encoder,CNN等,都可以写成矩阵运算的 ...
YOLOv5 它来了！基于 PyTorch，体积比 YOLOv4 小 90%，速度却超 2 倍！
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI YOLOv4还没有退热,YOLOv5已经发布! 6月9日,Ultralytics公司开源了YOLOv5,离上一次YOLOv4发布不到50天 ...
【深度学习】Pytorch实现CIFAR10图像分类任务测试集准确率达95%
文章目录前言 CIFAR10简介 Backbone选择训练+测试训练环境及超参设置完整代码部分测试结果完整工程文件 Reference 前言分享一下本人去年入门深度学习时,在CIFAR1 ...
PyTorch中的数据输入和预处理
文章目录 PyTorch中的数据输入和预处理数据载入类映射类型的数据集 torchvision工具包的使用可迭代类型的数据集总结 PyTorch中的数据输入和预处理数据载入类在使用PyTo ...
PyTorch(四)——视频数据的处理
目录连接 (1) 数据处理 (2) 搭建和自定义网络 (3) 使用训练好的模型测试自己图片 (4) 视频数据的处理 (5) PyTorch源码修改之增加ConvLSTM层 (6) 梯度反向传递(Bac ...
pytorch深度学习框架--gpu和cpu的选择
pytorch深度学习框架–gpu和cpu的选择基于pytorch框架,最近实现了一个简单的手写数字识别的程序,我安装的pytorch是gpu版(你也可以安装cpu版本的,根据个人需要),这里我介绍 ...
Mysql对比两张数据表，得到差异的记录
我们在涉及到数据库相关的的软件开发中,经常会对比两张数据表,得到它们之间的差集. 下面是对应的SQL语句: //table1(%1)中有,table2(%2)中没有的数据 //cmd = QStrin ...
PyTorch Data Parrallel数据并行
PyTorch Data Parrallel数据并行 • 可选择:数据并行处理 • 本文将学习如何用 DataParallel 来使用多 GPU. 通过 PyTorch 使用多个 GPU 非常简单.可 ...
Pytorch中的数据加载
Pytorch中的数据加载 1. 模型中使用数据加载器的目的在前面的线性回归模型中,使用的数据很少,所以直接把全部数据放到模型中去使用. 但是在深度学习中,数据量通常是都非常多,非常大的,如此大量的 ...

pytorch 一两张数据GPU测试，dataload速度慢的原因

pytorch 一两张数据GPU测试，dataload速度慢的原因相关推荐

最新文章

热门文章