示例代码

from torch.utils.data import Dataset, DataLoader
import numpy as npclass MyDataSet(Dataset):def __init__(self):sample = 20000  # 数据量self.data_1 = np.random.randn(sample) # 数据集1self.data_2 = np.random.randn(sample) # 数据集2self.data_3 = np.random.randn(sample) # 数据集3self._len = sample  # 必要，定义最大循环次数，一般也是全部的数据量def __getitem__(self, item: int):  # 这个item即为下标，整数# 每次循环的时候返回的值return self.data_1[item], self.data_2[item], self.data_3[item]def __len__(self):return self._lenif __name__ == '__main__':data = MyDataSet()dataloader = DataLoader(data, batch_size=3, shuffle=False, num_workers=0)  # 这里的batch_sizen = 0for data_1, data_2, data_3 in dataloader:print("迭代{}次".format(n), data_1.numpy(), data_2.numpy(), data_3.numpy())n += 1

在DataSet的__getitem__函数中，根据下标item取到数即可。在DataLoader中，batch_size定为多少，每次取数时就会循环多少次__getitem__，然后一并打包取出来。

Pytorch DataLoader一次性封装多种数据集（pytorch Data学习六）相关推荐

使用Pytorch DataLoader快捷封装训练数据、测试数据的X与Y
DataSet的用法可以参考:pytorch 构造读取数据的工具类 Dataset 与 DataLoader (pytorch Data学习一) DataLoader的封装方法可以参考:Pytorch ...
pytorch封装Dataset——封装一般的DataLoader与可迭代的DataLoader（pytorch Data学习五）
可迭代的DataLoader可以参考:pytorch构造可迭代的DataLoader,动态流式读取数据源,不担心内存炸裂(pytorch Data学习三) 一般DataLoader封装: 使用如下方法 ...
pytorch构造可迭代的DataLoader，动态流式读取数据源，不担心内存炸裂（pytorch Data学习三）
构造迭代读取的Dataloader,首先需要可迭代的DataSet,这一部分详细请参考:pytorch构造可迭代的Dataset--IterableDataset(pytorch Data学习二),下 ...
pytorch构造可迭代的Dataset——IterableDataset（pytorch Data学习二）
如果是可以一次性加载进内存的数据,上一篇博客:pytorch 构造读取数据的工具类 Dataset 与 DataLoader (pytorch Data学习一),已经足以应付了,但是很多时候数据集较大 ...
【小白学习PyTorch教程】五、在 PyTorch 中使用 Datasets 和 DataLoader 自定义数据
「@Author:Runsen」有时候,在处理大数据集时,一次将整个数据加载到内存中变得非常难. 因此,唯一的方法是将数据分批加载到内存中进行处理,这需要编写额外的代码来执行此操作.对此,PyTor ...
【神经网络】Pytorch构建自己的训练数据集
[神经网络]Pytorch构建自己的训练数据集最近参加了一个比赛,需要对给定的图像数据进行分类,之前使用Pytorch进行神经网络模型的构建与训练过程中,都是使用的Pytorch内置的数据集,直 ...
使用Pytorch框架自己制作做数据集进行图像分类（一）
第一章:Pytorch制作自己的数据集实现图像分类第一章: Pytorch框架制作自己的数据集实现图像分类第二章: Pytorch框架构建残差神经网络(ResNet) 第三章: Pytorch框架 ...
pytorch加载自己的数据集，数据集载入-视频合集
pytorch加载数据主要学习了两种:只有图片的数据集和有scv保存标签的数据集而第一种只有图片的数据集的加载又分为两种:标签在文件夹上的和标签在图片名上的 1.第一种标签在文件夹上的数据加载方法 ...
pytorch dataloader加速
Pytorch IO提速 1. 把内存变成硬盘,把需要读的数据塞到里面去,加快了io. Optimizing PyTorch training code 如何给你PyTorch里的Dataloader ...

Pytorch DataLoader一次性封装多种数据集（pytorch Data学习六）

示例代码

Pytorch DataLoader一次性封装多种数据集（pytorch Data学习六）相关推荐

最新文章

热门文章