pytorch数据读取之Dataset与DataLoader

1. 先前处理数据集的代码经常比较混乱并且难以维护

2. 数据集处理代码应该和训练代码解耦合，从而达到模块化和更好的可读性

因此，pytorch提出了两个数据处理类：DataLoader与Dataset

from torch.utils.data import Dataset, DataLoaderclass SimpleDataset(Dataset):def __init__(self, size):self.x = [i for i in range(size)]def __getitem__(self, index):return self.x[index]def __len__(self):return len(self.x)dataset = SimpleDataset(322)
# 将dataset对象传入DataLoader类
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)
# 此处不执行，生成器for idx, data in enumerate(dataloader):print(idx)print(len(data))

当处理自己的数据时，需要继承Dataset类，重写__init__, __len__, __getitem__函数。

__init__：读取数据集

__len__：获取整个数据集的样本个数

__getitem__：获取样本中的第index个样本

当你需要加载数据时，将dataset对象传入DataLoader类

batch_size：将数据集分成大小为batch_size的序列

shuffle：是否打乱数据。如果打乱，获取样本并不是按照顺序的，多次执行dataloader获取的数据内容也不一样的

drop_last：将数据集按照batch_size大小分批，如果有剩余，是否丢掉剩余的

上面每条样本只有一个数据，当一条样本对应于多个数据时，需要用到字典：

from torch.utils.data import Dataset, DataLoaderclass SimpleDataset(Dataset):def __init__(self, size):self.x = [i for i in range(size)]self.y = [i + 1 for i in range(size)]def __getitem__(self, index):sample = {"x": self.x[index], "y": self.y[index]}return sampledef __len__(self):return len(self.x)dataset = SimpleDataset(322)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)for idx, data in enumerate(dataloader):print(idx)print(len(data))

对于非向量化的数据同样可处理：

from torch.utils.data import Dataset, DataLoaderclass SimpleDataset(Dataset):def __init__(self, size):self.x = ["I love you" for i in range(size // 2)] + ["I love you very much" for i in range(size // 2, size)]self.y = [i + 1 for i in range(size)]def __getitem__(self, index):sample = {"x": self.x[index], "y": self.y[index]}return sampledef __len__(self):return len(self.x)dataset = SimpleDataset(322)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)for idx, data in enumerate(dataloader):print(idx)print(len(data))

读取文本后再向量化有一个好处，就是进行padding时，只需要考虑当前batch中最大长度，而不需要考虑整个数据集的最大长度。

并且如果数据集太大，无法在SimpleDataset的__init__函数中全部向量化，则可以只读原始数据，通过dataloader分批之后再向量化。

但是以下处理是错误的：

from torch.utils.data import Dataset, DataLoaderclass SimpleDataset(Dataset):def __init__(self, size):self.x = ["I love you".split() for i in range(size // 2)] + \["I love you very much".split() for i in range(size // 2, size)]# self.x 里面的元素为列表，自动解析成每个样本对应的多个元素；# 但是因为列表的长度不一致，后面列表中的very,much取不到，因为有的样本不包含这两个元素self.y = [i + 1 for i in range(size)]def __getitem__(self, index):sample = {"x": self.x[index], "y": self.y[index]}return sampledef __len__(self):return len(self.x)dataset = SimpleDataset(322)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, drop_last=False)for idx, data in enumerate(dataloader):print(idx)print(len(data))

pytorch数据读取之Dataset与DataLoader相关推荐

编写transformers的自定义pytorch训练循环（Dataset和DataLoader解析和实例代码）
文章目录一.Dataset和DataLoader加载数据集 1.torch.utils.data 2. 加载数据流程 3. Dataset 4. dataloader类及其参数 5. dataloa ...
PyTorch框架学习八——PyTorch数据读取机制（简述）
PyTorch框架学习八--PyTorch数据读取机制(简述) 一.数据二.DataLoader与Dataset 1.torch.utils.data.DataLoader 2.torch.util ...
使用 PyTorch 数据读取，JAX 框架来训练一个简单的神经网络
使用 PyTorch 数据读取,JAX 框架来训练一个简单的神经网络本文例程部分主要参考官方文档. JAX简介 JAX 的前身是 Autograd ,也就是说 JAX 是 Autograd 升级版本 ...
PyTorch系列 (二): pytorch数据读取自制数据集并
PyTorch系列 (二): pytorch数据读取 PyTorch 1: How to use data in pytorch Posted by WangW on February 1, 2019 ...
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)
Pytorch的数据读取主要包含三个类: Dataset DataLoader DataLoaderIter 这三者是一个依次封装的关系: 1.被装进2., 2.被装进3. Dataset类 Pyto ...
速成pytorch学习——6天Dataset和DataLoader
Pytorch通常使用Dataset和DataLoader这两个工具类来构建数据管道. Dataset定义了数据集的内容,它相当于一个类似列表的数据结构,具有确定的长度,能够用索引获取数据集中的元素. ...
《Pytorch学习指南》- Dataset和Dataloader用法详解
目录前言 DataSet DataLoader 数据构建 1. 创建Dataset 类 :sparkles: 2. 读取数据 :ambulance: 3. 返回数据 :zap: 读取数据 :art: ...
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
Pytorch官方英文文档:https://pytorch.org/docs/stable/torch.html? Pytorch中文文档:https://pytorch-cn.readthedocs ...
Pytorch数据读取加速方法
1. 方法一:使用prefetcher class data_prefetcher():def __init__(self, loader):self.loader = iter(loader)sel ...

pytorch数据读取之Dataset与DataLoader

pytorch数据读取之Dataset与DataLoader相关推荐

最新文章

热门文章