从零学PyTorch：DataLoader构建高效的自定义数据集

Torch中可以创建一个DataSet对象，并与dataloader一起使用，在训练模型时不断为模型提供数据Torch中DataLoader的参数如下

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None)

其中最重要的参数是dataset，是一个抽象类，包含两种类型：map-style datasets 和 iterable-style datasets.

1、map-style datasets 映射样式

借助映射样式构建数据集有两种方法，一种是构建dateset类，另外一种是借助TensorDataset直接将数据包装成dataset类，再传入到dataloader.

第一种方法：构建dateset类

该类型的dataset，其所有的子类必须重写__getitem__() 方法和__len()__方法：

（1）其中__getitem__函数的作用是根据索引index遍历数据（2）__len__函数的作用是返回数据集的长度（3）在创建的dataset类中可根据自己的需求对数据进行处理。可编写独立的数据处理函数，在__getitem__函数中进行调用；或者直接将数据处理方法写在__getitem__函数中或者__init__函数中，但__getitem

从零学PyTorch：DataLoader构建高效的自定义数据集相关推荐

【深度学习】在PyTorch中构建高效的自定义数据集
文章来源于磐创AI,作者磐创AI 学习Dataset类的来龙去脉,使用干净的代码结构,同时最大限度地减少在训练期间管理大量数据的麻烦. 神经网络训练在数据管理上可能很难做到"大规模" ...
pytorch基础（九）- 自定义数据集训练模型和迁移学习
目录 Pokemon Dataset 数据集加载自定义数据集数据预处理图像数据存储结构代码构建模型训练模型迁移学习收集.读取.预处理数据,模型搭建.训练. Pokemon Datase ...
pytorch加载语音类自定义数据集
pytorch对一下常用的公开数据集有很方便的API接口,但是当我们需要使用自己的数据集训练神经网络时,就需要自定义数据集,在pytorch中,提供了一些类,方便我们定义自己的数据集合 torch.u ...
使用PyTorch Geometric构建自己的图数据集
1.如何制作自己的图数据创建一个图,信息如下: 定义数据:x是每个点的输入特征,y是每个点的标签.x的维度为[M,F],M表示结点数,F表示特征个数 x = torch.tensor([[2,1], ...
【小白学PyTorch】18.TF2构建自定义模型
[机器学习炼丹术]的学习笔记分享 <<小白学PyTorch>> 扩展之Tensorflow2.0 | 17 TFrec文件的创建与读取扩展之Tensorflow2.0 | 1 ...
【小白学PyTorch】6.模型的构建访问遍历存储（附代码）
<<小白学PyTorch>> 小白学PyTorch | 5 torchvision预训练模型与数据集全览小白学PyTorch | 4 构建模型三要素与权重初始化小白学PyT ...
c++list遍历_小白学PyTorch | 6 模型的构建访问遍历存储（附代码）
关注一下不迷路哦~喜欢的点个星标吧~<> 小白学PyTorch | 5 torchvision预训练模型与数据集全览小白学PyTorch | 4 构建模型三要素与权重初始化小白学PyT ...
【小白学PyTorch】17.TFrec文件的创建与读取
[机器学习炼丹术]的学习笔记分享 <<小白学PyTorch>> 小白学PyTorch | 16 TF2读取图片的方法小白学PyTorch | 15 TF2实现一个简单的服装分 ...
【小白学PyTorch】13.EfficientNet详解及PyTorch实现
<<小白学PyTorch>> 小白学PyTorch | 12 SENet详解及PyTorch实现小白学PyTorch | 11 MobileNet详解及PyTorch实现小 ...

从零学PyTorch：DataLoader构建高效的自定义数据集

1、map-style datasets 映射样式

从零学PyTorch：DataLoader构建高效的自定义数据集相关推荐

最新文章

热门文章