制作pytorch数据集

方法1、自定义的dataset类

需要实现必要的魔法方法:

__init__魔法方法里面进行读取数据文件
__getitem__魔法方法进行支持下标访问
__len__魔法方法返回自定义数据集的大小，方便后期遍历

面已经定义好了抽象数据，只需给出自己的dataset和idxs(数据的索引列表）)

from torch.utils.data import DataLoader, Dataset
class DatasetSplit(Dataset):"""An abstract Dataset class wrapped around Pytorch Dataset class."""def __init__(self, dataset, idxs):self.dataset = datasetself.idxs = [int(i) for i in idxs]def __len__(self):return len(self.idxs)def __getitem__(self, item):image, label = self.dataset[self.idxs[item]]return torch.as_tensor(image), torch.as_tensor(label)

train_loader = DataLoader(DatasetSplit(train_dataset, client_idxs),batch_size=args.local_bs, shuffle=True)

上面的train_dataset是你的数据集，client_idx是你的数据的索引列表，比如[1,2,345,33,54...........]，数字代表数据在dataset中的位置。这样制作后的数据集就是client_idx索引的数据集。

方法2：直接使用torch.utils.data.TensorDataset()封装数据集

#划分数据集
import torch
import numpy as np
import torch.utils.data as Data
from sklearn.model_selection import train_test_split
x_train, x_test, y_train,y_test = train_test_split(feature, labels, test_size=0.25)
#制作pytorch识别的数据集
train_dataset = Data.TensorDataset(torch.from_numpy(x_train).float(), torch.from_numpy(y_train))
test_dataset = Data.TensorDataset(torch.from_numpy(x_test).float(), torch.from_numpy(y_test))
#制作可迭代的数据集
train_iter = Data.DataLoader(dataset = train_dataset,batch_size = batch_size,shuffle = True, num_workers = 2)
test_iter = Data.DataLoader(dataset = test_dataset, batch_size= batch_size,shuffle = True, num_workers = 2)

制作pytorch数据集相关推荐

python制作图片数据集_Pytorch自己加载单通道图片用作数据集训练的实例
pytorch 在torchvision包里面有很多的的打包好的数据集,例如minist,Imagenet-12,CIFAR10 和CIFAR100.在torchvision的dataset包里面,用 ...
【深度学习】制作VOC2007数据集用于Faster-RCNN训练
制作VOC2007数据集用于Faster-RCNN训练:VOC2007格式是faster-RCNN中官方给出的用于训练的数据集,把它下载下来用frcnn/tool里的训练程序跑一跑就可以得到自己的训练 ...
【深度学习】PyTorch 数据集随机值的完美实践
作者 | Elvanth@知乎来源 | https://zhuanlan.zhihu.com/p/377155682 编辑 | 极市平台本文仅作学术交流,版权归原作者所有,如有侵权请联系删除. 导 ...
[高光谱] Hyperspectral-Classification Pytorch 数据集的读取、划分、加载
Hyperspectral-Classification Pytorch 数据集的读取.划分.加载文章目录 Hyperspectral-Classification Pytorch 数据集的读取.划 ...
利用Arcgis制作图像分割数据集
利用Arcgis制作图像分割数据集,以制作农村道路标签数据进行二分类为例一,进行矢量化获取矢量数据二,制作掩膜三,mask图像导出四,原始遥感影像裁剪五,mask图片和遥感图像裁剪及训练集. ...
（深度学习）构造属于你自己的Pytorch数据集
(深度学习)构造属于你自己的Pytorch数据集 1.综述 2.实现原理 3.代码细节 4.详细代码综述 Pytorch可以说是一个非常便利的深度学习库,它甚至在torchvision.datase ...
使用VIA(VCC)制作coco数据集
使用VIA(VCC)制作coco数据集 VCC是一个在线的数据集标注工具VCC在线数据集标注地址进入网址后,删除其中的两张的测试图片删除测试图片后,点击Add Files添加自己的数据集图片然后 ...
使用CycleGAN训练自己制作的数据集，通俗教程，快速上手
总结了使用CycleGAN训练自己制作的数据集,这里的教程例子主要就是官网给出的斑马变马,马变斑马,两个不同域之间的相互转换.教程中提供了官网给的源码包和我自己调试优化好的源码包,大家根据自己的情况下 ...
制作视频数据集(一)：截取视频帧
** 制作视频数据集(一):截取视频帧 ** 1.smart player截取视频帧直接下载smart player截取即可,我是觉得这个软件截取更简单一些,但我下载之后截取页面显示不了文件,搞不了 ...

制作pytorch数据集

方法1、自定义的dataset类

方法2：直接使用torch.utils.data.TensorDataset()封装数据集

制作pytorch数据集相关推荐

最新文章

热门文章