python dataload

dataset.py

统一将图像返回成torch能处理的[original_iamges.tensor，label.tensor]
torch.utils.data.DataLoader()
torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=<function default_collate>, pin_memory=False, drop_last=False)
重点关注四个参数：
batch_size: 批处理数目
shuffle: 是否每个epoch都打乱
workers: 载入数据的线程数
dataset: 是经过变换的自己的数据集（即：一个继承了torch.utils.data.Dataset类的子类的实例
---通常是自己需要什么处理什么---

通常在框架里面填写具体的东西：

是否transform如裁剪、归一化、旋转等？如果要transform则还需要区分test和train。比如train需要随机翻转，但是test则不需要操作.如何做到一张一张对应读取图片？可以自定义这些函数。

必须要重载的是__getitem__()和__len__()。__len__()：len(dataset)返回数据集的大小。
__getitem__()：实现数据集的下标索引，使用dataset[i]来得到第i个样本（图像和标记）。
--------------------------
import torch.utils.data as data
import torch
from torchvision import transformsclass MyTrainData(torch.utils.data.Dataset) #子类化def __init__(self, root, transform=None, train=True): #第一步初始化各个变量self.root = root   self.train = traindef __getitem__(self, idx): #第二步装载数据，返回[img,label]，idx就是一张一张地读取# get item  获取  数据 img = imread(img_path) #img_path根据自己的数据自定义，灵活性很高img = torch.from_numpy(img).float() #需要转成floatgt = imread(gt_path)  #读取gt，如果是分类问题，可以根据文件夹或命名赋值 0 1  gt = torch.from_numpy(gt).float()return img, gt #返回  一一对应def __len__(self):return len(self.imagenumber) #这个是必须返回的长度

python dataload相关推荐

一个python+flask和SQLite的数字查找以及Dataload命令生成的小工具
在日常工作中,我经常需要从excel中通过vlookup函数查询一些工单号,然后生成Dataload命令来进行工单结束的批量操作. 这些操作通常需要打开ecxcel,然后挨个输入户号.如果每次都要打开 ...
最全-python教程示例大全同步学习
文章目录第1章计算机基础及Python简介第2章编写简单的程序 2.1 示例程序 2.2 标识符及命名规范 2.3 变量与赋值语句 2.3.1 Python语言中的变量 2.3.2 变量的赋值 ...
python汽车类型识别源代码带图形界面,基于PyTorach深度学习
python汽车类型识别源代码带图形界面,基于torch深度学习,目前可识别公交车, 货车,客运车, 面包车, 皮卡车, 小轿车,程序包中已含模型文件完整代码下载地址:python汽车类型识别源代码 ...
Python金融量化
Python股票数据分析最近在学习基于python的股票数据分析,其中主要用到了tushare和seaborn.tushare是一款财经类数据接口包,国内的股票数据还是比较全的官网地址:http: ...
Python与logistic回归——理解与实践
文章参考 https://www.cnblogs.com/chamie/p/4876149.html [Machine Learning in Action --5]逻辑回归(LogisticRegr ...
Github配置(git+vscode+python+jupyter)
①下载git 打开 git bash 工具的用户名和密码存储 $ git config --global user.name "Your Name" $ git config -- ...
【实验楼】python简明教程
①终端输入python进入欣赏完自己的杰作后,按 Ctrl + D 输入一个 EOF 字符来退出解释器,你也可以键入 exit() 来退出解释器. ②vim键盘快捷功能分布 ③这里需要注意如果程序中 ...
【Kaggle Learn】Python 5-8
五. Booleans and Conditionals Using booleans for branching logic x = True print(x) print(type(x))''' ...
【Kaggle Learn】Python 1-4
[Kaggle Learn]Python https://www.kaggle.com/learn/python 一. Hello, Python A quick introduction to Py ...

python dataload

dataset.py

python dataload相关推荐

最新文章

热门文章