pytorch实现数据增强的原理

pytorch的数据增强功能并非是事先对整个数据集进行数据增强处理，而是在从dataloader中获取训练数据的时候(获取每个epoch的时候)才进行数据增强。

举个例子，如下面的数据增强代码：

transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),  # 对图像四周各填充4个0像素，然后随机裁剪成32*32transforms.RandomHorizontalFlip(),  # 按0.5的概率水平翻转图片transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
])

假设数据集一共有100张图片，pytorch并非对数据集中的每张图片进行随机裁剪，再随机翻转，将数据集扩增到200张，然后用这固定的200张图来训练网络，这是错误的理解。

正确的理解应该是dataloader在每次生成epoch时才对数据集进行以上数据增强操作。由于数据增强有些操作是具有随机性的（例如上面的随机裁剪和随机翻转），导致每次epoch产生的数据都不相同，例如同一张图片在有的epoch翻转了，在有的epoch没有翻转，或者同一张图片在各个epoch裁剪的位置不一样，所以每次用来训练的数据不相同，到达了数据增强的目的。

当然，有些数据增强操作不具有随机性，如CenterCrop，每次都是对图片中间位置进行裁剪，不管在哪个epoch，裁剪出来的图片都一样。

pytorch实现数据增强的原理相关推荐

PyTorch：RNN，TensorBoard，部署PyTorch，数据增强
1,循环神经网络(RNN) 1.1,基本概述大脑区别于机器的一个最大的特征就是有记忆,并且能够根据自己的记忆对未知的事务进行推导,思想拥有持久性的.由于传统的神经网络没有设计记忆结构,因此在处理序列 ...
pytorch图像数据增强N大技巧
数据增强对深度神经网络的训练来说是非常重要的,尤其是在数据量较小的情况下能起到扩充数据的效果. 还记得当时在学习过拟合的解决方法的时候,就有一条就是数据增强,那么我们这次来学习下,在 pytorch ...
PyTorch 学习笔记（二）：PyTorch的数据增强与数据标准化
本文截取自<PyTorch 模型训练实用教程>,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 文章目录 transfor ...
【直播预告】计算机视觉中数据增强原理和实践
应广大粉丝要求,以后有三AI会多组织直播,分享更多实践的干货知识,下面预告一下下周六的知乎Live直播-计算机视觉中数据增强原理和实践. 1.直播基本信息时间:2019年4月20日20:00开始. ...
使用PyTorch和Albumentations进行数据增强与损失函数
数据扩增 Part 1 数据读取与数据扩增图像读取数据扩增基于图像处理的数据扩增几何变换灰度和彩色空间变换添加噪声和滤波图像混合(Mixing images) 随机搽除(Random e ...
【图普科技】边界框的数据增强：对目标检测图像变换的再思考（一）
[本文由图普科技编译] 当谈到深度学习任务的表现时,毋庸置疑,数据越多越好.然而,我们拥有的数据可能是有限的.数据增强是通过人为扩充数据集来解决数据短缺问题的一种方法.实际上,该技术已被证明非常成功, ...
【项目实战课】人人免费可学！基于Pytorch的图像分类简单任务数据增强实战
欢迎大家来到我们的项目实战课,本期内容是<基于Pytorch的图像分类简单任务数据增强实战>.所谓项目实战课,就是以简单的原理回顾+详细的项目实战的模式,针对具体的某一个主题,进行代码级的 ...
【动手学深度学习PyTorch版】27 数据增强
上一篇请移步[动手学深度学习PyTorch版]23 深度学习硬件CPU 和 GPU_水w的博客-CSDN博客目录一.数据增强 1.1 数据增强(主要是关于图像增强) ◼ CES上的真实的故事 ◼ ...
PyTorch：数据加载，数学原理，猫鱼分类，CNN，预训练，迁移学习
1,数据加载 PyTorch开发了与数据交互的标准约定,所以能一致地处理数据,而不论处理图像.文本还是音频.与数据交互的两个主要约定是数据集(dataset)和数据加载器(dataloader).数据 ...

pytorch实现数据增强的原理

pytorch实现数据增强的原理相关推荐

最新文章

热门文章