混合样本数据增强（Mixed Sample Data Augmentation，MSDA）

论文：mixup: Beyond Empirical Risk Minimization

Formulation

In mixup, the virtual training feature-target samples are produced as,

x˜ = λxi + (1 − λ)xj
y˜ = λyi + (1 − λ)yj

where (xi, yi) and (xj, yj) are two feature-target samples drawn at random from the training data, λ∈[0, 1].

The mixup hyper-parameter α controls the strength of interpolation between feature-target pairs and λ∼Beta(α, α).

其中(xi，yi)和(xj，yj)是从训练数据中随机抽取的两个特征目标样本，λ∈[0，1]。

混合超参数α控制特征-目标对和λ∞β(α，α)之间的插值强度。

github地址以及论文地址：GitHub - JasonZhang156/awesome-mixed-sample-data-augmentation: A collection of awesome things about mixed sample data augmentation

Mixup算法的核心思想是按一定的比例随机混合两个训练样本及其标签。这种混合方式不仅能够增加样本的多样性，并且能够使不同类别的决策边界过渡更加平滑，减少了一些难例样本的误识别，模型的鲁棒性得到提升，训练时也比较稳定。下图展示了基于Mixup算法的training pipeline，

受Mixup算法思想的启发，大量MSDA算法涌现出来，包括结合Mixup和mask，对Mixup方法进行Adaptive学习等。目前，MSDA相关算法主要应用在分类任务中，其中图像分类相关论文居多。但是，不同领域的研究者也在尝试mixup方法和本领域任务的结合，比如NLP、Semi-supervised Learning、GAN等领域。

代码：

### mix two images
class MixUp_AUG:def __init__(self):self.dist = torch.distributions.beta.Beta(torch.tensor([1.2]), torch.tensor([1.2]))def aug(self, rgb_gt, rgb_noisy):bs = rgb_gt.size(0)indices = torch.randperm(bs)  # 返回bs个(0,bs-1)的随机整数组成序列rgb_gt2 = rgb_gt[indices]rgb_noisy2 = rgb_noisy[indices]lam = self.dist.rsample((bs,1)).view(-1,1,1,1).cuda()  # ([bs, 1, 1, 1])rgb_gt    = lam * rgb_gt + (1-lam) * rgb_gt2rgb_noisy = lam * rgb_noisy + (1-lam) * rgb_noisy2return rgb_gt, rgb_noisy

参考：混合样本数据增强（Mixed Sample Data Augmentation）_z小白的博客-CSDN博客_混合样本数据增强

GitHub - JasonZhang156/awesome-mixed-sample-data-augmentation: A collection of awesome things about mixed sample data augmentation

混合样本数据增强（Mixed Sample Data Augmentation，MSDA）相关推荐

数据增强_开源算法FMix：用于深度学习中增强混合样本数据增强
作者介绍近来混合样本数据增强(MSDA)受到越来越多的关注,其中包括许多成功的变体,例如MixUp和Cut-Mix. 作者在论文中提出了FMix,它是一种MSDA,它使用将阈值应用于从傅立叶空间采 ...
开源算法FMix：用于深度学习中增强混合样本数据增强
作者介绍近来混合样本数据增强(MSDA)受到越来越多的关注,其中包括许多成功的变体,例如MixUp和Cut-Mix. 作者在论文中提出了FMix,它是一种MSDA,它使用将阈值应用于从傅立叶空间采 ...
小样本学习记录————文本中特征空间的数据增强MEDA： Meta-Learning with Data Augmentation for Few-Shot Text Classification
MEDA: Meta-Learning with Data Augmentation for Few-Shot Text Classification 出发点数据增强球合成器合成模块Synthe ...
【方法】数据增强(Data Augmentation)
在训练过程中,网络优化是一方面,数据集的优化又是另一方面.数据集会存在各类样本不均匀的情况,也就是各类样本的数量不一样,有的甚至差别很大.为了让模型具有更强的鲁棒性,采用Data Augmentati ...
tf torch keras 数据增强 data augmentation
数据增强 data augmentation 2017年11月14日 22:19:27 阅读数:7964
Dataset之DA：数据增强(Data Augmentation)的简介、方法、案例应用之详细攻略
Dataset之DA:数据增强(Data Augmentation)的简介.方法.案例应用之详细攻略目录 DA的简介 DA的方法 DA的案例应用 DA的简介数据集增强主要是为了减少网络的过拟合现象 ...
data augmentation 数据增强方法总结
1.问题描述收集数据准备微调深度学习模型时,经常会遇到某些分类数据严重不足的情况,另外数据集过小容易造成模型的过拟合. 本文参考一些网友对于数据增强方法的一些tips,后续会附上自己实现的C++代码 ...
吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
讨论数据增强（data augmentation）的有效性
讨论数据增强(data augmentation)的有效性 FesianXu 20210216 at Baidu intern 前言在知乎上遇到了一个问题并且进行了简单的回答,如何证明数据增强(Da ...

混合样本数据增强（Mixed Sample Data Augmentation，MSDA）

Formulation

代码：

混合样本数据增强（Mixed Sample Data Augmentation，MSDA）相关推荐

最新文章

热门文章