本文提出的AutoAugment方法可以依据验证集上的损失值自动选择数据增强策略。

问题描述

数据增强基于已有的训练样本数据生成更多的训练数据，其目的就是为了使扩增的训练数据尽可能接近真实分布的数据，从而提高模型的泛化能力。数据增强分为2类：有监督的数据增强和无监督的数据增强。其中有监督的数据增强分为单样本数据增强和多样本数据增强；无监督的数据增强分为生成新的数据和数据增强策略。本篇论文到方法属于第2类数据增强中的数据增强策略。

AutoAugment提出了一种自动数据增强的方法，通过验证集上的损失函数来指示数据增强的策略。

解决思想

policy gradient训练方法中损失函数引入validation set上的损失值
θ=θ+α∇θ(S)×R\theta=\theta+\alpha \nabla_\theta(S)\times Rθ=θ+α∇θ(S)×R

具体实现

controller输出一个strategy（operation, magnitude, probability)，其模型结构是循环神经网络，一个输出是下一层的输入，经过30个softmax层后即可以获得5个sub-policy。

为什么有效

以下游任务准确性提升为目标训练，与GAN相比更有可解释性。

参考

[1] policy gradient方法
[2]Proximal Policy Optimization (PPO)详解

论文阅读【6】Autoaugment: Learning augmentation strategies from data相关推荐

论文阅读：AutoAugment: Learning Augmentation Strategies from Data
文章目录 1.论文总述 2.MNIST 与 ImageNet 数据集上有效数据增强的不同 3.The key difference between our method and GAN 4.A sea ...
AutoAugment: Learning Augmentation Strategies from Data
论文地址:https://arxiv.org/pdf/1805.09501v3.pdf 本文提出一种数据增强(data augument)策略.通过创建一个搜索空间(search space),利用搜 ...
自动增强-AutoAugment: Learning Augmentation Strategies from Data
原文链接:https://openaccess.thecvf.com/content_CVPR_2019/html/Cubuk_AutoAugment_Learning_Augmentation_St ...
论文阅读：Faster AutoAugment: Learning Augmentation Strategies using Backpropagation
原文地址:[1911.06987] Faster AutoAugment: Learning Augmentation Strategies using Backpropagation (arxiv. ...
AutoAugment: Learning Augmentation Policies from Data(一种自动数据增强技术)
谷歌大脑提出自动数据增强方法AutoAugment:可迁移至不同数据集近日,来自谷歌大脑的研究者在 arXiv 上发表论文,提出一种自动搜索合适数据增强策略的方法 AutoAugment,该方法创建 ...
论文阅读：Regularizing Deep Networks with Semantic Data Augmentation
论文阅读:Regularizing Deep Networks with Semantic Data Augmentation 动机特征空间的语义变换 Implicit semantic data ...
《论文阅读》Multi-Task Learning of Generation and Classification for Emotion-Aware Dialogue Response Gener
<论文阅读>Multi-Task Learning of Generation and Classification for Emotion-Aware Dialogue Response ...
论文阅读 [CVPR-2022] BatchFormer: Learning to Explore Sample Relationships for Robust Representation Lea
论文阅读 [CVPR-2022] BatchFormer: Learning to Explore Sample Relationships for Robust Representation Lea ...
论文阅读：Deep Learning in Mobile and Wireless Networking:A Survey
论文阅读:Deep Learning in Mobile and Wireless Networking:A Survey 从背景介绍到未来挑战,一文综述移动和无线网络深度学习研究近来移动通信和 5 ...

论文阅读【6】Autoaugment: Learning augmentation strategies from data

目录

问题描述

解决思想

具体实现

为什么有效

参考

论文阅读【6】Autoaugment: Learning augmentation strategies from data相关推荐

最新文章

热门文章