ECCV 2020 | DADA:高效的可微分自动数据增强技术(已开源)
点击上方,选择星标或置顶,不定期资源大放送!
阅读大概需要5分钟
Follow小博主,每天更新前沿干货
作者:Guosheng Hu
原文链接:https://zhuanlan.zhihu.com/p/162003816
本文仅供学习参考,如有侵权,请联系删除!
我们被ECCV 2020接收的工作 DADA: Differentiable Automatic Data Augmentation 使用可微分算法进行数据增广策略搜索任务。该方法大大提升了搜索效率,相较于以往经典的AutoAugment算法,我们的搜索代价从5000 GPU Hours缩减到了0.1 GPU Hours,并且该方法的准确率还保持和以往方法相当。
论文:https://arxiv.org/abs/2003.03780
开源代码:https://github.com/VDIGPKU/DADA
详细介绍:
数据增广对于提升模型泛化性能有着很大的帮助,但是手工设计的数据增广操作(如Cutout、MixUp和MixCut等)比较依赖于专家知识,同时需要大量的调参,因此适用范围有限。受Neural Architecture Search(NAS)启发,AutoAugment提出用强化学习算法进行数据增广策略搜索任务,探索16个不同的手工设计数据增广操作如何组合以提升模型性能。然而强化学习算法搜索效率过低,在CIFAR-10的代理数据集上进行搜索仍然需要5000 GPU Hours。受到DARTS算法启发,我们提出了可微分网络架构搜索算法在数据增广策略搜索任务上。具体来说(如下图所示):
1. 我们首先将数据增广策略搜索形式化为对105个sub-policies的categorical-distribution采样问题,对sub-policies里每个操作的概率作为bernoulli-distribution采样问题。
2. 我们将上述分布的参数优化问题通过gumbel-softmax松弛为可微分的参数优化问题。同时借助Straight-Through梯度估计器,我们每次只采样一个sub-policies,提升了图片处理的速度。
3. 其次,为了针对gumbel-softmax优化过程中的梯度biased的问题,我们提出了使用RELAX估计器估计上述分布的梯度,使得梯度unbiased,使得搜索过程中梯度更新更加稳定。
4. 最后我们提出了one-pass联合优化策略,交替优化模型权重和数据增广策略参数梯度。
上述算法使得我们在大大提升数据增广策略搜索效率的同时,还保证了模型性能。
最后通过在CIFAR-10、CIFAR-100、SVHN和ImageNet数据集进行实验上,我们的搜索算法对相对以往搜索算法,如Fast AutoAugment,搜索效率提升了一个数量级,但是模型性能仍然相当,如下表所示(其他数据集性能详见论文):
除此之外,我们也将数据增广训练的ImageNet模型作为目标检测的预训练模型,也提升了RetinaNet、Faster R-CNN和Mask R-CNN的性能。后续工作将尝试直接将我们的算法直接应用到目标检测任务上。
重磅!DLer-计算机视觉交流群已成立!
欢迎各位Cver加入计算机视觉微信交流大群,本群旨在交流图像分类、目标检测、点云/语义分割、目标跟踪、机器视觉、GAN、超分辨率、人脸检测与识别、动作行为/时空/光流/姿态/运动、模型压缩/量化/剪枝、NAS、迁移学习、人体姿态估计等内容。更有真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流等,欢迎加群交流学习!
进群请备注:研究方向+学校/公司+昵称(如图像分类+上交+小明)
广告商、博主请绕道!
???? 长按识别添加,邀请您进群!
ECCV 2020 | DADA:高效的可微分自动数据增强技术(已开源)相关推荐
- AutoAugment: Learning Augmentation Policies from Data(一种自动数据增强技术)
谷歌大脑提出自动数据增强方法AutoAugment:可迁移至不同数据集 近日,来自谷歌大脑的研究者在 arXiv 上发表论文,提出一种自动搜索合适数据增强策略的方法 AutoAugment,该方法创建 ...
- cut out数据增强_谷歌大脑提出自动数据增强方法AutoAugment:可迁移至不同数据集...
近日,来自谷歌大脑的研究者在 arXiv 上发表论文,提出一种自动搜索合适数据增强策略的方法 AutoAugment,该方法创建一个数据增强策略的搜索空间,利用搜索算法选取适合特定数据集的数据增强策略 ...
- ECCV 2020 | 首届GigaVision挑战赛揭榜,双赛道冠军技术干货分享
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 来源:DeepBlueAI 编辑:白峰 近日,全球计算机视觉顶会ECCV2020落下帷幕,各个 ...
- CVPR 2020 细粒度分类挑战赛冠军方案:数据增强+知识蒸馏,效果大幅提升
本文转载自机器之心. 近日,支付宝天筭安全实验室在 CVPR FGVC(细粒度视觉分类)workshop 举办的植物病理学挑战赛(Plant Pathology Challenge)中夺冠.本文介绍了 ...
- 自动数据增强AutoAugment
AutoContrast 调整图像对比度.计算一个输入图像的直方图,从这个直方图中去除最亮和最暗的部分,然后重新映射图像,以便保留的最暗像素变为黑色,即0,最亮的变为白色,即255. Invert 将 ...
- 再破纪录!ECCV 2020 旷视研究院15篇成果总览
图:ECCV 2020 词云分析结果 8月23-28日,全球计算机视觉三大顶会之一,两年一度的 ECCV 2020(欧洲计算机视觉国际会议)即将召开.受到疫情影响,今年的 ECCV 将以线上形式举办. ...
- 一文尽览 ECCV 2020 旷视研究院15篇论文
本文转载自旷视研究院. 图:ECCV 2020 词云分析结果 8月23-28日,全球计算机视觉三大顶会之一,两年一度的 ECCV 2020(欧洲计算机视觉国际会议)即将召开.受到疫情影响,今年的 EC ...
- 【论文汇总】 ECCV 2020 语义分割paper汇总
语义分割 segmentation paper@ECCV 2020 ECCV 2020语义分割文章总结,文章下载链接. 文章目录 语义分割 segmentation paper@ECCV 2020 前 ...
- lisp 线性标注自动避让_自动化数据增强:实践、理论和新方向
选自Stanford AI Lab Blog 作者:Sharon Y. Li 机器之心编译 参与:Panda 对当今需要大量数据的机器学习模型而言,数据增强是一种具有显著价值的技术--既可用于缓解数据 ...
最新文章
- c 语言 按位与或非运算符,C++中的按位与、按位与或|、按位异或^运算符详解
- linux 进程的作用,linux的几个进程的作用
- python新手入门教程-终于知晓python新手练习教程
- 一个小程序的首页对接后端实现用户注册
- java中super()_Java 泛型中 extends 和 super 的区别是什么?
- comsol线圈不能加电流激励_comsol里面如何绘制三维的激励线圈?
- Waymo无人出租车年底发射,现已进入定价环节 | 公交部门竟成友军?
- [转]vim 如何编辑 GB2312 编码的文件?
- java从property中取值_Java中如何获取Properties文件中的内容2019-08-02
- 数据清洗+特征构造:bureau.csv
- 如何搭建tftp服务器
- php抓取神马搜索结果,php判断神马搜索引擎蜘蛛蜘蛛的方法
- 如何衡量和提高推荐计划的投资回报率
- Spring Web Flow 2中的流管理持久性
- 数理统计之 置信区间(置信度)
- 细胞治疗CAR_T行业深度报告:细胞治疗,七载归来方始坼-20210706-兴业证券
- Python 模拟登陆南邮智慧校园查询成绩
- lrzsz传输超过4G文件需要拆分(使用split指令)
- 湖南大学计算机分流,按大类招生专业分流的实施细则
- ASEMI超快恢复二极管SF58资料
热门文章
- 修改MySQL日志文件位置
- python 字典操作 内存占用,python - 如何强行释放字典使用的内存? - SO中文参考 - www.soinside.com...
- springboot输出hello world_Spring Boot 入门教程 | 图文讲解
- python虚拟环境管理app_pyenv虚拟环境管理python多版本和软件库
- java集合框架史上最详解(list set 以及map)
- html(常用标签)
- Sklearn的train_test_split用法
- 多线程 阻塞队列中的poll与take区别
- tensorflow eager调试模式关键导入如下两行便于debug
- Oracle SQL Loader的详细语法