SamplePairing:针对图像处理领域的高效数据增强方式 | PaperDaily #34
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。
在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。
点击本文底部的「阅读原文」即刻加入社区,查看更多最新论文推荐。
本期推荐的论文笔记来自 PaperWeekly 社区用户 @chenhong。本文提出了一种高效数据增强方式 SamplePairing,没有任何公式,没有任何框架,任何 CPU 都能处理。
如果你对本文工作感兴趣,点击底部的阅读原文即可查看原论文。
关于作者:陈泰红,小米高级算法工程师,研究方向为人脸检测识别,手势识别与跟踪。
■ 论文 | Data Augmentation by Pairing Samples for Images Classification
■ 链接 | https://www.paperweekly.site/papers/1523
■ 作者 | chenhong
论文动机
这是 IBM 在 arXiv,2018 年 1 月 9 日新挂的一篇论文,主要研究数据增强。核心思想很简单,小学生都会,求平均值。这是我见到 CNN 领域最简单的一篇论文。
数据增强是机器学习任务中广泛使用的技术,如图像处理领域,人工标注数据成本昂贵,而 CNN 的训练有需要大量标注数据避免过拟合。图像处理领域常用的数据增强技术有旋转、扭曲、添加少量噪音、从原图像裁剪等。
本文提出了一种高效数据增强方式 SamplePairing:从训练集随机抽取的两幅图像叠加合成一个新的样本(像素取平均值),可以使训练集规模从 N 扩增到 N*N。没有任何公式,没有任何框架,简单易懂简洁明了,任何 CPU 都能处理。
论文在使用 GoogLeNet,在 ILSVRC 2012 数据集从 top-1 错误率从 33.5% 降低到 29%,在 CIFAR-10 数据集 top-1 错误率从 8.22% 降低到 6.93%。这对训练集有限的任务而言,提高了模型的准确性。
模型介绍
论文的模型结构 SamplePairing 如上图所示。模型虽然很简单,但是还得消化一下为什么简单有效。
先说一下实现过程。训练图像 A 是随机的,从训练集随机抓取图像 B,(A 和 B 都是 ILSVRC2012 的图像,分辨率 256x256)两者都经过基本的数据增强(随机翻转,萃取),分辨率变为 224x224,对两幅图像求平均值,但是 label采用的是 A,之后送入 GoogLeNet 模型。因此,SamplePairing 随机从图像集中创建新的图像,而且 label B 未使用。
图像 A 和 B 在模型中的权重是一致的,即使使用大型网络,训练误差也不能变成 0,训练精度平均不能超过 50%。对于 N 分类器,最大训练精度是 0.5+1/(Nx2)。
尽管 SamplePairing 的训练精度不会很高,当停止 SamplePairing 作为最终微调时的训练,训练精度和验证精度很快改善。
经过微调模型,使用 SamplePairing 训练的网络比未使用 SamplePairing 训练的模型都高很多。论文认为使用 SamplePairing 是一种正则化。
在 mix 之前有其他数据增强方式,在 CPU 执行,而反向传播的训练过程在 GPU 执行,这样 CPU 和 GPU 并行计算,没有限制增加总的训练时间。
论文的训练过程如下:
1. 先不使用 SamplePairing 数据增强训练,而是先使用传统的数据增强训练网络。
2. 完成一个 epoch(ILSVRC)或者 100 个 epoch(其他数据集),加入 SamplePairing 数据增强。
3. 间歇性禁止 SamplePairing。对于 ILSVRC 数据集,为 300,000 个图像启用 SamplePairing,然后为下一个 100,000 个图像禁用它。对于其他数据集,启用 8 个 epoch,在接下来的 2 个 epoch 禁止 SamplePairing。
4. 在训练损失函数和精度稳定后,禁止 SamplePairing 作为微调。
实验
论文的模型在多个数据集进行验证:ILSVRC 2012,CIFAR-10,CIFAR-100,以及 Street View House Numbers (SVHN) datasets。
以 CIFAR-10 为例,validation 误差一致在波浪形震荡,800epoch 之后才趋于稳定,此时误差才小于不使用 SamplePairing 的模型。
论文表 1 所示 training error 会增加,而 validation error 会减小,说明正则化效果明显。在 CIFAR 训练集减少样本个数,训练和验证误差相差不大。
文章评价
目前作者论文仅仅在 ILSVRC 2012 验证分类的错误率,其他数据集比如目标检测,语义分割是否有效?有研究能力的同志们赶紧往前冲,这又是一个坑。
论文给出一种数据增强方式,也用实验验证确实有效,但是为什么有效?
个人认为相当于随机引入噪声,在训练样本中人为引入误导性的训练样本。 如果不是 IBM 的论文,我估计也不会认真研究一番的。在论文满天飞的年代,名企名校名人还是占优势的。
本文由 AI 学术社区 PaperWeekly 精选推荐,社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向,点击「阅读原文」即刻加入社区!
△ 戳我领取新年礼物
参与方式
1. 长按识别下方二维码参与投票
2. 文末留言你喜欢某篇论文的原因
3. 分享本文到朋友圈并截图发至后台
截止时间
2018年1月24日0点0分
福利清单
PaperWeekly定制手机壳 x 3份
PaperWeekly定制笔记本 x 5份
PaperWeekly定制行李牌 x 10份
△ 我们长这样哦~
长按扫描二维码,参与投票!
▼
# 高 能 提 醒 #
1. 为了方便大家在投票过程中查看论文详情,请勿使用微信内置浏览器。点击页面右上角的“…”按钮,在手机浏览器中打开表单。
2. 本次评选包含自然语言处理和计算机视觉两大方向,请在你所选择的参与方向下勾选3-10篇论文。
3. 获奖名单将于1月25日公布,其中5位由小编根据文末留言选取,其他13位采用随机抽取,礼物随机发放。
长按扫描二维码,马上投票!
▼
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
▽ 点击 | 阅读原文 | 查看原论文
SamplePairing:针对图像处理领域的高效数据增强方式 | PaperDaily #34相关推荐
- Random ErasingCutout——两种相似的数据增强方式
本文针对两种相似的数据增强方式--Random Erasing&Cutout进行解读.他们的相似点在于都是随机对输入图像遮挡一部分. Random Erasing 论文下载链接:https:/ ...
- 全新数据增强方式KeepAugment,简单高效提升模型精度!
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨Edison_G 来源丨计算机视觉研究院 导读 数据增强(DA)是深度学习训练过程中,必不可少的 ...
- 总结 62 种在深度学习中的数据增强方式
数据增强 数据增强通常是依赖从现有数据生成新的数据样本来人为地增加数据量的过程 这包括对数据进行不同方向的扰动处理 或使用深度学习模型在原始数据的潜在空间(latent space)中生成新数据点从而 ...
- 数据增强方式mosaic(基于yolo4)代码实现python
近几天在研究数据增强的方式,看到了mosaic,并且需要用到它,查阅了一些代码,根据个人数据,修改了代码,现有三套代码实现了mosaic,但也有些许问题. mosaic数据增强方式是一次性从数据集中随 ...
- 【ACL 2022】Text Smoothing:针对文本分类任务的数据增强方法
文章目录 1.前言 2.详细过程 3.实验 4.总结 1.前言 数据增强一直都是 CV.NLP 领域广泛应用的技术,尤其是在数据资源极少的情况下.简单来说,就是扩充训练集的规模来缓解过拟合的问题,提高 ...
- 为YOLOv5、YOLOv8带来全新的数据增强方式-合成雾增强算法
简介 BestYOLO:https://github.com/WangRongsheng/BestYOLO BestYOLO是一个以科研和竞赛为导向的最好的YOLO实践框架! 目前BestYOLO是一 ...
- 【YOLOV5-6.x讲解】数据增强方式介绍+代码实现
主干目录: [YOLOV5-6.x 版本讲解]整体项目代码注释导航现在YOLOV5已经更新到6.X版本,现在网上很多还停留在5.X的源码注释上,因此特开一贴传承开源精神!5.X版本的可以看其他大佬的帖 ...
- 从 CV 到 NLP,深度学习领域的数据增强有哪些?
2019-12-09 04:31:10 作者 | 张宁(哈工大SCIR) 编辑 | 唐里 本文转载自公众号 哈工大SCIR 数据增强(Data Augmentation)是一种通过让有限的数据产生更多 ...
- NLP 中的通用数据增强方法及针对 NER 的变种
本文结合 A Visual Survey of Data Augmentation in NLP 和最新的综述论文 A Survey of Data Augmentation Approaches f ...
最新文章
- Visual studio 2017基本配置
- matlab3dimshow_matlab利用MATLAB嵌套函数表示3D作图
- boost::thread模块实现默认执行器的测试程序
- 计算机二级改错题在c里面改,全国计算机二级C改错题总结
- 《进击吧!Blazor!》系列入门教程 第一章 7.图表
- 一维信号小波阈值去噪 c语言,一维信号小波阈值去噪
- Win11体验——该来的来了,该走的没走,不该走的走了
- python爬虫scrapy连接mongodb_爬虫框架scrapy和数据库MongoDB的结合使用(二)实战
- 【NOIP2001】【Luogu1049】装箱问题
- 深入浅出妙用 Javascript 中 apply、call、bind
- 有基础学python看什么书好_python入门学习看什么书好,有什么书籍推荐
- 2016年总结:教师路的开启,爱情味的初尝 (上)
- 个人怎么申请微信公众号
- 三色旗问题中的快排应用
- 如何手机桌面加计算机,教你自制手机、电脑壁纸|手机一键加字、加光晕特效,4步搞定!...
- 计算机视觉 || 手写字体检测
- 高仿知乎android,Android高仿知乎首页Behavior
- 飞思卡尔芯片上锁常见原因及解锁方法
- HTML绘制七巧板,canvas绘制七巧板
- 如何实现 Oracle 的自增序列,两步轻松搞定