Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification

文章目录

Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification
- 摘要
- 1 引言
- 2 相关研究
- 3 方法
- - 3.1 算法
  - 3.2 对CutMix的理论改进
  - 4 实验
- 5 结论
- 6 思考

摘要

之前的区域丢弃方法（cutout、cutmix等）通过部分遮挡对象的区分部分来促进网络更好地泛化，但都随机丢弃，而没有捕获对象中最重要的区域。本文提出了Attentive CutMix，训练过程中基于来自特征提取器的中间注意力图来选择最具描述性的区域，搜索图像中最具区别性的部分。

1 引言

图1比较了涉及到的相关策略：

本文的动机：**之前的区域丢弃策略都是随机选择区域，但是最具区别性的部分可能有更好的效果。**为此，在CutMix基础上增加了注意力机制，也就是本文的Attentive CutMix方法。

2 相关研究

数据增广

朴素数据增广：翻转，旋转，缩放，裁切，对比度，平移，添加高斯噪声等。
针对自然数据数据增广：不同季节的效果
本文首先从对象中识别出最重要的部分，然后剪切和粘贴来生成新图像。

CutMix

将一个图像中的块随机剪切并粘贴到另一个图像上，同时将真实标签按块大小成比例地混合在一起

注意力机制

本文介绍了一种简单的基于注意力的区域选择，可以在空间上找出最有区别的部分。

3 方法

3.1 算法

x~=B⊙x1+(1−B⊙x2)y~=λy1+(1−λ)y2\tilde{x}=\mathbf{B}\odot x_1+(\mathbf1-\mathbf{B}\odot x_2)\\ \tilde{y}=\lambda{y_1}+(1-\lambda)y_2 x~=B⊙x1+(1−B⊙x2)y~=λy1+(1−λ)y2

B\mathbf{B}B是二进制掩模。

将图像A经过预训练分类模型，获得热力图（以7×7为例）。
从7×7网格中选择top“ N”个块作为注意力区域色块，从给定图像中剪切出来。
从图像A中剪切出这些选中的块，粘贴到图像B上的相应位置。
对于组合标签y~\tilde{y}y~，假设从7×7网格中挑选出前6个注意块，则λ将为649\frac{6}{49}496。

3.2 对CutMix的理论改进

Attentive CutMix不是随机选择块，而是借助预训练网络确定图像中最具区分性的区域。这项技术的有效性与预训练模型直接相关。

Attentive CutMix通过使用注意力消除随机性使图像融合更加健壮，在块选择和粘贴两方面得到了改善。

4 实验

top6可以取得最佳平均性能，6个以下不能为第二张图像中的对象提供足够的遮挡，6个以上可能会给图像中的对象提供过多的遮挡。

方法的缺点是：除了要训练的实际网络之外，还需要预训练的特征提取器。但是，根据分类任务以及模型和数据集的训练复杂性，可以更改在数据增强中使用的预训练提取器的大小。

5 结论

提出了Attentive CutMix，基于注意力的数据增强方法，自动找到对象的最有区别的部分，将其替换为从其他图像切出的块。
在CIFAR-10/100上进行的实验评估验证了方法的有效性，对各种网络体系结构均有改进。

6 思考

算法很简单，在cutmix基础上加了注意力块。但是还是没有解决标签构造的问题。将图A中最有区别性的区域放到了图B中，但是标签还是按照面积占比进行计算，感觉是不合理的。而且，生成的图像不会像图2中那么好，高响应的位置往往集中在一起。

论文阅读：Attentive CutMix相关推荐

论文阅读和分析： “How Attentive are Graph Attention Networks?”
下面所有博客是个人对EEG脑电的探索,项目代码是早期版本不完整,需要完整项目代码和资料请私聊. 数据集 1.脑电项目探索和实现(EEG) (上):研究数据集选取和介绍SEED 相关论文阅读分析: 1. ...
【论文阅读翻译】A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDING
[论文阅读翻译]A STRUCTURED SELF - ATTENTIVE SENTENCE EMBEDDING Abstruct 1. Introducion 2. Approach 2.1 Mod ...
《NAIS: Neural Attentive Item Similarity Model for Recommendation》论文阅读及解析
<NAIS: Neural Attentive Item Similarity Model for Recommendation>论文阅读及解析论文翻译 NAIS模型论文解析 NAIS模 ...
论文《Attentive Recurrent Social Recommendation》阅读
论文<Attentive Recurrent Social Recommendation>阅读论文概况 Introduciton Problem Definition and Preli ...
YOLOv4论文阅读（附原文翻译）
YOLOv4论文阅读(附原文翻译) 论文阅读论文翻译 Abstract摘要 1.Introduction 引言 2.Related work相关工作 2.1.Object detection mod ...
深度学习论文阅读目标检测篇（七）中英对照版：YOLOv4《Optimal Speed and Accuracy of Object Detection》
深度学习论文阅读目标检测篇(七)中英对照版:YOLOv4<Optimal Speed and Accuracy of Object Detection> Abstract 摘要 1. In ...
[论文阅读笔记53]2021深度神经方法的关系三元组抽取综述
1. 题目 Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey Tapas Nayak†, N ...
YOLOv4论文阅读笔记（一）
YOLOv4论文阅读笔记 Introduction Related work Bag of freebies Bag of Specials 近日发表的YOLOv4无疑是2020年目前最轰动的重磅炸弹 ...
论文阅读和分析：《DeepGCNs: Can GCNs Go as Deep as CNNs?》
下面所有博客是个人对EEG脑电的探索,项目代码是早期版本不完整,需要完整项目代码和资料请私聊. 数据集 1.脑电项目探索和实现(EEG) (上):研究数据集选取和介绍SEED 相关论文阅读分析: 1. ...

论文阅读：Attentive CutMix