Contrastively-reinforced Attention Convolutional Neural Network for Fine-grained Image Recognition

个人感觉，这篇论文没有太多创新点，效果也一般般

文章目录

Contrastively-reinforced Attention Convolutional Neural Network for Fine-grained Image Recognition
- 摘要
- 1 引言
- 2 相关研究
- 3 方法
- - 3.1 ART模块
  - 3.2 对比加强
- 4 实验
- 5 结论

摘要

灵感来源：通过将图像与相同/不同标签的图像进行对比，注意到关键线索位于某些对象中，其他对象可忽略。

提出了对比增强的注意力卷积神经网络（CRA-CNN），主要包含两部分：分类分支和注意力正则化分支。前者进行分类，同时建议将输入的视觉信息分为注意力信息和冗余信息，后者评估注意力和冗余信息并对其进行对比。

1 引言

注意力定位可以帮助保留有用信息忽视无用信息，但注意力定位复杂，代价昂贵或者准确率低。

本文专注于增强CNN激活对视觉注意力的感知。调节网络以更多地响应核心注意力，该部分在不同条件下（背景，姿势，光照等）是不变的。这样，网络可以在任何条件下响应正确的线索，并减少视觉冗余的影响。

对比增强的注意力卷积神经网络（CRA-CNN），该网络由两个分支组成：

分类分支NclsN_{cls}Ncls
1. 预测图像类别
2. 从给定图像学到的信息中，生成一组注意参数，输入到ART模块中。ART模块将将输入信息分成注意力和冗余。
注意力正则化分支NarN_{ar}Nar

NarN_{ar}Nar评估NclsN_{cls}Ncls的注意力/冗余提议，并调节NclsN_{cls}Ncls的激活

训练过程二者都有，测试过程只有NclsN_{cls}Ncls，除了softmax损失外，还训练具有三重态损失的NarN_{ar}Nar来分离同一图像的注意力冗余对，并拉近不同图像的冗余度。

2 相关研究

基于区域的注意力学习

主流研究通过定位注意力区域进行分类，从而克服了类别间的相似性和类别内的差异。

注释方法不实际。无监督或弱监督方法的缺点：研究人员必须手动固定注意力区域的大小，形状等；裁剪局部区域不可避免地会丢失一些视觉信息。

注意感知的深层功能

一些研究通过对深层特征采用选择性或加权方案来专注于学习注意力。

本文方法不集中在设计额外复杂的方案以将某些权重应用于CNN特征，而是通过具有设计损失的子网的注意力调节来增强注意力感知

3 方法

分类分支是我们想要提升注意力的目标分支
注意力正则分支由于增强分类分支
两个分支通过ART模块连接。ART模块包含注意力转换模块（AT模块）和冗余转换模块（RT模块）
约束损失LresL_{res}Lres使变换在合理范围内。 NarN_{ar}Nar识别出注意力的类别，该类别应与输入的类别相同，然后拉近/推远变换后的图像。
NclsN_{cls}Ncls必须同时进行
1. 预测给定图像的类别
2. 预测以NclsN_{cls}Ncls内部的关注信息为条件的转换
3. 确保转换后的图像中包含/排除的视觉信息具有区别性/冗余性

3.1 ART模块

ART模块必须满足三个要求：

ART模块应该是可区分的，可以嵌入神经网络中
ART模块应该是简单且易于优化
自动调整注意力的位置，大小和角度，以有效反映NclsN_{cls}Ncls的注意力

ART模块通过克服ST模块的缺点而从ST模块修正而成

预备知识：ST模块，也就是空间变换模块。文章里面这一部分符号较乱，统一了一下：

ART模块

分类网络产生四个参数，用于注意力

约束

我们对ART模块施加了限制，以避免无意义的转换：

注意力损失（E=[e1,e2,e3,e4]E=[e1,e2,e3,e4]E=[e1,e2,e3,e4]是ΓΓΓ的期望值）：

3.2 对比加强

图像成对输入（按照我的理解，应该是同label的）

其中ddd表示欧几里得距离，而farf_{ar}far表示NarN_{ar}Nar的深层特征。

在训练过程中，最小化了多任务目标函数：

在测试过程中，仅使用分类器。

4 实验

基线是resnet50和resnet101，可见这篇论文的水平，backbone是resnet50和resnet101，那肯定会有提升呀。

5 结论

提出了对比增强的注意力卷积神经网络（CRA-CNN），提高深度激活的注意力感知能力。CRA-CNN由两个分支组成，通过ART模块连接。注意力正则化分支通过评估注意/冗余信息来迫使分类分支探索核心注意区域。
易于实现，成本低廉，简单，准确性有竞争力。

论文阅读：CRA-CNN对比增强的注意力卷积神经网络相关推荐

论文解读丨基于局部特征保留的图卷积神经网络架构(LPD-GCN)
本文分享自华为云社区<论文解读:基于局部特征保留的图卷积神经网络架构(LPD-GCN)>,原文作者:PG13 . 近些年,很多研究者开发了许多基于图卷积网络的方法用于图级表示学习和分类应用 ...
DL之CNN优化技术：学习卷积神经网络CNN的优化、实践经验(练习调参)、从代码深刻认知CNN架构之练习技巧
DL之CNN优化技术:学习卷积神经网络CNN的优化.调参实践.从代码深刻认知CNN架构之练习技巧目录卷积神经网络CNN调参学习实践练习技巧 1.练习攻略一 2.VGG16练习攻略二卷积神经网络 ...
论文阅读：CNN+GCN
论文名称:卷积神经网络加上图卷积神经网络的边界回归方法用于医学图像分割. 期刊名称:ISSV 2019 作者:Yanda Meng Meng Wei. 作者单位:利物浦大学以及中科院宁波工业技术研究院 ...
CNN笔记：通俗理解卷积神经网络【转】
本文转载自:https://blog.csdn.net/v_july_v/article/details/51812459 通俗理解卷积神经网络(cs231n与5月dl班课程笔记) 1 前言 2012 ...
CNN笔记：通俗理解卷积神经网络
通俗理解卷积神经网络(cs231n与5月dl班课程笔记) http://blog.csdn.net/v_july_v/article/details/51812459 1 前言 2012年我在北京组织 ...
CNN笔记：通俗理解卷积神经网络--理解不同输入通道和卷积核通道关系（红色部分）
1 前言 2012年我在北京组织过8期machine learning读书会,那时"机器学习"非常火,很多人都对其抱有巨大的热情.当我2013年再次来到北京时,有一个词似乎比&qu ...
【算法笔记】CNN Convolutional Neural Network （卷积神经网络）
1. 先皮一会久仰CNN的大名,进入新闻界,加入美国有线电视新闻网,成为一个跑得飞快的记者一直是我的梦想.但是,平庸的才能无法让我成为一名空间移动系的法师,现在只能努力成为一名精神系人偶师. 话说前 ...
论文阅读-利用时间序列数据增强来提高全球预测模型的准确性
Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation 全球预测模型(GFM), ...
论文阅读-使用CNN从双平面X光片走向自动化3D脊柱重建以进行统计脊柱模型拟合
Toward Automated 3D Spine Reconstruction from Biplanar Radiographs Using CNN for Statistical Spine M ...

论文阅读：CRA-CNN对比增强的注意力卷积神经网络