RASNet阅读笔记：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Vis

CVPR2018 论文在此
文章全称：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Visual Tracking
论文作者在知乎也进行了详细的介绍：https://zhuanlan.zhihu.com/p/34222060

RASNet使用三个attention机制对SiamFC特征的空间和channel进行加权，分解特征提取和判别性分析的耦合，用来提升判别能力。

##摘要
最近目标跟踪中通过离线训练的方式来平衡跟踪的精度和速度，显示出了巨大的潜力。然而在在线跟踪中，离线训练出的模型很难适应不同的跟踪目标。作者提出了残差注意力孪生网络（Residual Attentional Siamese Network），简称RASNet，用来高性能的目标跟踪。这个网络模型在孪生网络的框架下重新建立相关滤波器，并且引入了几种不同的注意力机制来适应模型，而不是通过模型的在线更新。也就是说，通过利用离线训练好的general attention,residual attention和channel attention这三个注意力模型，RASNet不仅能够减小深度网络训练中的过拟合问题，还能够提高网络的判别能力和自适应力。作者提出的网络可以端到端训练，充分利用了跟踪序列丰富的时空信息来获得鲁棒的视觉跟踪。作者在最新的两个评价基准上进行实验，OTB2015和VOT2017，表明了RASNet跟踪器有着优越的精度，并且速度超过了80fps。

作者基于SiameseFC结构，提出了新的网络结构如下：

最终响应，也就是weighted cross correlation function，如下：
fp′,q′=∑i=0m−1∑j=0n−1∑c=0d−1γi,j,cϕi,j,c(z)ϕp′+i,q′+j,c(x)+bf_{p',q'}=\sum_{i=0}^{m-1}\sum_{j=0}^{n-1}\sum_{c=0}^{d-1}\gamma _{i,j,c}\phi _{i,j,c}(z )\phi _{p'+i,q'+j,c}( x )+bfp′,q′=i=0∑m−1j=0∑n−1c=0∑d−1γi,j,cϕi,j,c(z)ϕp′+i,q′+j,c(x)+b

本文的关键就是这个γi,j,c\gamma _{i,j,c}γi,j,c
γi,j,c=(ρˉi,j+ρ~i,j)βc\gamma _{i,j,c}=(\bar{\rho }_{i,j}+\tilde{\rho}_{i,j} )\beta _cγi,j,c=(ρˉi,j+ρ~i,j)βc

ρˉi,j\bar{\rho }_{i,j}ρˉi,j是general attention，通过学习生成一个类似于高斯框的东东，表征目标的空间信息，一幅图像不同位置的所表达的重要性不同：

$\tilde{\rho}{i,j} 是residualattention，沙漏结构，与是residual attention，沙漏结构，与是residualattention，沙漏结构，与\bar{\rho }{i,j}$合称dual attention，residual attention表征目标的语义信息，增加了判别性。

βc\beta _cβc是channel attention，通过池化、MLP，最后sigmoid输出通道权重。不同通道的重要性也不一样，表征的是目标的通道信息。

其实channel attention和general attention所用的方法在跟踪中都很常见，本文的亮点在于作者加入的这个residual attention

RASNet阅读笔记：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Vis相关推荐

Learning Attentions: Residual Attentional Siamese Network for High Performance Online Visual Track笔记
该文是注意力机制应用的巅峰.简单的说本文就是:Siamese+CSR-DCF 该文首先对SRDCF.CSR-DCF等使用了特征加权的非深度学习方法和SimaseFC等的深度学习方法进行了介绍,指出非深 ...
CVPR 2018 RASNet:《Learning Attentions: Residual Attentional Siamese Network for Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做RASNet,在Siamese框架下重构了CF,提出了三种attention机制(general.residual.channel),这三种attention的提 ...
毫米波目标检测论文阅读笔记 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar
毫米波目标检测论文 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar Jie Ba ...
【论文阅读记录】孪生网络（Siamese network）
前言: { 之前深度学习不流行的时候,一般像指纹鉴别这种任务都需要很复杂的特征工程(比如寻找角点[1])来完成.我在谷歌搜索了深度学习的指纹识别解决方案,之后搜到了[2],便因此了解到了孪生网络(Si ...
【论文笔记】LSNet: Extremely Light-Weight Siamese Network For Change Detection in Remote Sensing Image
论文论文题目:LSNET: EXTREMELY LIGHT-WEIGHT SIAMESE NETWORK FOR CHANGE DETECTIONOF REMOTE SENSING IMAGE 投递 ...
[图像融合-论文笔记]A multiscale residual pyramid attention network for medical image fusion一种用于医学图像融合的多尺度残差金
A multiscale residual pyramid attention network for medical image fusion 一种用于医学图像融合的多尺度残差金字塔注意网络作者: ...
文献阅读笔记 # Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
<Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks> 用于快速搭建NLP任务的demo的开源项目sbert的原始 ...
【文献阅读笔记之】ACFNet: Attentional Class Feature Network for Semantic Segmentation
摘要传统的语义分割网络大的是从空间的角度设计的,充分利用丰富的上下文信息.文章中提出一种新的观点,类中心,即从分类的角度提取全局的上下文.除此之外,作者还提出一个新的模块,名为注意类特征(ACF)模 ...
视频分类论文阅读笔记——Learning Spatiotemporal Features With 3D Convolutional Networks
论文:Learning Spatiotemporal Features With 3D Convolutional Networks 作者:FaceBook AI研究院来源:ICCV2015 代码: ...

RASNet阅读笔记：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Vis

RASNet阅读笔记：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Vis相关推荐

最新文章

热门文章