论文题目：End-to-end representation learning for Correlation Filter based tracking, CVPR2017

论文主页：http://www.robots.ox.ac.uk/~luca/cfnet.html

源码链接：https://github.com/bertinetto/cfnet

相关推导：https://blog.csdn.net/discoverer100/article/details/80030294#commentBox （非常详细）

1. 论文摘要、贡献

图一：CFNet整体架构。非对称的孪生网络，非对称部分是由于correlation filter部分引起的，作者是想把cf引入到神经网络中，从而能够实现end-to-end优化。training images和testing images首先都经过相同的卷积特征提取网络提取特征，其中training images提取出来的卷积特征进而通过correlation filter得到线性模板，这个线性模板将通过与testing images的特征图进行交叉相关进而得到目标定位的响应图。

相关滤波器通过训练一个线性模板从而可以判别frame-frame之间目标的平移。由于该方法在傅里叶空间中存在快速解以及detector可以通过每一帧图像进行实时的更新。先前的工作主要是融合手工设计的特征和特定任务下卷积特征到DCF跟踪框架中。作者首先提出了将CF改写成可微分的神经网络层，进而和特征提取网络整合到一起从而实现end-to-end的优化。这样，提取到的卷积特征就精密耦合到相关滤波器中。本文的最大亮点在于采用轻量级的架构却实现了state-of-the-art的结果。

原始的全卷积孪生神经网络仅仅考虑到了跟踪帧与初始帧的匹配，并没有跟踪模型跟踪过程。相比之下，作者每一帧都会计算一个新的模板，并且和之前的模板进行线性组合。然而在深度特征情况下，该方法并没有足够收益，作者对他的解释是因为深度卷积网络的特征表达很强，CF神经网络层仅相当于网络结构层的一部分。

2.CFNet数学原理

2.1 Fully-convolutional Siamese networks

x`代表利用卷积神经网络输出样本的特征图像；

z`代表可用卷积神经网络输出搜索区域的特征图像；

fp()代表卷积网络进行特征提取操作； ☆代表交叉相关操作；

SiameseFC实际上就是利用强特征进行最佳匹配跟踪的方法。

2.2 Correlation Filter networks

本文作者是在SiameseFC基础之上提出的CFNet，主要就是融入了correlation filter神经网络层。其公式表达如下：

1. w=w(*) 可以通过在傅里叶空间中解脊回归，从训练的特征图x=f(x`)中计算到标准的CF模板。这个效果可以理解为制作一个对平移鲁棒的特征。
2. 标量参数s and b分别代表尺度和偏移量，效益是为了使得分数范围适用于Logistic regression。
3. 离线的训练和SiameseFC一致

Note：
1.作者探究目标区域越大，跟踪算法的性能越好。所以作者采用255*255的目标拓展区域，通过CNN特征提取后，特征图大小为49*49*32， channel=32是为了保证算法的跟踪速度。经过CF层级处理后，进行裁剪得到目标模板17*17*32.

2.为了减小循环边界效应，作者采用了余弦窗函数处理特征图x=f(x`)。

关于反向传播的证明参考越野者的博客：https://blog.csdn.net/discoverer100/article/details/80030294#commentBox

3.实验

应用上的一些区别：

3.1 作者采用的基线算法与原文是不一样的。首先是目标提取的尺寸，本文作者采用了很大的外延拓展达到了255*255；此外，在空间分辨率降采样方面，SiameseFC采用stride=8； CFNet采用stride=4；主要是为了避免使用较小的特征图训练correlation filter。

3.2 做着卷积特征网络最后一层输出了32个通道，主要为了权衡在线跟踪实时更新过程中，保证跟踪的速度。

此图证明了CFNet并没有因为特征网络更深而表现出性能更好。此外，当特征提取网络达到5层情况下，CFNet的跟踪效果与基线算法SIamsesFC具有相似的精度，因此CFNet的优势应该表现在浅层网络上，即作者谈到的light-architecture。

此图证明了，跟踪器模板在线更新是有意义的。实线表示模板更新率为0.01，点画线没有模板更新过程。这个结论与SiamsesFC的结论刚好相反。SiamsesFC作者认为，采用滑动平均在线更新模板并没有得到较好的性能收益

CFNet：End-to-end representation learning for Correlation Filter based tracking相关推荐

CVPR 2017 CFNet:《End-to-end representation learning for Correlation Filter based tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做CFNet.作者在论文中提到,以前的工作只是将CF应用到了预训练的CNN特征上,并没有实现端到端的CNN-CF的结合.本文的主要贡献就是:推导了CF的可微闭合解, ...
ICLR 2023：基于 diffusion adversarial representation learning 的血管分割
ICLR 2023:基于 diffusion adversarial representation learning 的血管分割目录前言概述 DDPM switchable SPADE laye ...
ICML 20： MVGRL Contrastive Multi-View Representation Learning on Graphs
talk 这篇文章是图对比学习中常会比较的一篇文章. 原论文中的数据都存在问题,由于dgl的数据集问题,很多人无法在cora复现出86.大多结果都在82-83.文章核心采用 ppnp来进行视图生 ...
SimSiam：Exploring Simple Siamese Representation Learning
Siamese网络最大化了一个图像的两个增强之间的相似性,服从于避免崩溃解的某些条件.在本文中,SimSiam即使不使用以下任何一项也可以学习有意义的表示:(i)负样本对,(ii)大批量,(iii)动 ...
Re3：读论文 PGE A Representation Learning Framework for Property Graphs
诸神缄默不语-个人CSDN博文目录论文下载地址:A Representation Learning Framework for Property Graphs 代码:yaobaiwei/PGE: A ...
【论文笔记】Towards Universal Sequence Representation Learning for Recommender Systems
论文详细信息题目:Towards Universal Sequence Representation Learning for Recommender Systems 作者:Yupeng Hou a ...
MOCKINGJAY: UNSUPERVISED SPEECH REPRESENTATION LEARNING WITH DEEP BIDIRECTIONAL TRANSFORMER ENCODERS
文章:MOCKINGJAY: UNSUPERVISED SPEECH REPRESENTATION LEARNING WITH DEEP BIDIRECTIONAL TRANSFORMER ENCOD ...
对比学习系列论文MoCo v1（二）：Momentum Contrast for Unsupervised Visual Representation Learning
0.Abstract 0.1逐句翻译 We present Momentum Contrast (MoCo) for unsupervised visual representation learni ...
【AAAI 2021】自监督目标检测知识蒸馏：Distilling Localization for Self-Supervised Representation Learning
[AAAI 2021]自监督目标检测知识蒸馏:Distilling Localization for Self-Supervised Representation Learning 论文地址: 代码地 ...

CFNet：End-to-end representation learning for Correlation Filter based tracking