这个工作是中科院王强博士的工作，也是第二个将特征提取网络和协同滤波网络级联到一起进行端到端训练的文献，在后续先后出现了CREST、FlowNet with temporal and spatial atttention等。

1. 论文的意义

判别滤波器目前是在线目标跟踪领域非常主流的方法。当前的发展方向主要是：

在传统DCF基础之上进行多核等研究
融合深度学习，从最开始的训练深度特征提取器到目前的基于网络的end-to-end设计
更加细致的研究spatial-temporal regularization

王强博士这篇文章对理解end-to-end的DCF设计具有很好的参考意义。

在这片文章中，作者设计了如图一的轻量级的网络机构，同时完成卷积特征提取过程和在线协同滤波跟踪。特别之处在于，在一个孪生网络中Siamese network，作者将判别协同滤波器看陈特殊的协同滤波器层 special correlation layer，王强博士也给出了详细的反向传播推导过程。因为推导仍然在傅里叶空间中进行，所以DCFNet保留了非常好的跟踪时效性（>60pfs）。

2.作者提出的网络框架

首先回顾了判别相关滤波器的基本原理，然后详细推导传播过程，最后作者介绍了在线跟踪过程，并从RNN的角度给出了一个合理的解释。

2.1. 判别式相关滤波器

在标准的判别式相关滤波器中，我们根据目标区域φ(x)∈M*N*D的特征 和期待的高斯分布响应 y∈M*N训练一个判别式的回归函数。那么，期待的滤波器w可以通过最小化脊损失（ridge loss）获得：

☆代表循环相关，正是因为循环相关可以在傅里叶空间内进行快速运算，所以DCF才会具有非常高的时间性能。λ是正则化系数。

上面的公式可以求解，为：

^代表傅里叶空间，*代表复共轭，圈点代表hadamard product。

一旦我们构建好了滤波器就可以直接用于检测了，在后续过程只需要关注滤波器的跟新就好了（如何更新也是DCF研究的重点方向）。在检测过程中，我们首先在新的一帧中剪裁寻找区域search patch，然后提取这个patch的特征φ(z)，通过定位滤波器的最大响应就可以估计目标在前后两帧的平移，具体为：

2.2 DCFNet 推导：反向传播过程

传统的基于DCF的跟踪器只能试探性的精修超参数，而本文提出的网络结构可以同时精修特征提取部分的超参数和DCF部分的超参数。就像图一的网络结构图所示，本文通过级联特征提取网络和DCF模块得到目标的位置响应。当给定搜索区域patch的特征φ(z)，目标响应~g应该在真实的目标位置得到一个更高的响应，所以目标函数可以设计为：

很明显，下面的公式是成立的：

因为前向通路的操作仅包含Hadamard乘积和除法，我们就可以按元素求偏导：

所以，检测阶段网络传播为：

学习阶段的网络传播为：

因为相关滤波层中的传播操作仍然是在傅里叶空间中进行的，我们可以保留DCF的快速跟踪特性。离线使用大量数据集进行测试，就可以得到一个功能定制的特征提取器为DCF在线跟踪。

2.3 在线模型更新：一种RNN的解释

在线跟踪过程中，我们只需要更新滤波器空间的傅里叶变换系数。所以传统的DCF优化问题可以写为一个增量模式：

同时，传统DCF的闭式解也可以拓展到时间序列：

增量更新的好处在于，我们不需要一个大的样本数据集，只需要很小的内存占用。作者也是把该该过程看成了一个RNN网络：

3.测试情况

特征提取层：VGG

训练视频：NUS-PRO、TempleColor 128、 UAV123；

作者研究了切除性影响ablation analysis 、尺度变换数量的作用

DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING相关推荐

CVPR 2018 MCCT:《Multi-Cue Correlation Filters for Roubust Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫MCCT,使用多个独立的基于DCF的expert进行跟踪,在每一帧中选择当前最优的expert,将其结果作为当前帧的跟踪结果. 文中使用了7个expert,每个ex ...
CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做SANet.作者在论文中提到,CNN模型主要适用于类间判别,对于相似物体的判别能力不强.作者提出使用RNN对目标物体的self-structure进行建模,用于提 ...
[译]SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks--翻译
来自商汤科技的一篇论文--翻译稿 code--GitHub 项目主页摘要基于孪生网络的跟踪器将跟踪表述为目标模板和搜索区域之间的卷积特征互相关.然而,与最先进的算法相比, 孪生网络的算法仍然有一个 ...
Learning Spatio-Temporal Transformer for Visual Tracking——精读笔记
本篇精读笔记,对原文重要部分做了严格翻译,如摘要和总结.对正文部分做了提炼,对重点部分突出标注.对参考文献做了分类.本文内容较长,如果时间有限可以直接跳到感兴趣的小节阅读. 论文地址:https:// ...
文献学习(part44)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking
学习笔记,仅供参考,有错必纠关键词:视觉对象跟踪:相关滤波器:时空信息:彻底的改变 Aberrance suppresse dspatio-temporal correlation filters ...
阅读笔记：Visual Tracking via Adaptive Spatially-Regularized Correlation Filters
papertitle Visual Tracking via Adaptive Spatially-Regularized Correlation Filters 论文代码 author Kenan ...
Visual Object Tracking using Adaptive Correlation Filters(MOSSE)
Visual Object Tracking using Adaptive Correlation Filters[paper][code] 目标跟踪代码MOSSE出自2010年,此算法的最大贡献是使 ...
Kernelized Correlation Filters (KCF) Tracking算法
本文转发自:https://blog.csdn.net/wanghanthu/article/details/53375393 感谢WanghanThu的贡献和分享精神. 1. Correlation ...
目标跟踪 KCF（High-Speed Tracking with Kernelized Correlation Filters）
文章标题:<High-Speed Tracking with Kernelized Correlation Filters> 文章地址:https://ieeexplore.ieee.or ...

DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING