总体流程图：

Abstract

背景：短期跟踪是一个开放且具有挑战性的问题，其中判别相关滤波器(discriminative correlation filters, DCF) 展示了卓越的性能。

本文：我们为DCF跟踪引入了通道和空间可靠性的概念并为其在过滤器更新和跟踪过程中的高效无缝集成提供一种学习算法。空间可靠性图将滤波器调整到适合跟踪的对象部分，这既可以扩大搜索区域，又可以改善对非矩形对象的跟踪。可靠性分数反映了学习的滤波器的通道质量，并做为定位中的特征加权系数。

实验：在只有2个简单的标准特征集（HoGs和Colornames）情况下，CSR-DCF在VOT2016, VOT2015, OTB100上实现了SOTA，在CPU上达到几乎实时的速度。

1 Introduction

问题背景：短期、无模型的视觉对象跟踪是在给定单个外观示例的情况下连续定位视频序列中目标的问题。常见挑战：遮挡，光照变化，快速的物体或相机运动，由于刚性或非刚性的目标变形，与背景相似。

DCF方法介绍：半监督鉴别式跟踪方法。Discriminative correlation filter (DCF)在训练数据集上通过一个预设的响应学习一个filter，该filter通过稍微扩展目标周围的区域以包括背景样本来获得。标准的DCF使用循环相关，其通过快速傅里叶变换（FFT）有效学习filter。

DCF方法的缺点：

缺陷	备注
1. the windowing problem	FFT要求搜索区域和filter一样大，限制了检测范围。解决方法（1）：从更大的区域中学习filter，但随着target template padding factor的增大，DCF性能急剧下降（如下图）。解决方法（2）：zero-padding the filter; 引入正则化惩罚超过边界框的filter值。这些方法都在比目标大得多的区域上学习filter因此增加了检测范围。
2. 均假设目标形状时轴对齐的矩形框	当目标形状不规则/遮挡时，filter相当于从背景中学习，导致跟踪漂移/失败。

缺陷

备注

1. the windowing problem

FFT要求搜索区域和filter一样大，限制了检测范围。解决方法（1）：从更大的区域中学习filter，但随着target template padding factor的增大，DCF性能急剧下降（如下图）。解决方法（2）：zero-padding the filter; 引入正则化惩罚超过边界框的filter值。这些方法都在比目标大得多的区域上学习filter因此增加了检测范围。

2. 均假设目标形状时轴对齐的矩形框

当目标形状不规则/遮挡时，filter相当于从背景中学习，导致跟踪漂移/失败。

【跟踪漂移】：在追踪过程中，滤波器一直在更新，而更新的滤波器并不能保证完全跟踪到后一帧的目标，会有误差产生，如果误差没有及时处理，滤波器就会一直这样错误的更新，一定时间后跟踪器无法正常的跟踪到目标，这就是漂移。

本文的工作：

spatial reliability map. 通过图标注问题的输出估计得到。其克服了任意搜索区域大小导致的圆形移位问题+与矩形框形状假设相关的限制。这里提出了空间约束相关滤波S-DCF，将相关滤波器限制在适合跟踪的范围，提高不规则形状对象的搜索范围和性能。

channel reliability. 由filter设计的约束最小二乘解的性质来估计。用于在定位时加权逐通道滤波响应，可以降低最终输出响应的噪声。

2. Related work

DCF可以追溯回MOSSE(2010，使用灰度模板)。后续基于DCF的改进可分为基于新特征的和基于概念提升的。

基于新特征的DCF改进	基于概念提升的DCF改进
1. 将灰度模板用HoG替代；2. 使用卷积特征，但速度明显降低	1. 引入kernelized formulation；2. 基于尺度自适应的相关滤波，引入了人尺度空间金字塔；3. 和模板分割概率图联合滤波器的输入；4. 多解特征图；5. 联合多个卷积层的相关响应；5. 聚类相近的目标外观并使用及聚类结果定位目标而不是使用一个online learned filter.

对单filter的改进：单filter易于跟踪失败在目标被遮挡/形变时，由于提出了part-based tracker。1. 将多个部分的相关输出结合；2. 用多个相关滤波建模目标结构；3. 将部件相关滤波器响应及其constellation约束共同视为等效弹簧系统。

最近的一些工作：最近，Kiani 等人 (2015) 解决了由于从小训练区域进行循环相关学习而出现的问题，其提出通过隐式0-padding滤波来手动增加滤波尺寸，通过增加约束过滤器学习中训练示例的数量来减少边界伪影。Danelljan等人重新制定学习成本函数以惩罚对象边界框外的非零滤波器值，但是学习的滤波器仍然在滤波相应和正则化之间权衡，不保证过滤器值在边界框之外为零。

3. Spatially constrained correlation filters

下图展示了标准DCF的求解过程及本文的核心改进：

接下来，详细介绍本文。

3.1 Constrained correlation filter learning将h 的学习改进为带约束的h

因为本文中将滤波学习改为通道独立的，在下文中假设通道为1。

3.2 Constructing spatial reliability map

3.2.1 Inference

3.3 Channel reliability estimation

3.4 Tracking with channel and spatial reliability

Localization Step：
以前一帧目标估计位置为中心的搜索区域中提取特征，并与学习的滤波器h_(t-1)相关联。通过以估计的通道可靠性分数w_(t-1)加权相关性响应来定位目标。尺度由single scale-space correlation filter估计。逐通道的滤波响应被用于计算对应的检测可靠性值（即3.3中的）。

Update Step：
前景和背景直方图 c^{hat} 通过指数移动平均以学习率\eta_c 提取和更新（算法 2 中的步骤 5）。前景直方图由估计的边界框内的 Epanechnikov 核提取，背景是从两倍于对象大小的邻域中提取的。空间可靠性图m被构建，最优滤波h被计算。逐通道学习可靠性权重w^{(lrn)}从相关响应中估计。当前帧的可靠性权重w由检测可靠性和学习可靠性估计。滤波和通道可靠性权重由指数移动平均以学习率\eta所更新。注意：每帧中空间可靠性图是独立计算的以捕获最大目标形变。

3.5 Comparison with prior work

4 Experimental analysis

[VOT12](2017CVPR) CSR-DCF: Discriminative Correlation Filter Tracker with Channel and Spatial相关推荐

【SAMF】A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration 论文阅读笔记
(PS:笔记是从其它平台以图片形式迁移过来的,显示不完全,敬请点开图片查看)
CFNet：End-to-end representation learning for Correlation Filter based tracking
论文题目:End-to-end representation learning for Correlation Filter based tracking, CVPR2017 论文主页:http:// ...
目标跟踪算法综述：Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation
标题:相关过滤无人机空中跟踪技术综述与实验评估作者:Changhong Fu, Geng Lu 链接:Correlation Filter for UAV-Based Aerial Tracking ...
Discriminative Correlation Filters (DCF)
一般化的跟踪问题可以分解成如下几步: 1. 在It帧中,在当前位置pt附近采样,训练一个滤波器.这个滤波器能计算一个小窗口采样的响应. 2. 在It+1帧中,在前一帧位置pt附近采样,用前述滤波器判断 ...
CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记
理解出错之处望不吝指正. 本文中提到,待跟踪物体周围的环境对跟踪性能有很大的影响.如果当前周围特别杂乱,想要完成高质量的跟踪,context信息就显得十分重要了.作者提出了CA模型(其实可以当做一个模 ...
[转]计算机视觉之跟踪算法——相关滤波器Correlation Filter
https://blog.csdn.net/victoriaw/article/details/62416759 ASEF相关滤波器: Average of Synthetic Exact Filte ...
[目标跟踪]long term correlation filter CVPR2015文章
1.文章综述目标跟踪是计算机视觉领域的基础问题.目标跟踪过程中会遇到如目标遮挡,光线变化,镜头移动等问题.目前也没有一种跟踪算法能够完美解决所有这些问题,而这篇文章关注目标跟踪过程中目标的外形发生明 ...
LADCF目标跟踪算法学习笔记（Learning Adaptive Discriminative Correlation Filters via Temporal Consistency prese）
LADCF论文链接:https://www.researchgate.net/publication/326696472 摘要: 在最近的跟踪基准及比赛中,判别式相关滤波类跟踪器性能优异,然而现有的D ...
CVPR 2017 CFNet:《End-to-end representation learning for Correlation Filter based tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做CFNet.作者在论文中提到,以前的工作只是将CF应用到了预训练的CNN特征上,并没有实现端到端的CNN-CF的结合.本文的主要贡献就是:推导了CF的可微闭合解, ...

[VOT12](2017CVPR) CSR-DCF: Discriminative Correlation Filter Tracker with Channel and Spatial