CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

理解出错之处望不吝指正。

本文中提到，待跟踪物体周围的环境对跟踪性能有很大的影响。如果当前周围特别杂乱，想要完成高质量的跟踪，context信息就显得十分重要了。作者提出了CA模型（其实可以当做一个模块，因为可以将其加入任何CF based tracker），可以在CF tracker中显示的结合global context。

本文CF和传统CF的对比图如下：

回顾传统CF

目标函数：

这里 $A_0$ 表示经过循环移位得到的矩阵，我们使用 $a_0$ 表示给定的image patch（即 $A_0$ 的第一行）。

原始域：

使梯度为0，可解的封闭解： $w=(A_{0}^{T}A_{0}+\lambda _{1}I)^{-1}A_{0}^{T}y$ ，在傅里叶域可以快速实现矩阵的转置，我们可在傅里叶域得到：

这里的 $\hat{w}$ 代表傅里叶变换， $*$ 代表共轭。

检测时如下（ $z$ 代表下一帧的image patch， $Z$ 代表循环矩阵）：

对偶域：

通过使 $w=A_{0}^{T}\alpha$ ，可得封闭解： $\alpha =(A_{0}A_{0}^{T})^{-1}y$ ，在傅里叶域：

检测时如下：

循环矩阵恒等式（下文会用到）：

本文中的CF

单通道特征时：

目标函数：

其实本文创新点就在于这个目标函数，下面解释一下它。这里 $A_0$ 我们前面解释过了，表示对于给定的image patch $a_0$ 经过循环移位得到的矩阵。那么 $A_{1},A_{2},...,A_k$ 呢？对于每一帧，我们在 $a_0$ 周围进行采样（具体的采样策略在文末会有介绍），得到 $a_{1},a_{2},...,a_k$ （其实就是将他们当做困难负样本去训练模型的鲁棒性），我们将他们 $k$ 个称为context patch。对于每个context patch，进行循环移位得到 $A_{1},A_{2},...,A_k$ 。

对于 $A_{1},A_{2},...,A_k$ 在损失函数中的贡献我们可以一目了然，就是想让他们的响应越小越好。其实可以将它们使用其他的正则项形式加入目标函数，为什么选择了上式中的呢？作者说：这样我们学到的是让context patch的响应比image patch的响应低，而不是想让context patch的响应变为0。

原始域：

首先我们可以将目标函数进行一下变化（好巧妙啊），令：

这样，目标函数就可变为：

另其梯度为0，可求得封闭解：

使用类似于传统CF中的方法，在傅里叶域的封闭解为：

检测时和传统CF的一样：

对偶域：

在原始域中 $w$ 的封闭解的形式和标准岭回归一样，所以我们可得封闭解：

使用循环矩阵恒等式可以得出傅里叶域的解：

这里的向量 $d_{jl}(j,l\in \left \{ 1,2,...,k\left. \right \} \right.)$ 经过如下计算得到：

由于每一个向量 $d_{jl}$ 都是一个 $n$ 维向量，且 $\hat{\alpha }$ 中的所有块都是对角矩阵，我们可以将 $\hat{\alpha }$ 的计算分割为 $n$ 个矩阵进行并行计算：

检测时：

多通道特征时：

目标函数：

在单通道特征时， $B$ 的大小是 $(k+1)n\times n$ ，其中 $k+1$ 代表的是一个image patch和 $k$ 个context patch。

对于多通道特征图，我们用大小为 $(k+1)n\times nm$ 的矩阵 $\bar{B}$ 代替 $B$ ，这里的 $m$ 代表特征通道数，也就是说，矩阵 $\bar{B}$ 的行代表patches，列代表features。

目标函数变为：

原始域：

和前文一样，通过使梯度为0可得：

使用循环矩阵恒等式得到：

这里的 $C$ 由下式计算得到：

这里也可以使用上文中提到的分块矩阵并行计算。

检测时，几乎和传统CF中一样，只不过 $z$ 和 $w$ 的维度要翻m倍。

对偶域：

首先得到封闭解：

使用循环矩阵恒等式得到：

这里的向量 $d$ 通过下式计算得出：

这里也可以使用上文中提到的分块矩阵并行计算。

检测时（化简后最终得到）：

采样策略

在那些在响应图中远离峰值、响应值也很大的位置进行采样，目的是降低这些位置的响应值。

CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记相关推荐

Robust Multi-Modality Multi-Object Tracking 论文笔记
Robust Multi-Modality Multi-Object Tracking 论文笔记为什么要做多模态融合的 MOT? Motivation Method 问题构造: 下面是详细介绍: 单 ...
CVPR 2010 MOSSE:《Visual Object Tracking using Adaptive Correlation Filters.》论文笔记
理解出错之处望不吝指正. 本文模型就是大名鼎鼎的MOSSE,是CF在tracking的开篇之作. 什么是CF? 本段部分摘自百度百科. 两个函数互相关的含义是:对两个函数分别作复数共轭和反向平移并使其 ...
CVPR 2018 《High-speed Tracking with Multi-kernel Correlation Filters》论文笔记
本文是一篇基于相关滤波的文章,提出了一种不同于MKCF的multi-kernel learning(MKL)方法,做到了更快更好. CF的paper真的好难懂(连个图都没有)...通篇公式推导,日后再 ...
ECCV 2012 KCF/DCF:《High-speed tracking with kernelized correlation filters》论文笔记
理解出错之处望不吝指正. 本文模型就是大名鼎鼎的KCF/DCF. 本文在CSK的基础上进行了一些改进,大致如下: (1)不像CSK中使用的是灰度特征,本文使用HOG特征: (2)使用HOG特征+高斯核 ...
ASSIST: Towards Label Noise-Robust Dialogue State Tracking论文笔记
ASSIST: Towards Label Noise-Robust Dialogue State Tracking 面向标签噪声鲁邦性的对话状态追踪 Abstract **问题所在:**首先抬一手M ...
【小白笔记】目标跟踪(Unveiling the Power of Deep Tracking)论文笔记
文章目录 1.主要贡献 2.主要思路 2.1怎么发挥深度特征的潜能 2.2怎么融合 1.主要贡献这篇文章18年四月份挂在Arxiv上,现在中了ECCV18,是Martin作为3作的一篇文章,性能比E ...
A survey of detection-based video multi-object tracking 论文笔记
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
CVPR 2017 追踪之论文纲要(修正于2020.08.28) 讲在前面论文目录讲在前面论坛很多博客都对论文做了总结和分类,但就医学领域而言,对这些论文的筛选信息显然需要更加精细的把控,所以自 ...
CVPR 2017 paper
参考链接 CVPR 2017 open access Paperlist Graph-Structured Representations for Visual Question Answering ...

CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

回顾传统CF

本文中的CF

单通道特征时：

多通道特征时：

CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记相关推荐

最新文章

热门文章