动机

本文基于DCF进行改进，摘要中提到，基于DCF的跟踪器无法受益于端到端的训练。

主要贡献

理解出错之处望不吝指正。
主要包括一下三方面：
1. 将CF重构为一个卷积层，这样使其受益于端到端的训练；
2. 在时空上（spatiotemporal）使用剩余学习（residual learning）学习目标的外观变换；
3. 本文提出的模型CREST在多个数据集上验证均可达到很好的效果。

整体框架

模型的整体架构如上图所示，在跟踪第T帧时，将第T帧和第1帧送入特征提取层，得到特征图后，将第T帧特征图送入Base层（重构的DCF）和Spatial层，第1帧特征图送入Temporal层，将三个层的输出融合后得到响应图。

详细介绍

重构DCF

DCF实际是优化以下函数：

传统的损失函数形式如下：

作者将DCF重构为一个卷积层，损失函数设置如下：

这样就可以用梯度下降去计算权重，而不是通过计算封闭解。

剩余学习

作者提到，只使用一个卷积层来重构DCF得不到效果很好的响应图，但是又不想堆叠很多的卷积层（会带来梯度消失）。作者通过添加两个剩余层（我的理解：学习差异性）来解决这个问题，即：Spatial和Temporal。这样，响应图的计算就可为以下三部分：

这样，计算响应图的流程则如下：

Spatial层

首先介绍Spatial层。
在我的理解下，这一部分实际上就是用于学习Base层的输出和真实输出的偏差（相当于微调），也就是用Spatial层的输出去改进Base层的输出。

Temporal层

Temporal层的作用是，防止当前的跟踪结果和初始帧的跟踪目标偏差较大。本层旨在学习Base层的输出和第一帧跟踪目标的差异性（防止跟丢？）。

跟踪过程

跟踪过程实际上和传统的DCF没啥区别。

特征提取部分使用VGG网络；
Base、Spatial和Temporal层使用高斯函数初始化；
尺度处理和以往的模型都一样，获取不同尺度的search patch，再resize到相同尺寸；
每一帧的跟踪结果作为训练数据放到样本库中，每隔T帧对模型进行更新。

实验结果

模型效果展示
OTB2013实验结果
OTB2015实验结果
VOT2016实验结果

ICCV 2017 CREST：《CREST: Convolutional Residual Learning for Visual Tracking》论文笔记相关推荐

ICCV 2017 《Chained Cascade Network for Object Detection》论文笔记
本学弱喜欢在本子上记笔记,但字迹又丑. 望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正.
ICCV 2017 《Illuminating Pedestriant via Simultaneous Detection Segmentation》论文笔记
本学弱喜欢在本子上记笔记,但字迹又丑. 望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正.
目标跟踪算法五：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
目标跟踪算法五:MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 原文:https://zh ...
Learning Spatio-Temporal Transformer for Visual Tracking——精读笔记
本篇精读笔记,对原文重要部分做了严格翻译,如摘要和总结.对正文部分做了提炼,对重点部分突出标注.对参考文献做了分类.本文内容较长,如果时间有限可以直接跳到感兴趣的小节阅读. 论文地址:https:// ...
Deep Learning for Visual Tracking: A Comprehensive Survey(单目标跟踪目前最好的综述类文章)
Deep Learning for Visual Tracking: A Comprehensive Survey https://arxiv.org/pdf/1912.00535.pdf 摘要视觉 ...
earning Multi-Domain Convolutional Neural Networks for Visual Tracking
论文笔记<Learning Multi-Domain Convolutional Neural Networks for Visual Tracking> 0. 摘要基于CNN的一个跟踪 ...
RESIDUAL GATED GRAPH CONVNETS (ResGatedGraphConv论文笔记)
RESIDUAL GATED GRAPH CONVNETS (ResGatedGraphConv论文笔记) 我在知乎上也发布了一份,希望大家看在创作不易的份上都来点个赞,名字还是叫杰克船长有烦恼,也希 ...
Deep Meta Learning for Real-Time Target-Aware Visual Tracking 论文阅读
这篇文章是韩国的一个组做的,一直没中, 直到19年中了ICCV,据说是第一篇将元学习引入目标跟踪的文章,用的架构是siamese网络的架构,但是在模型在线更新的时候使用了meta-learning的思 ...
Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization论文笔记
Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization 论文链接 ...

ICCV 2017 CREST：《CREST: Convolutional Residual Learning for Visual Tracking》论文笔记

目录

动机