CFNet 论文解读

原文：https://blog.csdn.net/u014085471/article/details/78442137
End-to-end representation learning for Correlation Filter based tracking
Jack Valmadre∗ Luca Bertinetto∗ Joao F. Henriques Andrea Vedaldi Philip H. S. Torr ˜
University of Oxford
论文地址：https://arxiv.org/abs/1704.06036v1
源码地址：https://github.com/bertinetto/cfnet
概要：
作者基于SiamFC的结构上加入CF层（Correlation Filter），网络可以端到端的训练，用实验证明了这种网络结构可以用较少网络的卷积层数而不降低精度。
动机：
CF表现不错，但是引入CNN无法端到端学习。
主要工作：
1.引入CF层，并推到了前向反向传播公式。
2.做了不同的实验证明其速度精度以及CF的作用。
基础构件:
1.SiamFC(Fully-Convolutional Siamese Networks for Object Tracking)，如下图，上下两个相同结构的卷积网络，对z（目标图）和x（搜索区域图）提取卷积特征，两者卷积得到得分图，最大的响应位置是物体移动的位置。

2.以前的相关滤波，如下面公式，x是一张图（可以是目标图，可以是搜索区域的图），通过高斯核变换成k，y是服从高斯分布的矩阵（中心显著），训练这么一个alphaf,对搜索图得到的K，与alphaf点乘再反傅立叶变化可以得到新的响应图，最高点为物体运动的点。这么计算的原因是信号的卷积运算在频域是点乘运算，所以通过傅立叶变换可以加快计算速度。

3.这里的CF层，这里没办法把SiamFC中的 * 改成上面的计算，这样没办法端到端训练。这里的CF层是这样的，对 x得到的特征，经过cf公式变换，公式有所改动。

4.训练上的改变
原来：

现在：

其他细节：
1.跟踪的时候，exemplar缩放比例是1.04，产生三个不同尺寸的图再经过CNN,三个不同的得分最大的那个是最佳的尺度变化
2.训练的时候还是用Logistic Loss
3.CF中的y一开始是高斯分布的响应，后面可以被训练，并没有发现被训练后的y有什么特别的好。

实验:
1.不同深度直接的对比

2.融合实验，为了证明假说：CF在训练中就融入会比跟踪时融入好（The motivation for this work was the hypothesis that incorporating the CF during training will result in features that
are better suited to tracking with a CF. ）

3.自适应实验，给了一个不变的CF层验证跟踪时候更新CF参数的必要

4.效果上，虽然效果不错，但是总觉得作者在刻意隐瞒什么，比如Baseline-conv3的结果没在这里写出来（速度精度可能高于CFNet-conv1），再比如SiamFC-3s在原论文里fps达到86（https://arxiv.org/abs/1606.09549）。

疑问：
1.实验中其他模型数据问题
2.CF层的作用？
可以将x制作成一个对变化有鲁班性的区别模板
Its effect can be understood as crafting a discriminative template that is robust against translations.
可以理解为对测试时的先验知识编码，当获得足够的数据和容量时，这个先验知识变得冗余甚至是过度限制。
The CF layer can be understood to encode prior knowledge of the test-time procedure. This prior may become redundant or even overly restrictive when enough model capacity and data are available.
3.训练时的怎么解决缩放问题（还得细看代码）

CFNet 论文解读相关推荐

自监督学习(Self-Supervised Learning)多篇论文解读（下）
自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等 ...
自监督学习(Self-Supervised Learning)多篇论文解读（上）
自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以 ...
可视化反投射：坍塌尺寸的概率恢复：ICCV9论文解读
可视化反投射:坍塌尺寸的概率恢复:ICCV9论文解读 Visual Deprojection: Probabilistic Recovery of Collapsed Dimensions 论文链接: ...
从单一图像中提取文档图像：ICCV2019论文解读
从单一图像中提取文档图像:ICCV2019论文解读 DewarpNet: Single-Image Document Unwarping With Stacked 3D and 2D Regressi ...
点云配准的端到端深度神经网络：ICCV2019论文解读
点云配准的端到端深度神经网络:ICCV2019论文解读 DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration ...
图像分类：CVPR2020论文解读
图像分类:CVPR2020论文解读 Towards Robust Image Classiﬁcation Using Sequential Attention Models 论文链接:https:// ...
CVPR2020论文解读：手绘草图卷积网络语义分割
CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
CVPR2020论文解读：三维语义分割3D Semantic Segmentation
CVPR2020论文解读:三维语义分割3D Semantic Segmentation xMUDA: Cross-Modal Unsupervised Domain Adaptation for 3D ...

CFNet 论文解读

CFNet 论文解读相关推荐

最新文章

热门文章