CVPR 2018 TRACA:《Context-aware Deep Feature Compression for High-speed Visual Tracking》论文笔记

理解出错之处望不吝指正。

本文的模型叫做TRACA。模型中使用多个expert auto-encoder，在预训练阶段，每个expert auto-encoder针对一个特定类进行训练；在tracking阶段，对于给定的跟踪目标，只使用最优的expert auto-encoder。

在expert auto-encoder的预训练阶段，首先使用所有的训练样本训练出 $AE_0$ ，对所有样本在 $AE_0$ 上得到的compressed feature maps进行聚类，得到 $N_e$ 个簇，针对每个簇，使用该簇对应的样本基于 $AE_0$ 进行训练得到 $N_e$ 个不同的expert auto-encoder。

在进行聚类的时候，为了避免有一些簇过小，作者提出了一个two-step方法来进行聚类。（1）.在所有样本通过 $AE_0$ 上得到的compressed feature maps中进行随机抽样得到 $2N_e$ 个样本，重复这个过程1000次，并且将其中与其他样本具有最大欧几里得距离的样本作为初始的簇，然后使用k-means进行聚类，得到2Ne个簇；（2）.将簇中样本数较少的 $N_e$ 个簇删除，剩余的簇的中心作为上一段落中聚类的初始簇心。

为了使训练得到的 $AE$ 更加鲁棒，作者使用了两种降噪方法。（1）.随机选择一些通道，将其数值置为0；（2）.互换特征图中某些位置的值。

Context-aware Network的目的是，针对某个tracking target，选择出用哪个expert auto-encoder，故Context-aware Network的输出值即为expert auto-encoder的标号（簇的标号）。预训练过程很简单，使用如下的损失函数（ $H$ 为交叉熵损失、 $h$ 代表预测值、 $d$ 代表真实值）：

以上都是预训练阶段，接下来是tracking阶段。

针对第一帧。

首先，使用高斯滤波和翻转进行数据增强，得到7个样本（初始1+高斯滤波4+翻转2）。

然后，使用这7个样本对选择的expert auto-encoder进行微调，这里使用到了CF正交损失 $L_{ad}$ （ $N_l$ 代表 $AE$ 的层数）：

$w_{jik}$ 代表使用compressed feature map中的第k个channel通过下式得到的估计权值：

上式中， $z$ 即为该通道的向量值， $y$ 为向量形式的响应图， $z^*$ 为共轭， $\lambda$ 为预设的正则系数。戴帽子的原因是傅里叶变换。

微调后，删除那些在target bbox外有很大的响应值的channel。

在第二帧及其以后。

CF使用下式更新：

使用scaling factor 1.015和1/1.015来处理尺度变换。

当出现“全遮挡”时，要进行re-detection（使用上一帧的CF作为re-detection CF），若下式成立则视为发生“全遮挡”：

其中：

CVPR 2018 TRACA:《Context-aware Deep Feature Compression for High-speed Visual Tracking》论文笔记相关推荐

Deep Meta Learning for Real-Time Target-Aware Visual Tracking 论文阅读
这篇文章是韩国的一个组做的,一直没中, 直到19年中了ICCV,据说是第一篇将元学习引入目标跟踪的文章,用的架构是siamese网络的架构,但是在模型在线更新的时候使用了meta-learning的思 ...
《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解
<SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection>论文阅读理解领域:用于医学图像的异常检测论文地址 ...
CVPR 2018 | 腾讯AI Lab关注的三大方向与55篇论文
感谢阅读腾讯 AI Lab 微信号第 32 篇文章,CVPR 2018上涌现出非常多的优秀论文,腾讯 AI Lab 对其中精华文章归类与摘要,根据受关注程度,对生成对抗网络.视频分析与理解和三维视觉三 ...
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文笔记
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文链接: h ...
《Context Aware Query Image Representation for Particular Object Retrieval》论文阅读
感觉论文中提到的particular object retrieval 就是instance retrieval!!! 摘要中主要提到: 用CNN提取ROI区域的特征表示, 扩展了R-MAC的表示,在 ...
端到端的图像压缩----《Variational Image Compression With A Scale Hyperprior》论文笔记
Variational Image Compression With A Scale Hyperprior 一简介二内容 2.2 数据流程 2.3 变分自编码器 2.4 思路介绍三核心代码 ...
#论文笔记#【MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis】论文笔记
前言从现在开始记录一下看的每篇论文,也算是给研究生三年一个交代,不然三年过去了啥也没干不太好.虽然以后可能不会从事这个行业,但是把当下的事做好,不管什么行业,自律是很重要的,从去年进实验 ...
《Guiding Deep Learning System Testing using Surprise Adequacy》论文笔记
Guiding Deep Learning System Testing using Surprise Adequacy 原文:Guiding Deep Learning System Testing ...
AggPose: Deep Aggregation Vision Transformer for Infant Pose Estimation 论文笔记
IJCAI 2022- AggPose:用于婴儿姿态估计的深度聚合 vision transformer 论文链接 To appear in the 31th International Joint ...

CVPR 2018 TRACA:《Context-aware Deep Feature Compression for High-speed Visual Tracking》论文笔记

CVPR 2018 TRACA:《Context-aware Deep Feature Compression for High-speed Visual Tracking》论文笔记相关推荐

最新文章

热门文章