Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）

因为是无监督学习，所以需要对样本数据充分挖掘，产生适合跟踪的训练样本。本文首先使用contrastive learning学前景、背景区分的能力。在数据集ILSVRC 2015中，PUL算法首先使用EdgeBox生成高质量的proposal，并借助前景、背景区分模块进行时序上的训练样本收集。最后，由于这些无监督收集到的样本无可避免的存在噪声，作者又重新优化了SiamFC的loss function，以适应当前的无监督数据。最后就是用收集的样本做正常的SiamFC跟踪。

一 Background Discrimination Learning(背景辨别模型)

基本思想就是采用对比学习，本文类似SiamCLR,训练分类前景和背景的网络。但因为所需BatchSize太大，所以加入了AHM（Anchor-based Hard Negative Mining）

伪代码：

 Algorithm 1: Anchor-based Hard Negative Mining
Input: Frame set F, rounds R, iterations per round T ,
batch size N and the initial model M0.
Output: Background discrimination model Mb.
1 for i=1:R do
2 Sample patch set E from F;
3 Randomly select candidate anchors Pi from E;
4 Candidate anchor evaluation using (5);
5 Get anchor set {Ai}Ti=1;
6 for t=1:T do
7 Select N-1 nearest neighbors N (At) of At;
8 Use N (At) and At for one mini-batch
contrastive learning with (4);
9 Update the model Mi;
10 end
11 end

使用ILSVRC-2015 dataset，在视频的每10帧中采样一个训练帧，得到训练集F。应用EdgeBox为F中的每个帧生成500个object proposals

使用NMS为每一帧生成64个建议（表示为P）。对于每个epoch，我们通过在每个视频的一个随机帧中随机选择12个建议，从F中随机抽样一个基于补丁的训练集E。

每次迭代选择N个样本，增强后有N*E个。对这些样本做AHM，按照如下的分数选择前N-1个最近的样本组成一个样本集合
N(At)N (A_t) N(At)
因为每轮有T次迭代，最终组成
A=Aii=1TA = {A_i}_{i=1}^T A=Aii=1T

si=∑j=1N−1ϕt(zi)⋅ϕt(zj),zi∈Pt,zj∈N(zi)si = \sum_{j=1}^{\N-1} ϕ_t(z_i) · ϕ_t(z_j), z_i ∈ P_t, z_j ∈ N (z_i) si=j=1∑N−1ϕt(zi)⋅ϕt(zj),zi∈Pt,zj∈N(zi)

训练时，先做20轮正常SiamFC训练，在做40轮加上AHM的（Use N (At) and At for one mini-batch)。LOSS采用
Lc(i,j)=−logexp(ϕ(zi)⋅ϕ(zj)/τ)∑k=12NI[i!=k]exp(ϕ(zi)⋅ϕ(zk)/τ)Lc(i, j) = −log \frac{exp(ϕ(z_i) · ϕ(z_j)/τ)}{\sum_{k=1}^{2N}I[i!=k]exp(ϕ(z_i) · ϕ(z_k)/τ)} Lc(i,j)=−log∑k=12NI[i!=k]exp(ϕ(zi)⋅ϕ(zk)/τ)exp(ϕ(zi)⋅ϕ(zj)/τ)
本质就是在做simCLR类的对比学习，将N (At) 作为正样本，所有At作为负样本。训练结果即将追踪目标作为前景，其他部分作为背景。训练网络分辨前背景的能力，以实现下面对跟踪训练样本的收集。

二 Temporal Mining（时态挖掘）

收集即是随机从数据集中随机选择一个开始帧。然后从该帧中随机选择一个proposal（跟踪目标）以开始挖掘。在对视频中采样的连续帧进行跟踪后，我们在最后一帧中获得了一个具有时间外观变化的跟踪面片。然后将第一个和最后一个面片收集为面片对进行训练，表示为S。又因为如此产生的样本必然会有噪声，所以为SiameseFC设计一种新的LOSS
Lall=LNR(f)+λLc(f)L_{all} = L_{N R}(f) + λL_c(f) Lall=LNR(f)+λLc(f)

PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）相关推荐

Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记
Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪 ...
SeqTrack: Sequence to Sequence Learning for Visual Object Tracking
摘要在本文中,我们提出了一种新的序列到序列学习框架的视觉跟踪,称为SeqTrack.它将视觉跟踪转换为一个序列生成问题,它以自回归的方式预测对象边界盒.这与之前的Siamese跟踪器和transfo ...
Quasi-Dense Similarity Learning for Multiple Object Tracking(用于多目标跟踪的拟密集相似度学习)
Quasi-Dense Similarity Learning for Multiple Object Tracking 论文:下载地址代码:下载地址 QDTrack: 一. 介绍二. 方法 1. ...
Online Object Tracking Benchmark(OTB)目标跟踪系统评估方式
主要涉及到一些评估方式的讲解: 评估数据集: OTB50和OTB100(OTB50这里指OTB-2013,OTB100这里指OTB-2015) Wu Y, Lim J, Yang M H. Onlin ...
Distractor-aware Siamese Networks for Visual Object Tracking 论文学习
Distractor aware of Siamese Networks for visual object tracking 论文学习论文阅读总结 Translation Abstract 1 I ...
facebook新无监督论文-Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
最近比较关注无监督论文,因此只要发现有新的文章都会读一遍,facebook近期刚出了一篇Unsupervised Learning of Visual Features by Contrasting ...
文献学习(part44)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking
学习笔记,仅供参考,有错必纠关键词:视觉对象跟踪:相关滤波器:时空信息:彻底的改变 Aberrance suppresse dspatio-temporal correlation filters ...
Quasi-Dense Similarity Learning for Multiple Object Tracking
QDTrack 论文标题:Quasi-Dense Similarity Learning for Multiple Object Tracking 论文地址:https://arxiv.org/pdf ...
VOT（Visual Object Tracking）评价指标综述
2022.04.05更新更正了第1节第t帧上的accuracy 公式的错误 2018.09.30更新: 在VOT2015部分补充R score的定义上一篇博文简单介绍了vot-toolkit的使 ...

PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）

Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）

一 Background Discrimination Learning(背景辨别模型)

二 Temporal Mining（时态挖掘）

PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）相关推荐

最新文章

热门文章

PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）

Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习 ）

一 Background Discrimination Learning(背景辨别模型)

二 Temporal Mining（时态挖掘）

PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）相关推荐

最新文章

热门文章

Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）