[目标跟踪] 论文笔记：Parallel Tracking and Verifying（PTAV-Update）

本文提出了一个tracking框架，由tracker和verifier组成，二者并行执行，相互协作，兼顾了tracking过程的速度和准确率。

1.动机

在tracking的过程中，目标在大多数情况下变化的较为缓慢平滑，这种情况处理起来很容易。但是会存在一些麻烦的情况（比如目标形变），这些情况可能只是偶尔发生，却会对跟踪造成严重影响。PTAV在这些情况下（而不是每一帧）加入验证模块来提高跟踪准确率。
多线程计算在计算机视觉系统中已经非常普遍并且取得很大成功（如PTAM）。
tracking中速度快的算法和准确率高的算法提供了优质的blocks，PTAV寻求实时和高速的平衡。

2.组成

PTAV由Fast Tracker T 和 Reliable Verifier V 组成。

T 负责满足算法的实时性要求，需要在每一帧定位目标。同时，T以一定的时间间隔向V发送验证请求，并根据V给的反馈继续追踪或调整模型。为了能够在需要的时候快速回溯，T维持了一个邻近帧tracking信息的缓存。最初版本选择的是fDSST算法，本文选取STAPLE算法作为tracker。

V 负责满足算法的准确率要求。收到T的验证请求后，V应该尽可能快的验证追踪结果并反馈给T。为了能使V适应目标外观的变化，V会收集一定数量的tracking结果，并使用K-means对这些结果进行聚类，从而得到一个动态的目标模板池。本文选取Siamese network作为verifier。

3.PTAV

3.1 Framework

3.2 Implementation

Tracking

STAPLE tracker 结合了template score（Hog特征）和histogram score（颜色直方图）。HOG特征对运动模糊和照度很鲁棒，但是对形变不够鲁棒。而颜色直方图对形变则非常鲁棒。STAPLE结合了两种的优点，互补之后效果鲁棒，速度很快。template响应来源于optimal correlation filter model w，histogram响应来源于learned color statistic model h。

在PTAV中，为了能够快速回溯，T存储了邻近帧的中间信息（如w和h）。当V发现不可靠的tracking结果时，V会给T一个包含正确模板位置和帧索引信息的反馈。收到V的反馈后，T会停止目前的追踪并利用存档中的信息重新追踪。

Verifying

孪生网络作为verifier用来测量已有样本和目标对象的相似性。为了应对变形等问题，本文中通过收集可靠性高的tracking结果，动态更新目标模板。

Verification-based detection

如果检验出了tracking failure，又该怎么找到正确的结果呢？这是V需要再次利用孪生网络去找到正确的结果。与verification不同，detection需要验证区域内的多个图块，找到最好的那个，并根据验证分数判断它是否是一个可靠的结果。

在verification中，有三个阈值 $\tau _{0}$ ， $\tau _{1}$ 和 $\tau _{2}$ ，分别被设为0.6，0.33和0.53。初读时没太明白他们的含义，后来仔细看了一下，大概看懂了。

$\tau _{0}$ If $v\left ( S, x{}' \right )$ is greater than a predefined threshold $\tau _{0}$ , we treat $x{}'$ as a reliable target template and add it into a temporal set $S_{t}$ . 可以看出 $\tau _{0}$ 用于选取可靠（验证分数较高）的目标模板放入目标模板集合中。

$\tau _{1}$ If the verification score is lower than a predefined threshold $\tau _{1}$ , $V$ will treat it as a tracking failure . $\tau _{1}$ 用于判断tracking结果是否failure。

$\tau _{2}$ If $v\left ( S, c\hat{} \right )$ is less than a predefined threshold $\tau _{2}$ , $\hat{c}$ is considered to be unreliable, and we do not replace tracking result with $\hat{c}$ . 对于tracking failure，需要对区域内窗口每一次滑动做一次检验，选出验证分数最高的那一个，标记为 $\hat{c}$ 。 $\tau _{2}$ 用于判断 $\hat{c}$ 是否可靠，能否用来替代之前被判为failure的结果。这个阈值是针对detection的。

4. 实验结果

以OTB2015为例。视频序列包含变形（DF deformation）、遮挡（OCC occlusion）、尺寸变化（SV scale variation）、光照变化（IV illumination variations）、运动模糊（MB motion blur）、快速运动（FM fast motion）、背景杂波（BC background clutter）、视野外（OV out-of-view）、低分辨率（LR low resolution）、平面内旋转（IPR in-plane rotation）和平面外旋转（out-plane rotation）这11种有挑战性的情况。

三个评价标准。1. distance precision rate(DPR)表示估计结果与真实结果的中心位置小于给定阈值的帧所占的百分比。（？？？没搞懂，文中写的是DPR demonstrates the percentage of frames whose estimated average center location errors are within the given threshold distance to groundtruth???）2. overlap success rate（OSR）表示估计结果与真实结果的重叠分数大于给定阈值的帧所占的百分比，这里重叠率被定义为 $area(R_{GT}\cap R_{T})/area(R_{GT}\cup R_{T})$ 。3. CLE（center location error）表示追踪结果与目标结果中心的欧氏距离。

三类被拿来做比较的tracking算法。1. deep feature-based tracking algorithms 2. correlation filter based trackers 3. other representative tracking methods

观察数据，可以说PTAV确实达到了初衷：兼顾准确性与实时性。

论文还加入了一个模型简化测试，即去掉一些模块后看看对结果产生什么影响。针对不同的V，不同的T，不同的验证间隔N，以及固定模板与动态模板，双线程与单线程等，进行了比较。

5. 总结

PTAV牛逼_(:з」∠)_

[目标跟踪] 论文笔记：Parallel Tracking and Verifying（PTAV-Update）相关推荐

Visual Tracking with Online Multiple Instance Learning (MIL)目标跟踪论文笔记
1. 论文信息论文标题 :Visual Tracking with Online Multiple Instance Learning 论文作者: Boris Babenko,University ...
RASNet视频目标跟踪论文笔记
1. 论文信息论文题目:Learning Attentions: Residual Attentional Siamese Network for High Performance Online V ...
论文笔记：Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking...
Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking 本文目标在于 ...
Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（PTAV）论文笔记
Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy(ICCV2017) 思路很好 https:// ...
ICCV 2017 PTAV:《Parallel Tracking and Verifying:A Framework for Real-Time and High Accuracy ...》论文笔记
理解出错之处望不吝指正. 本文模型叫做PTAV. 本文的贡献包括: (1)提出了一个新颖的PTAV(parallel tracking and verifying)架构: (2)在此架构上,可以将基于 ...
单目标跟踪——个人笔记
单目标跟踪--个人笔记以<Handcrafted and Deep Trackers: A Review of Recent ObjectTracking Approaches>为主线看 ...
Jarry的目标跟踪学习笔记一
Jarry的目标跟踪学习笔记一目标跟踪是计算机视觉中的一个重要方向,已经由来已久,并且有着广泛的应用,如:视频监控,人机交互, 无人驾驶等.在我的想象中,自己研究的内容就是,将来钢铁侠头盔里追踪敌人 ...
计算机视觉：目标跟踪论文推荐
声明: 1.论文覆盖时间段:2019年12月31日-2020年02月19日 2.在此推荐大家关注计算机视觉论文速递知乎专栏,可以快速了解到最新优质的CV论文 [1]旷视Detection组开源:视 ...
相关滤波目标跟踪学习笔记（三）——KCF算法公式理解
KCF算法特点: 1.通过循环移位产生了大量的虚拟样本: 2.利用循环矩阵可以在傅里叶域对角化的性质,大大减少了运算量,提高了运算速度: 3.核函数的运用,提高了分类器的性能: 4.采用HOG特征,相 ...
【目标跟踪】Long-term Correlation Tracking 阅读笔记
Long-term Correlation Tracking 论文地址: https://www.cv-foundation.org/openaccess/content_cvpr_2015/pape ...

[目标跟踪] 论文笔记：Parallel Tracking and Verifying（PTAV-Update）

[目标跟踪] 论文笔记：Parallel Tracking and Verifying（PTAV-Update）相关推荐

最新文章

热门文章