Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（PTAV）论文笔记

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（ICCV2017）
思路很好
https://www.cnblogs.com/wangxiaocvpr/p/7525354.html

【Motivation】
当前的跟踪算法为了提高精度，往往会选择使用深度神经网络提升判别能力，但是精度的提升导致了计算量加大和速度的降低，本文在精度和速度上达到一种平衡。

【亮点】
在 tracking performance 和 efficiency 之间达到一种平衡。将 tracking 过程分解为两个并行但是相互协作的线程（Thread）：一个用于快速的跟踪（fast tracking）；另一个用于准确的验证（accurate verification），因此既实现了高精度又实现了高速度。

【Tricks】（实验证明了这些选择可以有效的提升精度和速度）
• 跟踪部分选择fDSST算法
• 验证部分使用Siamese network进行模板匹配，使用的是VGG特征提取网络，但是后面加了一个region pooling layer，用来同时处理多个尺寸的图像（如果在一个尺寸上搜索不到目标，则要放大搜索区域继续搜索验证），验证间隔为10帧
• 开启两个线程分别用来跟踪和验证（而不是一个线程，验证的同时跟踪还可以继续进行）

【PTAV框架】
PTAV 算法架构包括三部分：Base Tracker T，Base Verifier V，以及它们之间的协调环节。
对于 T，论文选择的是 fDSST算法，每帧都在进行跟踪。验证环节 V 则选择采用 Siamese network 验证目标之间的相似性。对于协调环节，T每隔10帧发送结果给 V，保证足够的时间验证。T和V是利用了不同的线程（Thread）异步工作的。

【算法具体流程】
论文中已经写的很清楚了，这里讲述一下大致流程：
（1）利用第一帧初始化T和V
（2）使用fDSST跟踪器进行跟踪（每一帧都进行，还要定期向V传送结果供V验证）
（3）验证器V使用的是Siamese network，V每隔十帧验证一次跟踪结果，如果验证得分低于阈值tao_1，证明跟踪失败，V使用Siamese网络重新检测目标，这次与验证不同，重新检测实在多个image patchs上进行的，选择最好的那个，判断其阈值是否大于阈值tao_2，如果低于阈值的话，不改变tracker的结果，而是减小验证间隔，增大验证范围（尺寸），局部搜索目标，一直到阈值大于tao_2为止，然后将这个验证结果传递给tracker。
从本地区域搜索正确答案并将其发送到T，T在收到反馈后，T停止当前跟踪，并用V提供的校正追溯到恢复跟踪。

【总体流程图】

【跟踪器工作流程图】

【验证器工作流程】

【实验结果】
本文在四个数据集上做了实验，并与start-of-art跟踪器做了对比，这里只列举了在OTB2013和OTB2015上的结果，综合来讲，PTAV是最好的（PS：KCF是真的快）

———————————————————————-分割线———————————————————————-
下面部分参考链接 http://www.sohu.com/a/225947255_500659

上述论文是发表在ICCV2017上的版本，随后作者又对其进行了一些改进，并发表在了2018 年 1 月在 arXiv 上。以下是改进：
1. 使用更具有鲁棒性的跟踪器（Staple）提升性能。（ICCV2017中用的是fDSST）
2. 动态目标模板池用于自适应验证，放置目标外观的变化。
3. PTAV 的 V 和 T 进行了多方面验证，比如 T 使用 VGGNet 和 AlexNet ，V 使用 KCF、fDSST 和 Staple。
4. 使用更多实时性算法和基准，进行更彻底实验验证和分析。

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（PTAV）论文笔记相关推荐

论文笔记：Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking...
Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking 本文目标在于 ...
ICCV 2017 PTAV:《Parallel Tracking and Verifying:A Framework for Real-Time and High Accuracy ...》论文笔记
理解出错之处望不吝指正. 本文模型叫做PTAV. 本文的贡献包括: (1)提出了一个新颖的PTAV(parallel tracking and verifying)架构: (2)在此架构上,可以将基于 ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
论文笔记（十六）：Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning 文章概括摘要 1 介绍 2 大规模并 ...
Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记
Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪 ...
论文笔记 SiamMask : Fast Online Object Tracking and Segmentation: A Unifying Approach
论文连接:[1812.05050] Fast Online Object Tracking and Segmentation: A Unifying Approach 论文连接:[1812.05050 ...
论文笔记：WORD TRANSLATION WITHOUT PARALLEL DATA
引用文章 Facebook MUSE 无监督跨语言迁移学习任务 face - Word Translation without Parallel Data 文献阅读笔记:Word Translatio ...
《Understanding and Diagnosing Visual Tracking Systems》论文笔记
本人为目标追踪初入小白,在博客下第一次记录一下自己的论文笔记,如有差错,恳请批评指正!! 论文相关信息:<Understanding and Diagnosing Visual Tracking ...
论文笔记（二十二）：Soft Tracking Using Contacts for Cluttered Objects to Perform Blind Object Retrieval
Soft Tracking Using Contacts for Cluttered Objects to Perform Blind Object Retrieval 文章概括摘要 1. 介绍 2 ...

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（PTAV）论文笔记

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy（PTAV）论文笔记相关推荐

最新文章

热门文章