目标跟踪之LTMU：High-Performance Long-Term Tracking with Meta-Updater环境配置及代码运行

2024-05-12 03:07:19

代码地址：https://github.com/Daikenan/LTMU
论文地址：High-Performance Long-Term Tracking with Meta-Updater
LTMU是CVPR2020的oral，全文重点分析了跟踪过程中经典的模型更新问题。
作者一共在六个state-of-the-art的跟踪器上验证了meta-update的有效性，因此给出了六个trackers的代码，其中论文里面的结果应该是DiMP_LTMU跟踪器（PrDiMP+MU和Super_DiMP+MU的性能更优，但这两个跟踪器是在LTMU发表之后，所以作者也加了进去）。

一、创建虚拟环境

cd DiMP_LTMU

source create -n DiMP_LTMU python=3.7
source activate DiMP_LTMU
pip install -r requirements.txt
bash compile.sh

二、模型路径下载及路径放置

LTMU使用DiMP作为local tracker，但不同于DiMP的是，在尺寸回归分支，LTMU用的是SiamMask（分割使得尺寸回归更加精确），Verifier使用的是RT-MDNet来得到置信度得分，但置信度得分低于0时，开启重检测（使用GlobalTrack）。
所以一共用到五个网络模型：模型下载地址：https://pan.baidu.com/s/1-ZReq_Ls63IqsSQ28rdTXA[gzjm]
放置位置：

DiMP_LTMU/Global_Track/checkpoints/qg_rcnn_r50_fpn_coco_got10k_lasot.pth
DiMP_LTMU/pyMDNet/models/mdnet_imagenet_vid.pth
utils/metric_net/metric_model/metric_model.pt
DiMP_LTMU/SiamMask/experiments/siammask/SiamMask_VOT_LD.pth
DiMP_LTMU/pytracking/networks/dimp50.pth

三、代码运行

运行demo.py

四、如何进行meta-updater？

LTMU使用三阶段的级联LSTM来指导模型更新，充分挖掘视频的时序信息，包括geometric, discriminative and appearance cues三种信息，并输出一个二值决策，确定当前帧是否更新。

Geometric cue指的是历史帧的boundingbox集合，这些boundingbox联合起来可以分析出了目标的运动信息、尺寸变化情况
Discriminative cue指的是得到的响应图的峰值，峰值越高，说明当前模型的预测结果越可信
Appearance cue指的是作者自己离线训练的网络 W A W^{A} WA，可以免于更新带来的噪声污染，类似于孪生网络的感觉，反映每一帧跟踪结果与第一帧（完全精确的boundingbox）的一个相似度得分 s t A s_{t}^A stA，计算公式如下。

作者通过全面挖掘这些信息，得到了一个二值决策，判断是否需要更新，对于长时跟踪效果确实很佳。

目标跟踪之LTMU：High-Performance Long-Term Tracking with Meta-Updater环境配置及代码运行相关推荐

【视觉目标跟踪最高峰】VOT Challenge 2017 亚军北邮团队技术分享（附代码）
视觉跟踪领域国际顶级赛事 Visual-Object-Tracking Challenge (VOT) 2017年结果出炉,结合传统滤波及深度学习的方案取得最佳成绩.本文是第二名北京邮电大学代表团队的 ...
目标跟踪算法--Staple: Complementary Learners for Real-Time Tracking
文章下载链接:文章下载链接代码下载链接:Staple代码 -------------------------------------------- 今天要讲的这篇文章也是基于相关滤波器(不懂相关滤波 ...
【3D目标跟踪】Tracklet Proposal Network for Multi-Object Tracking on Point Clouds阅读笔记（2021）
1.为什么要做这个研究(理论走向和目前缺陷) ? TBD是现在做目标跟踪的主流方法,这也导致检测结果很影响跟踪的好坏,能否利用由粗到精的思想(faster rcnn)先获得多个粗的轨迹,然后再细化(去 ...
【目标跟踪】|综述 Deep Learning for Visual Tracking: A Comprehensive Survey
视觉追踪方法可以大致分为计算机视觉深度学习革命前和革命后两大类.第一类的视觉追踪调查论文主要回顾了基于经典物体和运动表征的传统方法,然后系统地.实验地或两者兼之地考察它们的优缺点.考虑到深度学习视觉追 ...
【目标跟踪】基于扩展卡尔曼滤波器的多机器人定位算法研究附matlab代码
✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信.
CVPR 2020 论文大盘点—目标跟踪篇
本文盘点CVPR 2020 所有目标跟踪(object tracking)相关论文,总计33篇,因为跟踪相关的技术很多,这里单指具体目标的跟踪,不涉及点的跟踪(如人体关键点跟踪,会另有总结). 最大的 ...
目标跟踪 facebook_如何关闭Facebook Messenger的位置跟踪（如果已启用）
目标跟踪 facebook It seems like everyone is tracking our location now. Not surprisingly, Facebook Messen ...
ECCV 2020 论文大盘点-目标跟踪篇
本文盘点ECCV 2020 所有与跟踪相关的研究,单指目标的跟踪,不涉及人体姿态等点的跟踪,总计19篇文章,其中12篇开源或者将开源. 其中多目标跟踪.单目标跟踪.对抗学习+目标跟踪研究工作较多.其中 ...
常见目标跟踪数据集下载链接整理（更新中）
搜罗一下,感觉没人把常见的目标跟踪数据集下载链接汇总整理的,这里就整理一下,因为有些网址很难打开,这里也是想方便之后大家获取,来看看吧!我就从大佬图中来找几个吧!因为不是全接触过,有些链接不是很好,有 ...

最新文章

热门文章