TrackFormer: Multi-Object Tracking with Transformers
TrackFormer: Multi-Object Tracking with Transformers
- 简介
- 模型介绍
- Transformer结构
- 训练
- 实验
- 总结
简介
MOT传统的方法主要是遵循tracking-by-detection范式的,但是最近的方法中涌现出了一些tracking-by-regression范式,这种方法中,检测器不仅仅提供帧级的检测,更是将数据关联部分替换为每个轨迹到其变化位置的一个连续回归,这种方法隐式地实现了数据关联。在这篇文章里,作者提出了tracking-by-attention范式,不仅在数据关联中使用注意力机制,而且利用一个统一地方式执行检测和跟踪。
论文标题
TrackFormer: Multi-Object Tracking with Transformers
论文地址
http://arxiv.org/abs/2101.02702
论文源码
https://github.com/timmeinhardt/trackformer/
模型介绍
上图是Trackformer整体的流程图,首先当前帧图片被送入ResNet提取特征,feature map经过encoder进行self-attention之后,输出的特征被输入进decoder,decoder的输入还有object queries(白色框框)和track queries(带颜色的框),类似于detr,数量为N object + N track,object queries用于查询当前帧的目标,track queries为上一帧已成功跟踪的目标,它通过当前帧encoder输出的特征进行查询,得到一个output embedding,用于bbox回归和类别预测。
Track query成功查询到的目标(红色和绿色)会被赋予相同的id,未查询到的目标则表示在当前帧(蓝色),object queries检测成功(没有打叉的部分,打叉的为背景类)则被初始化为新目标(红色),接着,这些更新目标的output embedding被输入进下一帧的decoder作为track queries,一直自回归下去。
Transformer结构
值得注意的是,Track queries首先经过一个多头注意力进行预处理,再和object queries以及encoder的输出进行融合。
训练
实验
如图为Trackformer在MOT17和MOT20s上的实验结果。
总结
上面是我写的一些阅读笔记,还会继续更新,Trackformer也是比较早将transformer引入MOT的论文,结构和transtrack比较相似,虽然精度并不是很高,但是思路还是很不错的,框架也是比较简洁清晰。
TrackFormer: Multi-Object Tracking with Transformers相关推荐
- 多目标跟踪综述、论文、数据集大汇总 Awesome Multiple object Tracking
Awesome Multiple object Tracking(持续更新) 综述 论文 2022 2021 2020 2019 2018 2017 2016 数据集 综述 Multiple Obje ...
- 多目标跟踪MOT(Multiple Object Tracking)最全综述
1.MOT概念 多目标跟踪,一般简称为MOT(Multiple Object Tracking),也有一些文献称作MTT(Multiple Target Tracking).在事先不知道目标数量的情况 ...
- 跟踪算法基准--Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking https://arxiv ...
- Multiple Object Tracking:多目标跟踪综述
Multiple Object Tracking:多目标跟踪综述 多目标跟踪综述 多目标跟踪综述 摘要 1. 介绍 2. 算法知识 3. 总结 4. 可学习的资源及代码 摘要 本篇博客是多目标跟踪最综 ...
- 文献学习(part44)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking
学习笔记,仅供参考,有错必纠 关键词:视觉对象跟踪:相关滤波器:时空信息:彻底的改变 Aberrance suppresse dspatio-temporal correlation filters ...
- Online Object Tracking Benchmark(OTB)目标跟踪系统评估方式
主要涉及到一些评估方式的讲解: 评估数据集: OTB50和OTB100(OTB50这里指OTB-2013,OTB100这里指OTB-2015) Wu Y, Lim J, Yang M H. Onlin ...
- FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking 效果展示
FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking 效果展示 公开数据集指标 ...
- End-to-End Object Detection with Transformers的部分解读
Transformer+Detection:引入视觉领域的首创DETR 也没有精力看原文了,直接看了博客: https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxN ...
- MUSTer:Multi-Store Tracker:A Cognitive Psychology Inspired Approach to Object Tracking
题目:MUSTer:Multi-Store Tracker:A Cognitive Psychology Inspired Approach to Object Tracking 来源:CVPR 20 ...
- 论文笔记 SiamMask : Fast Online Object Tracking and Segmentation: A Unifying Approach
论文连接:[1812.05050] Fast Online Object Tracking and Segmentation: A Unifying Approach 论文连接:[1812.05050 ...
最新文章
- Tips——IndexSearcher自动更新
- AI一分钟|美团确认收购摩拜;特斯拉今年第一季度产量创历史新高
- IE6/IE7中JavaScript json最后一个键值后不能增加逗号
- 《数据结构与算法分析—Java语言描述》pdf
- 【机器学习】Python机器学习的神器- Scikit-learn使用说明
- Windows下Caffe-SSD编译
- (转)java datetime date 类型
- MVC+EF 随笔小计——NuGet程序包管理
- linux java echo 3,Linux常用命令13 - echo
- 在主线程执行_深入理解JavaScript执行机制
- windows播放声音
- 关于jesd204B调试总结
- php b2c源码,Thinkphp5萤火商城B2C小程序源码
- hp液晶显示器测试软件,专业4K标准 惠普DreamColor Z32x显示器测试
- 让 WordPress 支持多国语言包
- 20款优秀的数据可视化工具 (建议收藏)
- 计算机软件 专利挖掘,专利挖掘五步法,你学会了吗?
- P2141 [NOIP2014 普及组] 珠心算测验
- 3D远方动态白云页面源码
- 【计算机系统结构】第3章 流水线技术问答题