TransTrack: Multiple-Object Tracking with Transformer
首次展示了一种基于query-key机制的简单有效的方法，在MOT17上实现65.8％的MOTA，代码刚刚开源！
PS：目前看来，目标检测、实例分割、语义分割主流CV方向均被Transformer"攻克"了，这篇是多目标跟踪，但似乎单目标跟踪还没被Transformer"攻克"（等看谁家手速快，且work了）
注：文末附【目标跟踪】和【Transformer】交流群
TransTrack: Multiple-Object Tracking with Transformer
- 作者单位：港大(罗平团队), 字节AI Lab, 同济, CMU, 南洋理工大学
- 代码：https://github.com/PeizeSun/TransTrack
- 论文：https://arxiv.org/abs/2012.15460
TransTrack
多目标跟踪（MOT）主要由复杂的多步tracking-by-detection算法控制，该算法分别执行目标检测，特征提取和时间关联。
单目标跟踪（SOT）中的query-key机制通过前一帧的对象特征跟踪当前帧的对象，具有建立简单的联合检测和跟踪MOT范例的巨大潜力。但是，由于query-key方法无法检测到新出现的对象，因此很少进行研究。
在这项工作中，我们提出了TransTrack，这是使用Transformer进行MOT的基准。它利用query-key机制，并将一组学习到的对象查询引入到pipeline中，以检测新出现的对象。 TransTrack具有三个主要优点：
（1）它是基于query-key机制的在线联合检测跟踪pipeline。简化了先前方法中的复杂步骤和多步骤组件。
（2）它是基于Transformer的全新体系结构。学习的对象查询将检测当前帧中的对象。来自上一帧的对象特征查询将那些当前对象与先前的对象相关联。
（3）首次展示了一种基于查询键机制的简单有效的方法，而Transformer架构可以在MOT17挑战数据集上实现具有竞争力的65.8％的MOTA。我们希望TransTrack可以为多目标跟踪提供新的视角。
损失函数
实验结果
目标跟踪交流群
已建立CVer-目标跟踪微信交流群！想要进目标跟踪学习交流群的同学，可以直接加微信号：CVer6666。加的时候备注一下：目标跟踪+学校+昵称，即可。然后就可以拉你进群了。
Transformer交流群
建了CVer-Transformer交流群！想要进分割学习交流群的同学，可以直接加微信号：CVer6666。加的时候备注一下：Transformer+学校+昵称，即可。然后就可以拉你进群了。
更多优质CV内容，请关注CVer微信公众号，扫码下方二维码即可关注！
TransTrack: Multiple-Object Tracking with Transformer相关推荐
- TransTrack: Multiple Object Tracking with Transformer
摘要 TransTrack利用transformer架构,这是一种基于query-key机制多目标跟踪方法,就是通过前一帧的对象特征来跟踪当前帧的目标,并对当前帧进行对象检测,以检测新的对象.通过在一 ...
- 多目标跟踪综述、论文、数据集大汇总 Awesome Multiple object Tracking
Awesome Multiple object Tracking(持续更新) 综述 论文 2022 2021 2020 2019 2018 2017 2016 数据集 综述 Multiple Obje ...
- 多目标跟踪MOT(Multiple Object Tracking)最全综述
1.MOT概念 多目标跟踪,一般简称为MOT(Multiple Object Tracking),也有一些文献称作MTT(Multiple Target Tracking).在事先不知道目标数量的情况 ...
- 跟踪算法基准--Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking https://arxiv ...
- Multiple Object Tracking：多目标跟踪综述
Multiple Object Tracking:多目标跟踪综述 多目标跟踪综述 多目标跟踪综述 摘要 1. 介绍 2. 算法知识 3. 总结 4. 可学习的资源及代码 摘要 本篇博客是多目标跟踪最综 ...
- FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking 效果展示
FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking 效果展示 公开数据集指标 ...
- Quasi-Dense Similarity Learning for Multiple Object Tracking
QDTrack 论文标题:Quasi-Dense Similarity Learning for Multiple Object Tracking 论文地址:https://arxiv.org/pdf ...
- Quasi-Dense Similarity Learning for Multiple Object Tracking(用于多目标跟踪的拟密集相似度学习)
Quasi-Dense Similarity Learning for Multiple Object Tracking 论文:下载地址 代码:下载地址 QDTrack: 一. 介绍 二. 方法 1. ...
- 多目标跟踪(MOT,Multiple Object Tracking)评价指标
简述 在事先不知道目标数量的情况下,对视频中的行人.轿车.卡车.自行车等多个目标进行检测并赋予ID进行轨迹跟踪.不同的目标拥有不同的ID,以便实现后续的轨迹预测.精准查找等工作. 多目标跟踪中即要面对 ...
- Multiple Object Tracking with Mixture Density Networks for Trajectory Estimation 详细解读
文章目录 简介(abstract) 介绍(introduction) 相关工作(Related Work) 轨迹预测(Trajectory Estimation) Mixture Density Ne ...
最新文章
- hibernate学习笔记二
- 【特征工程】与【表示学习】
- 最小公倍数与最大公约数
- MyBatis 解决了什么问题？
- django 中间件的使用
- 逆向工程生成的Mapper.xml以及*Example.java详解
- java案例源代码_求java案例源代码 越多越好！
- 为什么薄膜干涉的厚度要很小_薄膜干涉的膜为什么不能太厚？
- python菜单栏添加子菜单_python添加菜单图文讲解
- python实现常见的设计模式
- MUI框架-01-介绍-创建项目-简单页面
- 云存储及分布式文件系统
- 黎曼猜想能用计算机算吗,关于黎曼猜想的计算机验证
- Ardupilot笔记：Rover auto模式下的执行流程
- 买不起MacBook，使用Windows 10配置zsh命令行做开发
- 【程序人生】虚拟现实（VR）版霍兰德职业兴趣岛测试
- 机械键盘和普通键盘的区别
- IM是做什么？可以用来实现哪些功能？
- freemarker 宏 调用java_freemarker宏的应用
- 中国地质大学计算机学院保研率,北京高校保研率、考研率排行榜