encoder的意义在于：全局特征可以知道这个物体在图中的位置

decoder的意义在于：移除冗余框互相通信之后，知道每个query可能得到什么样的一个框不要去做重复的框

TransTrack(20.12)------TrackFormer(21.1)-----TransCenter(21.3)-----TransMOT(21.4)-----MOTR(21.5)

前三篇是2021 cvpr 分类：大体上分三类 TransMOT单独一类，因为它用的是graph transformer。TransCenter也是单独一类，因为其用的是中心点(学习热度图)，而不是bbox。

cvpr2022有两篇 Unified Transformer Tracker for Object Tracking

Global Tracking Transformers

先重点学习一下 TransTrack(20.12)------TrackFormer(21.1)

TransTrack解读

TransTrack解读_周先森爱吃素的博客-CSDN博客_transtrack

TBD的问题：一方面，这种两个任务分开进行会造成它们不能共享有效的信息带来额外的算力消耗；另一方面，连续两帧间的无序目标对和每帧中不完整的检测都为跟踪算法带来了极大的挑战。

Deformable DETR_weixin_43981952的博客-CSDN博客_deformable detr传统的 attention module 的每个 Query 都会和所有的 Key 做attention，而 Deformable Attention Module 只使用固定的一小部分 Key 与 Query 去做attention，所以收敛时间会缩短。

transformer with mot相关推荐

【20210109期 AI周报】该重视 Vision Transformer 了
当你还在研究目标检测中one2one的时候,当你还在死磕模型lantency的时候,当你还在折腾模型NPU部署的时候,当...,我不得不提一下:该重视Vision Transformer了.自2020 ...
TransCenter解读
本文介绍这篇出自MIT的多目标跟踪方向的新论文,其将transformer和基于Center的目标检测与跟踪联合到一起,设计了一个全新的多目标跟踪框架,超越了此前的TransTrack和TrackFo ...
TrackFormer解读
TrackFormer和TransTrack一样是基于Transformer在MOT上的工作,其中一位作者就是DETR的作者,相比TransTrack虽然MOTA上不是很高,但是IDF1和IDs都是好 ...
TransCenter: Transformers with Dense Queries for Multiple-Object Tracking
TransCenter: Transformers with Dense Queries for Multiple-Object Tracking 近期几篇利用transformer进行多目标跟踪的论 ...
2021深度学习的研究方向推荐！Transformer、Self-Supervised、Zero-Shot和多模态
先写两个最近火热我比较看好的方向Transformer和Self-Supervised,我这里举的例子倾向于计算机视觉方向.最后再补充Zero-Shot和多模态两个方向. 1.Transformer ...
AI自动评审了下Transformer论文
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:机器之心 AI博士笔记系列推荐周志华<机器学习> ...
AI论文解读：基于Transformer的多目标跟踪方法TrackFormer
摘要:多目标跟踪这个具有挑战性的任务需要同时完成跟踪目标的初始化.定位并构建时空上的跟踪轨迹.本文将这个任务构建为一个帧到帧的集合预测问题,并提出了一个基于transformer的端到端的多目标跟踪方 ...
多目标跟踪(MOT)最新综述，一文快速入门
多目标跟踪(MOT)最新综述,一文快速入门 0 写在前面去年暑期实习的时候,误打误撞进了一家自动驾驶公司,做了多目标跟踪的工作,工作也是秋招时靠着相关工作拿到了几个算法岗offer,后来毕业课题也换 ...
TransTrack: Multiple Object Tracking with Transformer
摘要 TransTrack利用transformer架构,这是一种基于query-key机制多目标跟踪方法,就是通过前一帧的对象特征来跟踪当前帧的目标,并对当前帧进行对象检测,以检测新的对象.通过在一 ...

transformer with mot

Global Tracking Transformers

TransTrack解读

transformer with mot相关推荐

最新文章

热门文章