jde多目标_华科开源多目标跟踪（MOT）实时新SOTA：FairMOT

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注极市平台公众号，回复加群，立刻申请入群~

本文授权转载知乎作者黄飘，https://zhuanlan.zhihu.com/p/126558285，未经允许，不得二次转载。

前言

又开源了一篇MOT的新SOTA，也是实时的，也是CenterNet为底层的，估计是看到CenterTrack开源了。emmm....看来我近期看的几篇都在今年某顶会扎堆了，噗。这里我还是把这篇文章给介绍一下吧，有意思的是其中的大部分论点我都在之前的博客([2]、[3])说过了。

FairMOT

论文题目：A Simple Baseline for Multi-Object Tracking
作者团队：华科&微软亚研院
备注：MOT15~20(private)：59.0、68.7、67.5、58.7 MOTA
论文链接：https://arxiv.org/abs/2004.01888

代码链接：https://github.com/ifzhang/FairMOT

这篇论文的立意是两部分，一个是类似于CenterTrack的基于CenterNet的联合检测和跟踪的框架，一个是类似于JDE，但是却又不同的，探讨了检测框架与ReID特征任务的集成问题。

作者称这类框架为one-shot MOT框架，论文一开始作者讨论了检测框架和ReID任务的关系：

作者的意思是anchor-based的检测框架中存在anchor和特征的不对齐问题，所以这方面不如anchor-free框架，emmm...指出的问题的确是对的，不过详细的讨论建议各位看看我之前对这个问题的详细讨论[3] [4]。作者因为这个问题而选择了anchor-free算法——CenterNet，不过其用法并不是类似于CenterTrack[2]中采取的类似于D&T的孪生联合方式，而是采用的Tracktor++的方式。

我们知道原始的anchor-free框架的大多数backbone都是采用了骨骼关键点中的hourglass结构：

后面我会单独开一个Re-ID和MOT的专题，这里呢作者就谈到了Re-ID网络中典型的多尺度问题，所以就提出要将hourglass结构改成上图中的多尺度融合的形式。最后通过两个分支完成了检测和Re-ID任务的集成，那么接下来的部分就是如何训练。

在训练部分呢，同样地，考虑到正负样本不均衡问题，作者采用了focal loss的形式：

其中M(x,y)表示的是heatmap在(x,y)处存在目标的概率，而对于box size和offset则采用L1 loss：

最后对于Re-ID分支而言，作者采用了identification式的分类框架，这里面的L就是不同的ID的one-hot表示，p就是网络预测的分类置信度。

在实验部分，作者先是通过实验证明anchor-free的框架比anchor-based框架更适合reid：

紧接着论证了多尺度融合框架对于Re-ID的影响：

的确，从特征空间来讲，各ID的特征距离更大了。而对于Re-ID的特征维度，作者通过实验表明128维即可，这里我就不细说了。最后放一下结果，下面都是private赛道的：

我最近是不是有点高产似。。。

参考资源

[1] A Simple Baseline for Multi-Object Tracking[2] https://zhuanlan.zhihu.com/p/125395219[3] https://zhuanlan.zhihu.com/p/114700229[4] https://zhuanlan.zhihu.com/p/126359766-END-*延伸阅读

多目标跟踪算法汇总，含算法介绍／论文／源码
目标跟踪40年，什么才是未来？
CVPR 2019 论文大盘点-目标跟踪篇

极市独家福利40万奖金的AI移动应用大赛，参赛就有奖，入围还有额外奖励

添加极市小助手微信(ID : cv-mart)，备注：研究方向-姓名-学校/公司-城市(如：AI移动应用-小极-北大-深圳)，即可申请加入AI移动应用极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看