华科开源多目标跟踪(MOT)实时新SOTA:FairMOT
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
编辑:Sophia
计算机视觉联盟 报道 | 公众号 CVLianMeng
转载于 :知乎:黄飘
https://zhuanlan.zhihu.com/p/126558285
AI博士笔记系列推荐:
博士笔记 | 周志华《机器学习》手推笔记“神经网络”
前言
又开源了一篇MOT的新SOTA,也是实时的,也是CenterNet为底层的,估计是看到CenterTrack开源了。emmm....看来我近期看的几篇都在今年某顶会扎堆了,噗。这里我还是把这篇文章给介绍一下吧,有意思的是其中的大部分论点我都在之前的博客([2]、[3])说过了。
FairMOT
论文题目:A Simple Baseline for Multi-Object Tracking
作者团队:华科&微软亚研院
备注:MOT15~20(private):59.0、68.7、67.5、58.7 MOTA
论文链接:https://arxiv.org/abs/2004.01888代码链接:https://github.com/ifzhang/FairMOT
这篇论文的立意是两部分,一个是类似于CenterTrack的基于CenterNet的联合检测和跟踪的框架,一个是类似于JDE,但是却又不同的,探讨了检测框架与ReID特征任务的集成问题。
作者称这类框架为one-shot MOT框架,论文一开始作者讨论了检测框架和ReID任务的关系:
作者的意思是anchor-based的检测框架中存在anchor和特征的不对齐问题,所以这方面不如anchor-free框架,emmm...指出的问题的确是对的,不过详细的讨论建议各位看看我之前对这个问题的详细讨论[3] [4]。作者因为这个问题而选择了anchor-free算法——CenterNet,不过其用法并不是类似于CenterTrack[2]中采取的类似于D&T的孪生联合方式,而是采用的Tracktor++的方式。
我们知道原始的anchor-free框架的大多数backbone都是采用了骨骼关键点中的hourglass结构:
后面我会单独开一个Re-ID和MOT的专题,这里呢作者就谈到了Re-ID网络中典型的多尺度问题,所以就提出要将hourglass结构改成上图中的多尺度融合的形式。最后通过两个分支完成了检测和Re-ID任务的集成,那么接下来的部分就是如何训练。
在训练部分呢,同样地,考虑到正负样本不均衡问题,作者采用了focal loss的形式:
其中M(x,y)表示的是heatmap在(x,y)处存在目标的概率,而对于box size和offset则采用L1 loss:
最后对于Re-ID分支而言,作者采用了identification式的分类框架,这里面的L就是不同的ID的one-hot表示,p就是网络预测的分类置信度。
在实验部分,作者先是通过实验证明anchor-free的框架比anchor-based框架更适合reid:
紧接着论证了多尺度融合框架对于Re-ID的影响:
的确,从特征空间来讲,各ID的特征距离更大了。而对于Re-ID的特征维度,作者通过实验表明128维即可,这里我就不细说了。最后放一下结果,下面都是private赛道的:
我最近是不是有点高产似。。。
参考资源
[1] A Simple Baseline for Multi-Object Tracking
[2] https://zhuanlan.zhihu.com/p/125395219
[3] https://zhuanlan.zhihu.com/p/114700229
[4] https://zhuanlan.zhihu.com/p/126359766
END
声明:本文来源于网络
如有侵权,联系删除
联盟学术交流群
扫码添加联盟小编,可与相关学者研究人员共同交流学习:目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
最新热文荐读
GitHub | 计算机视觉最全资料集锦
Github | 标星1W+清华大学计算机系课程攻略!
Github | 吴恩达新书《Machine Learning Yearning》
收藏 | 2020年AI、CV、NLP顶会最全时间表!
收藏 | 博士大佬总结的Pycharm 常用快捷键思维导图!
收藏 | 深度学习专项课程精炼图笔记!
笔记 | 手把手教你使用PyTorch从零实现YOLOv3
笔记 | 如何深入理解计算机视觉?(附思维导图)
笔记 | 深度学习综述思维导图(可下载)
笔记 | 深度神经网络综述思维导图(可下载)
总结 | 2019年人工智能+深度学习笔记思维导图汇总
点个在看支持一下吧
华科开源多目标跟踪(MOT)实时新SOTA:FairMOT相关推荐
- jde多目标_华科开源多目标跟踪(MOT)实时新SOTA:FairMOT
加入极市专业CV交流群,与 10000+来自港科大.北大.清华.中科院.CMU.腾讯.百度 等名校名企视觉开发者互动交流! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总,行业技术交流.关注 ...
- 多目标跟踪(MOT)最新综述,一文快速入门
多目标跟踪(MOT)最新综述,一文快速入门 0 写在前面 去年暑期实习的时候,误打误撞进了一家自动驾驶公司,做了多目标跟踪的工作,工作也是秋招时靠着相关工作拿到了几个算法岗offer,后来毕业课题也换 ...
- 多目标跟踪MOT入门
摘自:一线算法工程师整理!超实用的3大多目标跟踪算法 一线算法工程师整理!超实用的3大多目标跟踪算法https://mp.weixin.qq.com/s/LkfFY5PXzek-KRblo2gKGA ...
- 多目标跟踪MOT(Multiple Object Tracking)最全综述
1.MOT概念 多目标跟踪,一般简称为MOT(Multiple Object Tracking),也有一些文献称作MTT(Multiple Target Tracking).在事先不知道目标数量的情况 ...
- 多目标跟踪(MOT,Multiple Object Tracking)评价指标
简述 在事先不知道目标数量的情况下,对视频中的行人.轿车.卡车.自行车等多个目标进行检测并赋予ID进行轨迹跟踪.不同的目标拥有不同的ID,以便实现后续的轨迹预测.精准查找等工作. 多目标跟踪中即要面对 ...
- 多目标跟踪MOT技术总结(持续更新)
前言:本人作为MOT领域新人,目前已经阅读一定量和质量的paper,尽可能的将这些MOT算法按照不同的技术路径进行分类(2016 SORT之后),并且只对论文的方法做一个大概的总结,具体细节请参照原文 ...
- 超强YOLOP!CVPR 2022领域主席团队开源!全景感知多任务SOTA!
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:Sophia知乎 https://zhuanlan.zhihu.com/p/406018656 AI博士笔记系 ...
- PP-LiteSeg重磅开源!高精度轻量级图像分割SOTA模型
图像分割技术在医疗病灶分析.自动驾驶车道线分割.绿幕人像抠图等领域发挥着举足轻重的作用.相比目标检测.图像分类等技术,图像分割需要将每个像素点进行分类,在精细的图像识别任务中不可替代. 图1 图像分割 ...
- 多目标跟踪MOT踩坑记录
文章目录 tracking MOT log 0. 数据集 1.Github 2.资源综述 3.工具包Code MOT 工具包 MOT 评估 Python版 4.算法Code deep sort `py ...
最新文章
- 如何设计一个复杂的业务系统?从对领域设计、云原生、微服务、中台的理解开始...
- ionic3 java,ionic3-环境搭建问题
- php之自动加载(懒加载)
- 时间更新服务器推荐 - NTP时间同步服务器集群:ntp.api.bz
- 大厂中秋礼盒大PK!祝大家中秋快乐,送大家鹅厂月饼礼盒!
- php ai库,收藏 | 深度学习框架、AI库、ML库、NLP库、CV库汇总!
- JEECG 官方微博账号
- qt程序中使用 环境变量_目的:使用CUDA环境变量CUDA_VISIBLE_DEVICES来限定CUDA程序所能使用的GPU...
- perl调用其他的perl_如何使Perl更优雅
- WPF解析Word为图片
- 在asp中实现自动缩放图片(推荐)
- html的table的子节点,HTMLTableElement子节点并不如预期
- 为你的整轨APE音乐制作CUE文件(图文)
- 关于浮点数据类型和布尔数据类型以及最后的总结
- Qt 常用文件对话框及消息对话框使用
- Pegasus education technical support
- 抖音 快手 皮皮虾 短视频一次解析
- 更精确的新旧中国居民身份证号码验证算法
- 【Linux操作系统】1. Linux操作系统简介、安装
- c盘java文件误删_电脑清理C盘时误删重要文件如何恢复
热门文章
- linux云存储软件,推荐5个Linux云存储解决方案
- 西门子cpu指示灯含义_【技成周报28期】西门子全系列常见问题解答分享
- python表格类型数据的组织维度是_Python数据分析 - Numpy
- PHP群发300万,mysql 300万数据查询500多秒如何优化
- JAVA判断输入日期是否合法
- android动态壁纸提取,[图]大神已提取出一加8T的动态壁纸:Android 8.0+设备均可使用...
- pygame的字体画不出来_微软的python3教学的pygame的小游戏解析和学习
- java buqi_Java 异常
- [翻译]基于ASP.NET的NumericTextBox控件[Carol]
- Quora使用到的技术