打遍天下无敌手,却说它只是个baseline!多目标跟踪FairMOT的烦恼
你有没有遇到过这样的烦恼,绞尽脑汁憋出了个别人没做多的idea,感觉弥补了现今理论的重大漏洞,必定实现精度和速度的比翼齐飞!可是费了九牛二虎之力跑完了实验,结果却一点改进也没有。
唉!
[抱抱] 这是科研之日常~
不过前几天新出的一篇多目标跟踪的论文,在主流的多目标跟踪数据集上结果异常好,几乎打败之前所有State-of-the-art算法,但作者却称该算法只是个baseline,而且是simple baseline!
该文即 A Simple Baseline for Multi-Object Tracking :
作者来自华中科技大学和微软亚洲研究院。
目前多目标跟踪算法基本都是以目标检测和目标重识别(ReID)为核心组件,目标检测是为了发现当前画面所有的目标,ReID则是将当前所有目标与之前帧的目标建立关联,后一步可以通过ReID特征向量的距离比较和目标区域交并比(IOU)来建立关联。
看起来思路还是很直接的,目标检测和ReID结合的方式就成为了多目标跟踪方法技术分类的依据。
作者指出目前方法多可归纳为两类。
1. 两步法 Two-Step MOT Methods
先进行目标检测,然后对于检测到的目标resize到固定大小,然后提取ReID特征,这种方法很显然的好处是,目标尺度被很好的归一化了,但明显的问题是目标检测和ReID特征提取之间没有特征复用,计算成本很高。
2. 一步到位法 One-Shot MOT Methods
目标检测的同时也进行ReID特征提取,现有的方法比如Track-RCNN、JDE(Towards real-time multi-object tracking)直接在Mask R-CNN、YOLOv3的检测端并行加入ReID特征向量输出。很显然这能节约计算时间,但作者研究发现此类方法存在目标ID关联不正确的问题。
该文研究的即 One-Shot MOT Methods 类方法,认为现有的此类别的多目标跟踪方法使用了anchor-based 类目标检测,目标的ReID特征是在anchor区域提取的,anchor 和目标区域会出现不对齐的问题,这会导致网络训练时存在严重的歧义。
如下图,
左图红色和黄色框都是为了估计蓝色衣服人位置的anchor,但其都与目标存在较大的位置偏差,在这些anchor上提取特征并告诉ReID网络来自同一个人,是不合适的。
算法改进
【改进点一】
作者解决的办法其实也很简单的,那就是不要使用基于anchor的目标检测方法嘛,用anchor-free的方法,尤其是以 Objects as points 为代表的方法,将目标检测看作为目标中心点检测的问题,依此中心点输出ReID特征。
看起来不错!
【改进点二】
另外,两步法对尺度变化不敏感,为加强处理One-Shot MOT 类方法对大小目标通杀,作者引入了Multi-Layer Feature Aggregation,将网络高层次和低层次特征融合。
也很有道理!
【改进点三】
通常ReID问题中特征向量维度越大表现越好,但这需要大量的训练数据。在多目标跟踪的ReID问题中数据并不丰富,作者发现维度小一点其实更好,降低了过拟合的风险,还可以减少计算量。
犀利的眼光!
该文选择了 Objects as points 目标检测方法,算法框架如下:
图像经编码器-解码器网络输出两个任务,目标检测和ReID特征提取,检测部分输出候选目标中心点热图heatmap、目标包围框大小 box size、目标中心相对原图实际位置的偏移量 center offset。
ReID特征提取部分则是输出所有候选目标中心点的128维ReID特征,所以检测部分结果出来,其对应的ReID特征就有了。
作者称该算法为FairMOT,意即目标检测和ReID特征提取兼顾的多目标跟踪算法。
实验结果
重头戏到了,以上改进看起来只是算法替换和小打小闹,却带来了异常惊艳的结果!
与其他one-shot 跟踪算法的比较:
精度和速度都是大幅超越,完胜!
与其他在线跟踪器包括多个 two-step 方法 state-of-the-art 在多个数据集上的比较:
在大多数指标下都是大幅超越第二名的完胜,少部分不是第一的,也是接近顶尖的水平。
而且相比其他算法速度也很快,达到30FPS。
以下是作者跑出来的一些结果:
虽然人多的画面各个目标框人眼已经难以区分,但大家可以明显感觉到在人群如此拥挤的情况下各个框的稳定性非常好。
FairMOT是目前最好的多目标跟踪算法,而且代码开源了。
该文没有提出惊世骇俗的理论,只是发现了以往算法的重大缺陷,替换修补之,结果却很惊艳!这样的论文对你有启发吗?欢迎留言讨论!
论文地址:
https://arxiv.org/abs/2004.01888
代码地址:
https://github.com/ifzhang/FairMOT
END
备注:跟踪
目标跟踪交流群
目标跟踪、视觉跟踪等更多最新技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到
打遍天下无敌手,却说它只是个baseline!多目标跟踪FairMOT的烦恼相关推荐
- 多目标跟踪 | FairMOT:统一检测、重识别的多目标跟踪框架,全新Baseline
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:AI算法与图像处理 论文地址:https://arxiv ...
- 多目标跟踪FairMOT笔记
用了dcnv2 看起来只能在linux运行: https://github.com/ifzhang/FairMOT 一个模型247m,一个668m 速度:而且相比其他算法速度也很快,达到30FPS. ...
- 多目标跟踪新范式:CenterTrack
作者:Xingyi Zhou等 参与:小舟.Jamin.魔王 转载自机器之心 近日,来自德克萨斯奥斯汀分校和英特尔研究院的研究人员提出一种基于点的同时检测和跟踪方法 Tracking objects ...
- 多目标跟踪算法FairMOT深度解析
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨周威@知乎 来源丨https://zhuanlan.zhihu.com/p/259356109 ...
- 生活有哪些残忍的真相?
1.很多人拼尽全力,只是为了艰难的生存. 2.大多数人一点也不喜欢读书,只是喜欢被别人贴上"爱读书"的标签罢了. 3.你越没能力,社交圈质量就越低,碰到的傻逼就越多. 4.职场绝不 ...
- macos 全局快捷键 打开 iterm_MouseInc – 完全免费的全局鼠标手势增强工具 | 马小帮...
相信不少同学对于键盘的快捷键已经熟悉的不能在熟悉了,各种操作的效率也在逐步提高,但快捷键还是太多了~ 没有一定的记忆水平和较长时间的练习肯定是不能灵活运用的. 依然记得有位大佬曾经说过:对于大学生来说 ...
- cglib代理的使用
一.什么是CGLIB? 总的来说,无论是cglib.jdk动态代理又或者是aop面向切面编程,都运用到了一个最重要的设计模式--代理模式!万变不离其终,学好代理模式,打遍天下无敌手! cglib就是一 ...
- 干货|2020年以后人工智能的几点思考
戴琼海 中国人工智能学会理事长.国务院参事 中国工程院院士.清华大学信息学院院长 我想和大家谈谈我对人工智能的几点思考,包括一些值得商榷的问题.从几千年前的原始社会,人们依靠石器工具来劳动:到农耕时期 ...
- 分析B站10万条弹幕后,发现了歪嘴战神的终极奥义!
作者 | 数据不吹牛 最近,歪嘴战神血洗b站,靠着"耐克式微笑"成功出圈,迷倒众生. 这次,小z爬取了10万条相关弹幕,从数据分析的角度,扒一扒歪嘴战神那该死的狷狂魅力. 歪嘴战神 ...
最新文章
- php fopen 中文,php fopen用法是什么
- Mybatis_映射文件配置
- mysql 实现nextval_mysql实现nextVal功能
- 自动计算高度的方法 iOS, height为0, 可以自动计算weith,
- c语言编译生成cpp,C语言的编译过程
- alt复制选区就会卡 ps_PS入门视频教程笔记整理(二)工具栏介绍一
- 【itext学习之路】--6.将html转成pdf(解决中文不显示)
- jstat分析JVM内存
- CYQ.Data 轻量数据层之路 使用篇-MAction 数据查询 视频 D (二十一)
- 【iOS】使用storyboard界面跳转报错:unrecognized selector sent to instance 0x7
- c ++比较字符串是否相等_在C ++中比较字符串的3种方法
- PHP如何有效实现多视频同时上传功能
- 使用struts框架接受http请求过来的get和post数据的方法:
- html表格列文字自动换行,Table文字自动换行
- 移动端rem适配(375)设计稿
- 淘淘商城第30讲——实现商品添加功能
- c语言流水调度作业,最优流水作业调度问题:流水作业调度问题
- 20175212童皓桢 实验五 网络编程与安全
- 6.shell之正则表达式
- C++ 函数实参传递 (argument passing)
热门文章
- windows下使用cmake+mingw配置makefile(2)
- 爬虫学习二: bs4 xpath re
- 编辑php程序推荐的软件,PHP程序员都爱用的开发工具推荐
- wsl用户帐户没有必要的权限_Windows的Linux子系统(WSL)即将带来图形化应用
- android将项目添加到github,将github库作为依赖添加到Android-Studio项目中
- Linux 新加一块硬盘,添加到已有逻辑卷扩容
- 鼠标方式自动弹出内容html,html 在一个超链接上面,鼠标移动上去时,也显示一串文字,如何实现...
- [Note]Linux查看ASCII字符表
- 面向对象方法及软件工程——团队答辩
- bash初识,shell的基础语法及基本特性