【CV】带你入门多目标跟踪(一)领域概述
现在从目标检测和单目标跟踪方向转来做多目标跟踪的小伙伴应该有不少,但由于多目标跟踪任务本身的复杂性,导致其入门会比目标检测与单目标跟踪困难不少。再加上论文分布在各个会议,开源代码较少,都造成了多目标跟踪的研究门槛较高。本文旨在带领大家入门多目标跟踪,了解多目标跟踪领域的发展概况,让大家更方便直观地理解这个问题。
1. 简介
多目标跟踪,即MOT(Multi-Object Tracking),顾名思义,就是在一段视频中同时跟踪多个目标。MOT主要应用场景是安防监控和自动驾驶等,这些场景中我们往往需要对众多目标同时进行追踪。这是仅用目标检测算法或单目标跟踪算法都无法做到的,人们就自然就开始了对多目标跟踪算法的。
而由于是多目标,自然就会产生新目标进入与旧目标消失的问题,这就是与单目标跟踪算法区别最大的一点。而由于这一点区别,也就导致跟踪策略的不同。在单目标跟踪中,我们往往会使用给定的初始框,在后续视频帧中对初始框内的物体进行位置预测。而多目标跟踪算法,大部分都是不考虑初始框的,原因就是上面的目标消失与产生问题。取而代之,在多目标跟踪领域常用的跟踪策略是TBD(Tracking-by-Detecton),又或者也可叫DBT(Detection-Based-Tracking)。即在每一帧进行目标检测,再利用目标检测的结果来进行目标跟踪,这一步我们一般称之为数据关联(Data Assoiation)。
这里自然引出了多目标跟踪算法的一种分类:TBD(Tracking-by-Detecton)与DFT(Detection-Free Tracking),也即基于检测的多目标跟踪与基于初始框无需检测器的多目标跟踪。TBD则是目前学界业界研究的主流。下图比较形象地说明了两类算法的区别。
不得不提的是另一种多目标跟踪算法的分类方式:在线跟踪(Online)与离线跟踪(Offline)。上文提到,大家往往会使用数据关联来进行多目标跟踪。而数据关联的效果,与你能使用的数据是有着直接的关系的。在Online跟踪中,我们只能使用当前帧及之前帧的信息来进行当前帧的跟踪。而在Offline跟踪中则没有了这个限制,我们对每一帧的预测,都可以使用整个视频的信息,这样更容易获得一个全局最优解。两种方式各有优劣,一般视应用场合而定,Offline算法的效果一般会优于Online算法。而介于这两者之间,还有一种称之为Near-Online的跟踪方式,即可以部分利用未来帧的信息。笔者认为,在实际应用中Near-Online的方式会是最合适的,其相关方法十分值得研究。下图形象解释了Online与Offline跟踪的区别。
关于Online,还有一点需要补充,Online跟踪是不允许修改以往的跟踪结果的,这一点也不难理解,因为一旦修改,算法自然就不再符合Online跟踪不能利用未来帧的要求了,变成了NearOnline或者Offline。
2. 一些术语
看论文时经常会碰到一些术语,初入门的小伙伴可能会云里雾里似懂非懂。有必要在这里列出来。
Trajectory(轨迹):一条轨迹对应这一个目标在一个时间段内的位置序列
Tracklet(轨迹段):形成Trajectory过程中的轨迹片段。完整的Trajectory是由属于同一物理目标的Tracklets构成的。
ID switch(ID切换):又称ID sw.。对于同一个目标,由于跟踪算法误判,导致其ID发生切换的次数称为ID sw.。跟踪算法中理想的ID switch应该为0。
3. 评价指标
对于多目标跟踪,最主要的评价指标就是MOTA。这个指标综合了三点因素:FP、FN、IDsw.。FP即False Postive,为误检测的目标数量;FN即False Negetive,为未检出的真实目标数量;IDsw.即同一目标发生ID切换的次数。
MOTA越高,代表一个Tracker综合性能越好,上限为100,下限负无穷。
除此之外,多目标跟踪还有很多的评价指标,比如MOTP、IDF1、MT、ML、Frag等。作为入门,读者最需要关注的就是MOTA,其他指标可以等对MOT有了进一步了解后再关注。
下表为MOTchallenge官网的Evaluation Measures,有兴趣的读者可以一看。
MOTchallenge:motchallenge.net/result
本系列的第一篇文章希望能带大家对MOT有一个直观的了解。暂未涉及任何具体算法,只是介绍了多目标跟踪的任务,一些术语和评价指标。希望大家有什么问题可以在下面评论,欢迎交流讨论。码字仓促,文中若有错误还请大家不吝指教,多多包涵。
参考文献
[1]Luo, W., Xing, J., Milan, A., Zhang, X., Liu, W., Zhao, X., & Kim, T.-K. (2014). Multiple Object Tracking: A Literature Review, 1–18. Retrieved from Multiple Object Tracking: A Literature Review
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
获取本站知识星球优惠券,复制链接直接打开:
https://t.zsxq.com/qFiUFMV
本站qq群704220115。加入微信群请扫码:
【CV】带你入门多目标跟踪(一)领域概述相关推荐
- 带你入门多目标跟踪(一)领域概述
现在从目标检测和单目标跟踪方向转来做多目标跟踪的小伙伴应该有不少,但由于多目标跟踪任务本身的复杂性,导致其入门会比目标检测与单目标跟踪困难不少.再加上论文分布在各个会议,开源代码较少,都造成了多目标跟 ...
- 轨迹跟踪主要方法_带你入门多目标跟踪(一)领域概述
现在从目标检测和单目标跟踪方向转来做多目标跟踪的小伙伴应该有不少,但由于多目标跟踪任务本身的复杂性,导致其入门会比目标检测与单目标跟踪困难不少.再加上论文分布在各个会议,开源代码较少,都造成了多目标跟 ...
- 【CV】带你入门多目标跟踪(二)SORTDeepSORT
上一篇文章大概给大家介绍了一下多目标跟踪MOT的一些基础知识.初次了解还是从经典的算法开始,SORT和DeepSORT是多目标跟踪中两个知名度比较高的算法.DeepSORT是原团队对SORT的改进版本 ...
- 带你入门多目标跟踪(二)SORTDeepSORT
上一篇文章大概给大家介绍了一下多目标跟踪MOT的一些基础知识.初次了解还是从经典的算法开始,SORT和DeepSORT是多目标跟踪中两个知名度比较高的算法.DeepSORT是原团队对SORT的改进版本 ...
- 带你入门多目标跟踪(三)匈牙利算法KM算法
匈牙利算法(Hungarian Algorithm)与KM算法(Kuhn-Munkres Algorithm)是做多目标跟踪的小伙伴很容易在论文中见到的两种算法.他们都是用来解决多目标跟踪中的数据关联 ...
- 带你入门多目标跟踪(四)外观模型 Appearance Model
行人跟踪作为MOT中的一个典型的问题,十分具有研究价值,本系列文章以行人跟踪为例来介绍MOT. 在讲解外观模型问题前,首先需要对MOT的各个部件有一个大概的了解.在设计一种MOT算法时,有两点问题需要 ...
- Lua快速入门篇(基础概述)(Yanlz+toLua+xLua)
<Lua热更新> ##<Lua热更新>发布说明: ++++"Lua热更新"开始了,立钻哥哥终于开始此部分的探索了. ++++作为游戏发布迭代的重要技术:Lu ...
- 15分钟带你入门sklearn与机器学习——分类算法篇
作者 | 何从庆 本文转载自AI算法之心(ID:AIHeartForYou) [导读]众所周知,Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机 ...
- 技术解析+代码实战,带你入门华为云政务区块链平台
摘要:政务区块链平台是行业区块链平台的初步实践,未来在区块链技术的发展下,还会打造面向其他领域的链管平台,构建多方协同的分布式账本,让区块链应用更便捷高效的为产业服务. 本文分享自华为云社区<技 ...
最新文章
- 【代码笔记】Web-CSS-CSS id和Class选择器
- js实现页面跳转的几种方式
- Ubuntu 18.0.4 安装Selenium 详细流程(亲测有效)
- Py之distance:distance的简介、安装、使用方法之详细攻略
- stm32 USART_IT_IDLE中断 一帧数据
- java左右三角_java打印一个顺序与倒序的杨辉三角,要求两个三角左右排列
- CentOS 初体验十七:Nexus发布仓库和引用
- SQL Server安全(11/11):审核(Auditing)
- 牛客网 【每日一题】5月26日题目精讲 [JSOI2007]建筑抢修
- SQL2005转2000
- 计算机编程之高级语言
- 要用计算机才能算的题,计算机基础题精选,要考90分以上的同学进考场前必看 -电脑资料...
- 解决 Win11 资源管理器卡顿
- Android adb shell启动应用程序的方法
- 手机html己停用怎么办,iphone手机出现已停用请五分钟再试怎么办
- PMP强化三错题记录
- Python实现数列求和
- [ERROR] InnoDB: Attempted to open a previously opened tablespace
- java escpos_java – 设置字符代码表以在ESC / POS打印机中打印非拉丁字符
- java核心技术读书笔记—继承
热门文章
- externn C解析
- 背景全透明 background: transparent
- 用C#实现C/S模式下软件自动在线升级[转载]
- 必须为非自相关端口上的非激活接收指定至少一个已初始化的相关集
- FJOI2018二试游记
- UVA - 11491 Erasing and Winning(奖品的价值)(贪心)
- hdu 4046 Panda 线段树
- Mime类型与文件后缀对照表及探测文件MIME的方法
- Linux(三)——mysql服务
- 问题 | 执行pip install --upgrade --ignore-installed tensorflow出现Cannot open\Scripts\pip-script.py