原文来自http://www.cnblogs.com/YiXiaoZhou/p/6016759.html

对于多目标追踪问题，我们认为一个理想的评价指标应该满足下述三点要求：

  1. 所有出现的目标都要能够及时找到

  2. 找到目标位置要尽可能可真实目标位置一致

  3. 保持追踪一致性，避免跟踪目标的跳变 each object should be assigned a unique track ID which stays constant throughout the sequence.

这三点要求给了设计MOT评价metric的启发：

  1. metrics应该能够评价tracker输出结果和真实结果location上的误差精度

  2. metrics应该要能够反映出tracker长时间持续追踪目标结构的能力，即追踪到正确的目标轨迹的能力

另外，关于metric的一般要求：

  1. metric参数(包括可调节的阈值等)要尽可能的少，才能使评估过程简单直接，实验结果可对比性较强

  2. metric要尽可能的直观，易理解，特别是要容易区分不同类型的误差

  3. metric应具有较强的适应性，对于MOT的评价指标而言要能够适应2D和3D的不同情况

  4. metric的个数要尽可能的少，尽量少的指标却具有很高的表达能力

论文根据上述的criteria提出了一种MOT问题系统、客观的评价过程。
假设对于每一帧的图像中有目标,tracker在该帧输出的假设为，那么评价过程包含以下步骤：

  1. 建立目标和假设间的最优一一对应关系，称之为correspondence

  2. 对所有的correspondence，计算位置偏移误差(the error in the object's position estimation)

  3. 累积结构误差(object configuration error)
    a. 计算漏检数，objects for which no hypothesis was output
    b. 计算虚警数，hypothesis for which no real objects exists
    c. 跟踪目标发生跳变的次数，the number of occurrences where the tracking hypothesis for an object changed compared to previous frames

接下来仔细分析该过程的具体实现：

  • 如何确定一一对应关系(valid correspondences)
    最朴素的想法就是在目标和假设间，采取最近邻的方法，将相互距离最小的假设匹配给对应的目标。但是这存在一个问题，对于人而言，存不存在对应关系是有一个距离限制的，如果假设和目标的距离满足但是,是某个距离阈值，那我们也应该视假设和目标不存在对应关系，这时候目标应该是一个漏检目标。
    如下图

valid correspondence.jpg

其中 时刻都是有效的对应，而 时刻显然并不认为是有效匹配。
在实际应用中，距离可以采用欧氏距离计算，而阈值T可以设置为假设和目标最少重叠(overlap)时两者中心的距离。

  • 如何刻画追踪一致性
    追踪一致性能力就是指追踪器使追踪假设和对应目标长时间保持对应关系不变的能力。

一种方式是首先寻找目标和假设间的一个最优对应,或者是出现频率最大的对应，然后将其余出现的所有和这个对应不同的对应视为错误匹配，如下图，我们将出现频率最大的对应视为正确的对应关系，然后case1下出现2次错误对应，case2条件下出现4次错误对应。

match errors.jpg

然后这种方式有时候并不符合常理，我们关注的应该是对应发生转变的那一帧，而不是由对应跳变帧带来的其余帧对应的变化。所以论文中给的方法是仅仅统计对应出现跳变的次数。这样的话，上图中case1和case2均仅出现一次跳变。假设直到时刻 的目标-假设对应关系表示为 ，若在 时刻出现假设 使得 不再 中，则可以计做一次错误，在 时刻的目标-假设映射表 中将 取代 。这里说直至 时刻的目标-假设映射表而不是 时刻的映射表是因为有时correspondence出现丢失时，之前的对应关系应该得到保留。
为了降低错误率，减少对应发生跳变的次数，可以在同一目标存在多个valid correspondence时，选择已经存在的correspondence，如下图，在直至 时刻的目标-假设mapping中存在 ,在 时刻出现两个有效的correspondence， ，而且这时候的距离 ,但这时候我们选择 .

correct reinitialization.jpg

  • 具体过程

    1. 对帧，考虑映射中的每一个对应,验证其是否依然有效

    2. 对于那些上一步没有找到对应假设的目标，在新的假设集中寻找最佳匹配，这个时候所谓的最佳匹配时让总的目标-假设距离最小，比如两个待匹配的目标,都是其有效对应，如何匹配两个对映集就要求总体的距离和最小，这时候可以使用Munkres' algorithm[1],这个过程就可以统计匹配发生跳变的次数：如果出现新的不在中，那么在中将新的取代以前的对应，使用记录时刻出现这种跳变的次数。

    3. 经过之前两步，可以找到所有的correspondence，所有的correspondence个数记为,计算每一个correspondence计算目标和假设建的距离。

    4. 剩下的未找到correspondence的目标和假设个数分别记为和。并使用表示时刻真正目标的个数。

    5. 从第一帧开始逐帧计算上述变量。对于第1帧初始的而言，是空的，也就意味着第1帧找到的所有匹配都是正确的，没有发生conflict。
      最终的两个统计量为：

  • MOPT The multiple object tracking precision 也就是假设与对应目标的平均偏差

  • MPTA The multiple object tracking accuracy

其中
a. 计算的是tracking过程总体的漏检率
b. 计算的是tracking过程总体的误检，也就是虚警率。
c. 表示tracking中所有目标发生跳变的机率。

显然，MOTP和MOTA两个指标同时很高，那么tracker的性能就越好

Note：这里在计算MOTP和MOTA时，都是计算的整个tracking过程的平均值，而不是每一帧的结果，这是因为单帧计算这些变量然后再计算平均往往会导致和直观上不同的结果。比如下图

computing error ratios.jpg

这是一个8帧的数据，前4帧中四个目标都被漏检，从第5帧开始只有 visible,且开始被检测到。这样如果逐帧计算漏检率，在前四帧如果计算漏检率就都是100%，那么总体漏检率为 ,而如果统计所有的错误次数然后计算平均，即按照上面过程中计算方法，漏检率为 。

之后论文在CLEARs workshops上使用提出的两个metric评价了不同的track system，发现the proposed metrics indeed reflect the strengths and weaknesses of the various used systems in an intuitive and meaningful way, allow for easy comparsion of overall performance, and are applicable to a variety of scenarios.

多目标跟踪的评价指标相关推荐

  1. 【多目标跟踪任务——评价指标】

    多目标跟踪任务--评价指标 1. MOTA (Multiple Object Tracking Accuracy) 2. MOTP (Multiple Object Tracking Precisio ...

  2. 多目标跟踪MOT评价指标

    目录 1. MOT评价指标 2. 实现思路 3. 计算指标 1. MOT评价指标 MOT:multiple object tracking 评价出发点: 所有出现的目标都要及时能够找到: 目标位置要尽 ...

  3. 深入理解MOT评价指标

    之前一直对其多目标跟踪的评价指标一知半解,今天记录一下其具体的算法细节,不当之处请大家一定要指正! MOTA ( Multiple Object Tracking Accuracy) MOTA可以算是 ...

  4. 融合算法性能评价指标

    前言 多目标跟踪器的性能需要某些指标来进行度量,目前使用比较广泛的评测指标主要有 Bernardin 等人定义的 CLEAR MOT 指标.Ristani 等人定义的 ID scores 指标以及最新 ...

  5. ICPR 2022 第一届卫星视频运动目标检测与跟踪挑战赛正式开赛

    关注公众号,发现CV技术之美 ICPR 2022: The 1st Challenge on Moving Object Detection and Tracking in Satellite Vid ...

  6. 最新目标跟踪评估指标汇总

    前段时间接触了一些目标跟踪的场景,本文主要汇总目标跟踪的常用评估指标,主要包括下面几类: 容易理解的概念:FP.FN.TP.id switch.ML.MT 更加综合的概念:MOTA.IDF1.MOTP ...

  7. ICPR 2022 | 第一届卫星视频运动目标检测与跟踪挑战赛正式开赛

    点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 ICPR 2022 第一届卫星视频运动目标检测与跟踪挑战赛正式开赛 ICPR 2022:The 1st Ch ...

  8. 多目标跟踪评价指标总结——MOTA、IDF1、HOTA等

    多目标跟踪评价指标--MOTA.IDF1.HOTA等 首先了解一下MOT challenge的评价指标,这些指标都是MOT任务比较常用且流行的指标: MOTA 首先需要了解的是: fragmentat ...

  9. 多目标跟踪(MOT,Multiple Object Tracking)评价指标

    简述 在事先不知道目标数量的情况下,对视频中的行人.轿车.卡车.自行车等多个目标进行检测并赋予ID进行轨迹跟踪.不同的目标拥有不同的ID,以便实现后续的轨迹预测.精准查找等工作. 多目标跟踪中即要面对 ...

  10. 多目标跟踪评价指标及其计算方式

    基于MOT的benchmark记录相关的评价指标以及其计算方式和意义 MOTA ( Multiple Object Tracking Accuracy) MOTA计算所有帧的匹配情况,t为帧数,FN为 ...

最新文章

  1. python语言入门电子版-python从入门到精通pdf
  2. Asp.net 关于错误提示 类型“XXX1”在未被引用的程序集中定义，必须添加对程序集XXX2的引用...
  3. canvas动画3：交互
  4. bind()、call()、apply()理解及用法
  5. 2003年以来网页尺寸增长3倍
  6. mysql -a 参数_mysql参数及解释
  7. mysql driver 读写分离_Mysql主从复制和读写分离实践
  8. Oracle 12c 新特性：SQL Plan Directives与过量的动态采样解析
  9. 计算机算法可分为两大类别_广东元耀：您了解过防水淋雨试验箱可分为哪几种类别吗？...
  10. Spark中如何管理Spark Streaming消费Kafka的偏移量
  11. python学习网站-Python学习网站
  12. 算法学习之路|到底买不买
  13. php unset引用变量后不会删除值
  14. sqlite数据库的char,varchar,text,nchar,nvarchar,ntext的区别（转）
  15. 目前总结最新最系统的Java程序员未来职业规划路线，请收藏
  16. vep视频转换为mp4文件
  17. 王润涵:如何用链脉名片打造朋友圈自明星
  18. Unity实战之打靶游戏
  19. 《十周成为数据分析师》笔记——业务线 第八节 常见互联网业务的数据分析报告的制作及用户分层模型
  20. 支持度，置信度，提升度的区别和计算

热门文章

  1. 移远NBIOT BC95-B5使用CoAP协议接入华为IoT平台第一篇
  2. 基于朴素贝叶斯的鸢尾花数据集分类
  3. 需求分析的图形工具——E-R图
  4. for linux pdf转mobi_在Linux上，如何为Amazon Kindle转换各种电子书格式
  5. PDF转Word的时候需要输入密码怎么办？
  6. 安装MySQL+Navicat(提供安装包下载地址)
  7. kettle定时调度
  8. 安卓软件改名器_安卓歌词适配V3.9.5 无损音乐下载器（软件篇）
  9. linux系统火狐浏览器升级,小菜鸡deepin系统手动更新火狐浏览器
  10. java同步和异步概念