论文地址：http://arxiv.org/pdf/1602.00763.pdf

SIMPLE ONLINE AND REALTIME TRACKING -2016年

在网上看到一些论文翻译，很多句子和专业词汇翻译都有很大问题。所以，整理不同版本的翻译，融合成一个版本，并进行适当的批注。

SORT的研究点主要集中在有效地关联对象以实现在线和实时应用，核心组件为卡尔曼过滤器和匈牙利算法。达到与最新的跟踪器（2016年）相当的精度，速度极快，更新频率达到260HZ。

具体逻辑为，检测结果跟Kalman预测结果匹配，会有三种情况：

1）已匹配轨迹。预测结果与检测结果匹配，则更新Kalman滤波器，并预测目标下一帧结果；

2）未匹配检测。检测到目标未与任何一个预测结果匹配，此时认为新目标进入场景，产生新的目标ID；

3）无匹配轨迹。预测结果未与任何一个检测结果匹配，此时认为目标丢失，从待跟踪目标中删除该目标ID。

可以看出SORT对于新目标的产生及ID的删除这部分是比较粗糙的，当然作者也说了，其主要重点是有效地关联对象以实现在线和实时应用。文章中还是有很多东西值的借鉴。

1、摘要

本文探讨了一种用于多对象跟踪的实用方法，其主要重点是有效地关联对象以实现在线和实时应用。为此，检测质量被认为是影响跟踪性能的关键因素，更换检测器可以将跟踪质量提高多达18.9％。尽管仅对跟踪组件使用了诸如卡尔曼过滤器和匈牙利算法之类的熟悉技术的基本组合，但该方法仍可达到与最新的跟踪器相当的精度。此外，由于我们追踪方法的简便性，追踪器的更新频率为260 Hz，比其他最新追踪器快20倍以上。

关键字——计算机视觉，多目标跟踪，检测，数据关联

2、介绍

本文针对多对象跟踪（MOT）问题提出了一种“按检测跟踪”框架的精益实现，在该问题中，每帧都会检测到对象并重新将其表示为边界框。与许多基于批次的跟踪方法[1、2、3]相比，这项工作主要针对在线跟踪，其中仅将来自先前帧和当前帧的检测结果呈现给跟踪器。另外，重点主要放在效率方面，以促进实时跟踪的发展，并进一步促进诸如行人跟踪和自动驾驶等应用的发展。

MOT问题可以看作是数据关联问题，其目的是将视频序列中跨帧的检测关联起来。为了辅助数据关联过程，跟踪器使用各种方法对场景中的运动和物体的外观进行建模。本文采用的方法来源于观测最新的视觉MOT基准测试。首先，出现了成熟的数据关联技术，其中包括多重假设跟踪（MHT）和占据了MOT基准测试的许多顶级位置的联合概率数据关联（JPDA）。其次，唯一不使用聚合信道过滤器（ACF）检测器的跟踪器也是排名最高的跟踪器，这表明检测质量可能会影响其他跟踪器。此外，精度和速度之间的权衡似乎非常明显，因为对于实时应用而言，最精确的跟踪器的速度也是最慢的（见图1）。随着顶级在线和批量跟踪器之间传统数据关联技术的兴起，以及顶级跟踪器的不同检测方法的使用，这项工作揭示了MOT的简单性和性能。

图1.SORT的基准性能与其他跟踪器的对比。每个标记表示跟踪器的精度和速度（以每秒帧数（FPS）[Hz]为单位），即越高越好。

与Occam的Razor保持一致，跟踪过程中会忽略检测组件之外的外观特征，并且仅将边框的位置和大小用于运动估计和数据关联。此外，短期和长期遮挡相关的问题也被忽略，因为它们很少发生，并且对它们的处理会影响跟踪框架。我们认为，以对象重新标识的形式合并复杂性会在跟踪框架中增加大量开销，这可能会限制其在实时应用程序中的使用。

这种设计理念与许多包含无数个组件来处理各种边缘情况和检测错误的跟踪器形成了鲜明的对比。这项工作着眼于帧与帧之间的关联。我们不是追求检测错误的鲁棒性，而是利用视觉对象检测的最新进展直接解决了检测问题。通过将常见的ACF行人检测器与最新的基于卷积神经网络（CNN）检测器[13]进行比较来证明这一点。另外，采用了两种经典而又极为有效的方法，即卡尔曼滤波器[14]和匈牙利方法[15]，分别处理跟踪问题的运动预测和数据关联组件。跟踪的这种简化形式促进了在线跟踪的效率和可靠性，请参见图1。在本文中，该方法仅适用于跟踪各种环境中的行人，但是由于基于CNN的探测器的灵活性，自然可以将其推广到其他对象类。

本文的主要贡献是：

我们在MOT的背景下利用了基于CNN的检测功能。
提出了基于卡尔曼滤波器(Kalman)和匈牙利算法(Hungarian)的实用跟踪方法，并在最新的MOT基准上进行了评估。
代码将开源，以帮助建立用于研究实验和避免碰撞应用的基线方法。

本文的组织结构如下：第2节简要介绍了多目标跟踪领域的相关文献。第3节介绍精益的跟踪框架，然后在第4节中证明了该框架对标准基准序列的有效性。最后，第5节提供了学习成果的摘要并讨论了未来的改进。

SORT忽略的问题：

1、检测组件之外的外观特征，并且仅将边框的位置和大小用于运动估计和数据关联；

2、长、短期遮挡相关的问题也被忽略，因为它们很少发生；

3、忽略各种边缘情况和检测错误，直接认为目标丢失或新目标。

3、文献回顾

传统的MOT问题已通过多假设跟踪（MHT）或联合概率数据关联（JPDA）过滤器[16，2]所解决，然而在对象分配上有很高的不确定性，难以做出决定。这些方法的复杂组合，使得在被跟踪对象的数量呈指数增长时，在高度动态环境中的实时应用显得不切实际。最近，Rezatofighi等人，他重新介绍了可视MOT中的JPDA公式[16]，目的是通过利用解决整数程序的最新进展来有效地逼近JPDA，从而解决组合复杂性问题。同样，金等人为每个目标使用了外观模型来修剪MHT图，以实现最佳性能。但是，这些方法仍会延迟决策，因此不适合在线跟踪。

许多在线跟踪方法旨在通过在线学习来构建对象本身或一个全局模型的外观模型。除外观模型外，通常还包含运动以帮助将检测与小径相关联。仅考虑建模为二部图匹配的一对一对应关系时，可以使用诸如匈牙利算法之类的全局最优解算法。

Geigeretal提出了在两个阶段处理中使用匈牙利算法。首先，通过将相邻帧之间的关联检测来形成跟踪小片段，在该相邻帧中，将几何形状和外观结合在一起形成权重矩阵。然后，再次使用几何和外观提示，将跟踪小片段彼此关联以桥接由遮挡引起的折断的轨迹。此两步关联方法将这种方法限制于批处理计算。我们的方法受到的跟踪组件的启发，但是我们将通过下一节中描述的基本提示将关联简化到单个阶段。

4、方法论

此方法可由检测的关键组件来描述，结合检测出的现有对象，将其状态传播到下一帧，并管理跟踪对象的保存的时间。

4.1、检测

为了利用基于CNN的检测技术，我们采用Faster Region CNN（FrRCNN）检测框架。FrRCNN是一个端到端的框架，共包含两个阶段。第一阶段提取特征并提出区域，第二阶段将提取区域内的对象进行分类。该框架的优势在于，两个阶段之间共享参数，从而创建了一个有效的检测框架。此外，网络体系结构本身可以替换为任何设计，从而可以快速试验不同的体系结构以提高检测性能。

在这里，我们比较了FrRCNN提供的两种网络架构，即Zeiler and Fergus架构（FrRCNN（ZF））[21]和Simonyan and Zisserman的更深层次的架构（FrRCNN（VGG16））[22]。在整个项目过程中，我们将带有默认参数的FrRCNN应用于为PASCAL。因为仅对行人感兴趣，所以我们忽略了其他类别，仅将输出概率大于50％的人检测结果传递给跟踪框架。

通过切换检测器组件来比较跟踪性能。评估验证顺序如下：

在我们的实验中，我们发现在将FrRCNN检测与ACF检测进行比较时，检测质量对跟踪性能产生重大影响。无论是使用在线跟踪器MDP还是此处提出的跟踪器，都可以通过验证序列证明这一点。表1显示，对于MDP和所提出的方法，最佳检测器（FrRCNN（VGG16））有最佳跟踪精度。

4.2、估计模型

接下来，我们描述对象模型，用于将目标的信息传播到下一帧的表示形式和运动模型。我们使用线性恒速模型来估计每个对象的帧间位移，该模型与其他对象和摄像机运动无关。每个目标的状态建模为：

其中u和v代表目标中心的水平和垂直像素位置，s和r分别代表目标边框的比例（面积）和长宽比。注意，长宽比被认为是恒定的。当检测与目标相关联时，检测到的边界框将用于更新目标状态，在该状态下通过卡尔曼滤波器[14]对速度分量进行最佳求解。如果没有检测与目标相关联，则无需使用线速度模型进行校正即可简单预测其状态。

4.3、数据关联

在将检测结果分配给现有目标时，通过预测其在当前帧中的新位置来估计每个目标的边界框。成本矩阵的计算为每个检测结果与现有目标所有预测边界框之间的交并比（IOU）距离。使用匈牙利算法可以最佳解决分配问题。此外，如果目标重叠的检测值小于IOUmin，则将施加最低IOU来拒绝分配。

我们发现边界框的IOU距离隐式解决了移动目标引起的短期遮挡的问题。当目标被遮挡物覆盖时，由于IOU距离适当地有利于具有类似比例的检测，因此仅检测到遮挡物。这允许通过检测来校正两个封堵器目标，而覆盖目标不受影响，因为未进行重新分配。

4.4、创建和删除轨迹ID

当对象进入和离开画面时，需要相应地创建或销毁唯一标识。对于创建跟踪器，我们认为重叠小于IOUmin的任何检测都表示存在未跟踪的对象。

1）使用速度设置为零的包围框初始化跟踪器。由于此时未观察到速度，因此将速度分量的协方差初始化为较大的值，从而反映出这种不确定性。

2）新的跟踪器会经历一个试用期，在此期间，目标需要与检测相关联以积累足够的证据，以防止误跟踪FP。

3）如果未检测到T Lost帧，跟踪将终止。这可以防止由于长时间的预测而导致的跟踪器数量的无限增长和定位误差，而无需检测器进行校正。在所有实验中，TLost设置为1的原因有两个：首先，恒速模型无法准确预测真实的动力学；其次，我们主要关注帧到帧的跟踪，而对象的重新识别超出了本文的范围。此外，及早删除丢失的目标有助于提高效率。如果对象再次出现，跟踪将以新的身份恢复。

5、实验

由移动和静态摄像拍摄出的机序列组成MOT基准数据库，由测试序列集评估跟踪性能。为了调节卡尔曼滤波器的初始协方差、IOUmin和T Lost参数，我们使用与参考论文[12]中相同的训练/验证拆分。使用的检测体系结构是FrRCNN（VGG16）。参考论文[22]的源代码和样本检测可在线获得。

5.1、指标

由于难以使用单一评分来评估多目标跟踪性能，所以我们采用参考论文[24]中定义的评估指标和标准的MOT指标：

MOTA（↑）：多对象跟踪精确度（指在一定实验条件下多次测定的平均值与真值相符合的程度，以误差来表示。它用来表示系统误差的大小。）。
MOTP（↑）：多对象跟踪精密度。（是指多次重复测定同一量时各测定值之间彼此相符合的程度。表征测定过程中随机误差的大小。）
FAF（↓）：每帧错误警报的数量。
MT（↑）：跟踪基本完全的轨迹数。如，目标在至少80％的生命周期中具有相同的标签。
ML（↓）：跟踪基本丢失的轨迹数。如，至少在其生命周期的20％内未跟踪目标。
FP（↓）：错误检测的数量。
FN（↓）：错过检测的数量。
ID sw（↓）：ID切换到另一个先前跟踪的对象的次数。
Frag（↓）：由于错过检测而终止跟踪的片段的数量。

带有（↑）的评估方式，分数越高表示性能越好；对于带有（↓）的评估方式，分数越低表示性能越好。 True Postives表示与相应的真实边界框至少有50％的重叠。评估代码是从[6]下载的。

5.2、性能评估

使用MOT基准测试[6]服务器评估跟踪性能，其中保留11个序列的基本情况。表2将本文提出的方法SORT与其他几种跟踪器进行了比较。方便起见，其中只有最相关的跟踪器（在准确性方面是最先进的在线跟踪器），例如（TDAM，MDP），最快的基于批处理的跟踪器（DP NMS）以及全方位在线方法（ NOMT）。此外，还列出了启发该方法的方法（TBD，ALEX-TRAC和SMOT）。与其他方法相比，SORT在在线跟踪器上获得了最高的MOTA评分，并且可以与最先进的方法NOMT相媲美，但NOMT更复杂。另外，由于SORT专注于帧与帧之间的关联，因此尽管具有与其他跟踪器类似的False Negative，但丢失目标的数量（ML）最少。此外，由于SORT专注于帧到帧的关联以增长小轨迹，因此与其他方法相比，它丢失的目标数量最少。

5.3、运行时间

大多数MOT解决方案以实时性为代价，来提高准确性。尽管离线任务允许缓慢的运行时间，但对于机器人技术和自动驾驶汽车，实时性能至关重要。图1显示了MOT基准测试[6]上许多跟踪器的速度和准确性。这表明达到最佳精度的方法也往往是最慢的（图1右下）。在频谱的另一端，最快的方法往往具有较低的精度（图1的左上角）。SORT结合了两个理想的属性，即速度和准确性，而没有典型的缺点（图1右上方）。跟踪组件在具有16 GB内存的Intel i7 2.5GHz计算机的单核上以260Hz运行。

6、结论

在本文中，提出了一个简单的在线跟踪框架，该框架侧重于帧与帧的预测和关联。我们证明了跟踪质量在很大程度上取决于检测性能，并且通过利用检测的最新发展，仅通过经典跟踪方法就可以实现最佳的跟踪质量。所提出的框架在速度和准确性方面均达到了同类最佳的性能，而其他方法通常会牺牲一方面。框架的简单使其非常适合作为基准，从而允许新方法着重于对象的重新识别以处理长期遮挡。由于我们的实验突出了检测质量在跟踪中的重要性，因此未来的工作将研究紧密耦合的检测和跟踪框架。

代码地址：https://github.com/abewley/sort

SORT论文翻译及批注（SIMPLE ONLINE AND REALTIME TRACKING）相关推荐

DeepSORT论文翻译（SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC）
论文地址:https://arxiv.org/pdf/1703.07402.pdf 在网上看到一些论文翻译,很多句子和专业词汇翻译都有很大问题.所以, 整理不同版本的翻译,融合成一个版本,并进行适当的 ...
SORT:SIMPLE ONLINE AND REALTIME TRACKING论文翻译
概述: 多目标跟踪中SORT算法的理解在跟踪之前,对所有目标已经完成检测,实现了特征建模过程. 1. 第一帧进来时,以检测到的目标初始化并创建新的跟踪器,标注id. 2. 后面帧进来时,先到卡尔曼滤 ...
SIMPLE ONLINE AND REALTIME TRACKING （SORT）论文阅读笔记
论文地址:https://arxiv.org/abs/1602.00763 论文题目:SIMPLE ONLINE AND REALTIME TRACKING github地址:https://gith ...
Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric（论文阅读笔记）（2017CVPR）
论文链接:<Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric> ABSTRACT ...
【笔记】文献阅读[SORT]-SIMPLE ONLINE AND REALTIME TRACKING
SORT: SIMPLE ONLINE AND REALTIME TRACKING 引言 2 文献综述 3 方法 3.1 检测 3.2 评估模型 3.3 数据关联 4 实验 4.1 指标 4.2 性能 ...
【多目标跟踪】Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric阅读笔记
文章标题:<Simple Online and Realtime Tracking with a Deep Association Metric> 论文地址:https://arxiv.o ...
多目标跟踪之Sort:SIMPLE ONLINE AND REALTIME TRACKING
SORT:SIMPLE ONLINE AND REALTIME TRACKING Alex Bewley†, Zongyuan Ge†, Lionel Ott⋄, Fabio Ramos⋄, Ben ...
SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC
SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC (简单的在线和实时跟踪与深度关联度量) 摘要简单的在线和实时跟踪 ...
【论文翻译】SORT：SIMPLE ONLINE AND REALTIME TRACKING
虽然在网上看到一些论文翻译,但是基本都是机翻,很多句子和专业词汇翻译都有很大问题.为了学习SORT,我就结合Google翻译和自身的理解,对原论文进行翻译.有很多地方未能理解,翻译有问题的地方请多多指 ...

SORT论文翻译及批注（SIMPLE ONLINE AND REALTIME TRACKING）