https://arxiv.org/pdf/1802.06897.pdf

数据关联和轨迹间关联是单传感器和多传感器多目标跟踪中的两个基本问题，是NP-hard组合优化问题的实例，也被称为多维分配问题（MDAP）。在最近几年里，用数据驱动的方法去解决跟踪中的多维分配问题原来越流行。我们认为，将多目标跟踪看作一个分配问题，在概念上统一了为数据关联和轨迹间关联提出的各种机器学习方法。在这篇综述中，我们回顾了最近几年的相关文章，为多目标跟踪中遇到的分配问题提供严格的公式，并回顾使用数据驱动技术之前前人使用的经典方法。最近的文章试图用深度学习的方法解决NP难的组合优化问题，这些问题包括数据分配问题。我们重点介绍了多传感器应用中的具有表示性的学习方法，并通过概述当前的多目标跟踪基准来得出总结。

关键词：跟踪、多目标跟踪、多维分配、机器学习、深度学习

1引言

1.1背景介绍
单相机或者多相机的多目标跟踪在视频监控和机器人应用中有很重要的作用。跟踪算法为高级系统提供了根据周围环境的精确图像进行实时决策的能力。这些算法可以应用于十字路口的行人检测，自动驾驶，和交通监控领域。在其他领域也有广泛的应用，例如在显微镜图像中跟踪细胞的通用安全系统。在这些应用的有多种不同的相机模式，最常见的模式有视频，激光雷达。一个激动人心的例子就是在城市十字路口跟踪所有交通参与者轨迹的视觉系统。实时跟踪的数据而已用来自适应地控制交通灯，从而优化路口的交通流量。拥堵的交通占用了大量的道路，无法预测的行人运动导致了一个混乱的场景，有很多遮挡、误检和漏检。尤其是由于光线差和天气条件造成目标外观的变化对视觉跟踪造成问题。另一方面，例如车辆和基础设施之间的通信技术（V2I）使得车辆能够直接传输信息到交通路口，从而增强了交通相机和其他传感器获得的数据信息。但是，高建筑物树木，和其他的车辆信息增强了GPS信号的干扰，识别和滤除多径效应仍然是一个正在进行的研究领域。

在基于视觉的跟踪方法得到广泛应用之前，跟踪方法主要依赖于运动数据。一个合理的认知是，将运动学信息与高维传感器数据的学习到的表示相结合，将会提高跟踪性能。本论文回顾在数据驱动的多目标跟踪中使用的各种算法，并讨论最近提出的算法。我们认为，从分配问题的角度考虑跟踪是一种很好的方法，可以抽象出许多特定于应用程序的细节，并利于将不同的算法统一起来。

1.2 多目标跟踪中的分配问题
多目标跟踪的核心依赖于数据分配和跟踪分配问题。数据分配的目的是定义第一个规则使得传感器新获得检测（测量）信息与原来已经存在的跟踪信息匹配。以前未检测到的目标可能生成新的测量值，因此必须注意不要将其中一个测量值错误地分配给现有的轨道。同样的，检测或者测量也可能来自监控区域中的杂波，导致生成了一些误检测，这些也应该尽量避免。当存在多个传感器时，跟踪分配也会存在一些额外的问题。这种问题是企图寻找不同传感器中同一目标的一致性。这一步是在目标之间融合的关键一步。一旦找到多传感器轨道的最优分配，就可以将分配给单个轨道的所有轨迹组合起来，得到该轨道状态的最终估计。多传感器可能是同构的，也可能是异构的。在后面的案例中，问题会变得更加复杂，因为不同的传感器可能会产生不同类型的数据。在此工作中，检测和测量交替使用（ detections and measurements），targets 和objects交替使用都表示目标。我们将尽可能地与我们的使用保持一致，同时在适当的时候遵守不同跟踪群体的规范。例如，在基于视觉的跟踪中，通常使用术语检测而不是测量。

从广义上讲，解决这两个关联任务的算法可以分为单扫描或多扫描。单扫描算法只使用最近时间长的跟踪信息，而多扫描算法使用多个以前或未来时间步长的跟踪信息。一般来说，多扫描方法更适用于目标距离较近、虚报和漏检较多的情况。但是，延迟关联以利用未来的信息会对跟踪器的实时性能产生负面影响。多扫描方法产生的轨迹的准确度和精度通常比较高，而且它们提供较少的轨迹ID变化、轨迹中断和漏跟踪。显然，多扫描方法会比单扫描方法更贵，实现起来更加复杂。

在图2中，圆圈，三角，菱形分别表示在同一种监控范围内的不同传感器，每个传感器维护两个踪迹。在这种场景中，滑动窗口的大小size=1，(a)中的虚线箭头假设圆形传感器的一个轨迹与三角形和菱形传感器的轨迹关联。为了使得表示清晰，这里a图中没有画出来自其他分配的轨迹箭头。b）最佳轨迹-轨迹关联假说;两组相关联的轨迹由实线和虚线表示。该解决方案有效地划分了每个传感器的跟踪列表。

一种常用的公式化匹配任务的方法是将其看成是分配问题。例如表格1中，是不同分配问题对应的不同的分配任务。最简单的就是二维分配问题，也称为双边匹配和线性分配LAP，目的是给m个人（如m个轨迹）分配给n种工作（如传感器的检测）。这种组合优化问题约束了解空间，因此每个轨迹会准确地分配了唯一的测量信息，但是测量信息要允许不被匹配（如漏检）或者错误分配（误检）。对轨迹关联分配问题的多维扩展规定了每个传感器的轨只分配一次。不幸的的是，当维度大于3时，多维分配问题就变成了NP难问题，然而对于线性分配问题却存在很多多项式时间算法（算法时间随着数据量的增加是有界的）。我们将在第二节中更严格地阐述这些问题。本文提出的算法是针对多目标跟踪中遇到的各种多维分配问题而提出的，一般适用于数据关联和轨迹间关联。

表格中显示了在多目标跟踪中使用的数据分配方法的分类。包括线性分配问题和多维信息分配问题。本文提出的算法(或者经过修改改进的相关算法)是针对多目标跟踪中遇到的各种MDAPs问题而提出的，一般适用于数据关联和轨迹间关联。

从传感器获得的非运动数据能够融入到分配算法以提高性能。例如，可以使用一个分类器来防止具有不同目标类标签的两个传感器轨迹相关联，从而减少了潜在的分配数量。为了提高数据关联的性能，外观信息在计算机视觉领域得到了广泛的应用。

1.3 相关工作对比
[101] Aubrey B Poore. 1994. Multidimensional assignment formulation of data association problems arising from multitarget
and multisensor tracking. Computational optimization and Applications 3, 1 (1994), 27–57.
[102] Aubrey B Poore and Sabino Gadaleta. 2006. Some assignment problems arising from multiple target tracking.
Mathematical and Computer Modelling 43, 9 (2006), 1074–1091.
这两篇详细介绍了分配问题在多目标跟踪中的应用，他们只分析了多目标跟踪任务中的框架分配拟问题。

还有其他的关于多目标跟踪的论文如

[79] Wenhan Luo, Junliang Xing, Xiaoqin Zhang, Xiaowei Zhao, and Tae-Kyun Kim. 2014. Multiple object tracking: A
literature review. arXiv:1409.7618 [cs.CV] (2014).
[147] Alper Yilmaz, Omar Javed, and Mubarak Shah. 2006. Object tracking: A survey. Acm computing surveys (CSUR) 38, 4
(2006), 13.
然而，这些研究的范围仅限于基于视觉的跟踪，关注的是跟踪解决方案的各个方面，而我们的重点是具体的数据关联和跟踪到跟踪的关联问题。

基于摄像头的多目标跟踪中的外观匹配论文[75]讨论了可以提高数据关联的机器学习方法，但没有涵盖在计算机视觉跟踪社区中普遍存在的深度学习的最新进展.
[75] Xi Li, Weiming Hu, Chunhua Shen, Zhongfei Zhang, Anthony Dick, and Anton Van Den Hengel. 2013. A survey of
appearance models in visual object tracking. ACM Transactions on Intelligent Systems and Technology 4, 4 (2013), 58

[42]提出了最近比较先进的深度学习技术应用于图像匹配中，但是却没有提及与多传感器多目标跟踪问题。
[42] Pasquale Foggia, Gennaro Percannella, and Mario Vento. 2014. Graph matching and learning in pattern recognition
in the last 10 years. International Journal of Pattern Recognition and Artificial Intelligence 28, 01 (2014), 1450001.

首先研究多样的优化技术，然后学习了分配成本。

1.4技术路线
解决多维分配问题分为两部分。第一部分是关注优化问题，找到数据分配和轨迹间分配的最优问题。第二部分是考虑从数据中学习数据分配成本的方法。
文中就是按照这两个部分展开的，在第二部分详细定义了多目标跟踪问题中的多种分配问题。第三部分首先介绍了之前提出的，但是现在还用的mot中的分配问题。然后评估了现在表现突出的基于深度学习的方法。第四部分针对单传感器和多传感器跟踪问题，提出了多种学习分配代价的方法。第五部分综述了目前用的相关数据集。第六部分总结了目前存在的问题，和未来面临的挑战。

2 问题公式化

首先，我们将正式介绍单传感器数据关联的线性分配问题和两个传感器间轨迹的线性分配问题(LAP)。

2.1 线性分配

假设一种场景在时间t=k时刻（k=1,2,3，…，T），有m个现存的轨迹，n和传感
器测量信息。假如将测量j分配给跟踪i的代价为，在t时刻的代价矩阵可以表示成。
目的是找到一组检测和跟踪的匹配来最小化代价函数的值。使用二值化决策变量来表示一组测量和跟踪的分配。
最终就是要最小化一下函数：

其中约束条件是：

其中x是二值化的分配矩阵。

MOT-Machine Learning Methods for Solving Assignment Problems in Multi-Target Tracking相关推荐

Paper reading (四十四)： Machine learning methods for metabolic pathway prediction
论文题目:Machine learning methods for metabolic pathway prediction scholar 引用:149 页数:14 发表时间:2010.01 发表刊 ...
Day 5. Suicidal Ideation Detection: A Review of Machine Learning Methods and Applications综述
Title: Suicidal Ideation Detection: A Review of Machine Learning Methods and Applications 自杀意念检测:机器学 ...
【论文导读】Causal Machine Learning:A Survey and Open Problems
最新的arXiv上的综述迅速过一遍 2022.7.13 [历史]C1已看完(三页) ML面临挑战: (1)当数据分布发生变化时,泛化性能大幅下降 (2)缺乏对生成模型样本的精细控制 (3)有偏见的预 ...
【论文导读2】Causal Machine Learning:A Survey and Open Problems
目录 3.1 不变特征学习(Invariant Feature Learning,IFL) 3.1.1.1 Deconfounding data(数据去混杂) 3.1.1.2 去混淆中间表示 3.1. ...
精通机器学习的5本免费电子书(5 free e-books for machine learning mastery)
原文:5 free e-books for machine learning mastery 作者:Serdar Yegulalp 翻译:赖信涛责编:仲培艺 There are few subje ...
Machine Learning Basics（2）
文章目录 CODE WORKS CONTENTS Capacity, Overfitting and Underfitting The No Free Lunch Theorem Regulariza ...
机器学习面试题合集Collection of Machine Learning Interview Questions
The Machine Learning part of the interview is usually the most elaborate one. That's the reason we h ...
Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读
Paper:<Multimodal Machine Learning: A Survey and Taxonomy,多模态机器学习:综述与分类>翻译与解读目录 <Multimoda ...
Paper：《Hidden Technical Debt in Machine Learning Systems—机器学习系统中隐藏的技术债》翻译与解读
Paper:<Hidden Technical Debt in Machine Learning Systems-机器学习系统中隐藏的技术债>翻译与解读导读:机器学习系统中,隐藏多少技术 ...
DGM: A deep learning algorithm for solving partial differential equations
论文信息题目: DGM: A deep learning algorithm for solving partial differential equations 作者及单位: Justin Sir ...

MOT-Machine Learning Methods for Solving Assignment Problems in Multi-Target Tracking

1引言

2 问题公式化

MOT-Machine Learning Methods for Solving Assignment Problems in Multi-Target Tracking相关推荐

最新文章

热门文章