我们已经生活在一个被摄像头和视频包围的世界里，从手机、汽车、无人机到各类监控设备，随处可见摄像头的“身影”。据前瞻产业研究院2020年的报告分析，预计到2025年全球摄像头镜头的出货量将超过120亿颗。

面对海量的摄像头及其产生的视频素材，如何利用具有深度学习功能的 AI 技术，高效、智能地处理、挖掘信息，已成为一项非常有价值的课题。

一、目标跟踪简介

视频目标跟踪技术（也称为：目标跟踪、视觉跟踪），作为计算机视觉领域中基础的、重要的研究方向之一，可广泛应用在交通管理、安防监控、自动驾驶、机器人、体育赛事转播等领域，其已成为一大研究热点。

图源：网络

二、目标跟踪分类

● 根据跟踪的目标数量，目标跟踪任务可分为单目标跟踪（SOT）和多目标跟踪（MOT）；

● 根据背景状态，可分为静态背景下的目标跟踪和动态背景下的目标跟踪；

● 根据摄像头数量，可分为单摄像头跟踪和多摄像头跟踪；

● 根据任务计算类型，可分为在线跟踪、离线跟踪；

更多分类可参考下图：

目标跟踪纵览（图源：参考资料[1]）

其中，多目标跟踪作为计算机视觉中的一项中级任务，仍然是一项具有挑战性的任务，因为它需要同时解决目标检测、轨迹估计、数据关联和重识别问题。另外它也是许多高级任务的基础，如姿态估计、动作识别和行为分析等。

让我们一起来看看。

三、什么是多目标跟踪任务

多目标跟踪与单目标跟踪是一组相对的概念。

单目标跟踪是指，在视频的初始帧画面上框出单个目标，预测后续帧中该目标的大小与位置。该目标始终位于视场中，并且对目标种类无限制。

单目标跟踪示意（图源：网络）

而多目标跟踪是在事先不知道目标数量的情况下，对视频中的行人、汽车、动物等多个目标进行检测并赋予ID进行轨迹跟踪。不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作。[2]

多目跟踪示意（图源：网络）

四、多目标跟踪方法步骤

多目标跟踪主要分为以下四个步骤：[3]

1. 对象初始化

首先对各个视频帧中的新出现的对象进行建模，即对象初始化；

2. 检测与特征提取

其次根据建立的模型进行对象检测，获得初始对象序列的特征；

3. 相似度计算

根据得到的特征，在后续帧中重复寻找目标对象进行相似度度量；

4. 数据关联

根据相似度度量结果对目标进行关联，获得一系列的对象轨迹。

五、多目标跟踪任务难点

相对于单目标跟踪，多目标跟踪面临着更加复杂的问题包括频繁的遮挡、轨迹的管理、相似的外观和多目标间的相互影响。

在实际的应用场景中，需要面对存在的各种复杂变化（以行人跟踪为例）：

1. 目标自身的变化

目标的颜色变化（行人的衣服颜色变化），目标的尺度变化（离摄像头的远近）和目标的形态变化（行人的站立、蹲与躺）等。

2. 外界环境的变化

光线明暗的变化、目标所处环境的多样性、目标的消失与出现和目标的遮挡问题。

这些复杂变化会影响跟踪对象与背景环境的区分度，从而进一步影响多目标跟踪算法的跟踪效果和结果的好坏，所以需要恰当地处理这些变化来提高多目标跟踪的准确性。

六、多目标跟踪常用数据集

目前多目标跟踪领域的重要基准是MOTChallenge，作为上传并公布多目标跟踪方法研究成果的公共平台，其拥有最大的公开行人跟踪数据集。[4]

其提供的数据集包括：MOT 15、MOT 16、 MOT 17、MOT 20，这些数据集都提供了训练集的标注，训练集与测试集的检测，以及数据集的目标检测结果，主要侧重于密集场景下行人跟踪任务。

MOT系列数据集的视频序列及其主要属性（图源：参考资料[4]）

另外还有近几年出的TAO数据集，是一个类似COCO的多样化的MOT数据集，其中包含2907个不同环境的高清视频，平均长度半分钟，包含833个类别，比现有的数据集高出一个数量级。

七、多目标跟踪数据集资源

OpenDataLab平台已经上架了多目标跟踪（MOT）系列数据集，提供了丰富的数据集信息、流畅的下载速度，快来体验吧！

· MOT15

https://opendatalab.com/MOT15

· MOT16

https://opendatalab.com/MOT16

· MOT17

https://opendatalab.com/MOT17

· MOT20

https://opendatalab.com/MOT20

· TAO

https://opendatalab.com/TAO

参考资料：

[1]https://arxiv.org/abs/1912.00535

[2]https://www.bilibili.com/read/cv12115742

[3]文成宇. 复杂场景行人的多目标跟踪方法[D].中国矿业大学,2021.

[4]徐涛,马克,刘才华. 基于深度学习的行人多目标跟踪方法[J]. 吉林大学学报(工学版),2021,51(01):27-38.

更多数据集上架动态、更全面的数据集内容解读、最牛大佬在线答疑、最活跃的同行圈子……欢迎添加微信opendatalab_yunying 加入OpenDataLab官方交流群。

多目标跟踪（MOT）数据集资源整理分享相关推荐

计算机视觉领域多任务学习相关论文、数据集、网络结构等资源整理分享
MTL 是机器学习中一个很有前景的领域,其目标是利用多个学习任务中所包含的有用信息来帮助为每个任务学习得到更为准确的学习器.我们假设所有任务(至少其中一部分任务)是相关的,在此基础上,我们在实验和理论 ...
最新《动手学习深度学习》配套课程视频、笔记、ppt等资源整理分享
<动手学习深度学习>是李沐老师(AWS 资深首席科学家,美国卡内基梅隆大学计算机系博士)主讲的一系列深度学习视频.本项目收集了我们在寒假期间学习<动手学习深度学习>过程中详细的 ...
【人工智能项目】缺陷检测分割数据集相关整理分享
[人工智能项目]缺陷检测分割数据集相关整理分享研究生阶段的课题就是有关缺陷检测的,所以在这里将截止去年年底整理出来的缺陷检测数据集进行整理分享,供大家使用.由于数据集的限制,这里就将其上传到网盘. ...
2020年最全 | 少样本学习（FSL）相关综述、数据集、模型/算法和应用资源整理分享...
文章来源 | 深度学习与NLP Few Shot Learning(FSL)又称少样本学习,这是做AI研究经常遇到的一个问题.深度学习技术需要大量的数据来训练一个好的模型.例如典型的 MNIST 分类 ...
多目标跟踪 TAO 数据集使用方法分享
之前给大家分享了多目标跟踪任务及5个相关数据集,其中提到的TAO数据集很受小伙伴们欢迎,今天就带大家一起来看看. 目录一.数据集简介二.数据集详细信息三.数据集任务定义及介绍四.数据集文件结构 ...
计算机视觉（CV）领域Transformer最新论文及资源整理分享
Transformer由论文<Attention is All You Need>提出,现在是谷歌云TPU推荐的参考模型.Transformer模型最早是用于机器翻译任务,当时达到了SOT ...
多目标跟踪——MOT数据集的学习笔记
1 前言 MOT数据集中的测试数据是包含相机运动的: 2 MOT数据集官方网站官方网站:https://motchallenge.net/
中文自然语言处理测评数据集、基准模型、语料库、排行榜整理分享
本资源整理了中文语言理解测评基准,包括代表性的数据集.基准(预训练)模型.语料库.排行榜.本文选择一系列有一定代表性的任务对应的数据集,做为测试基准的数据集.这些数据集会覆盖不同的任务.数据量.任务难 ...
机器学习领域各领域必读经典综述论文整理分享
机器学习是一门多领域交叉学科,涉及概率论.统计学.逼近论.凸分析.算法复杂度理论等多门学科.专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性 ...

多目标跟踪（MOT）数据集资源整理分享