文献来源

Luo C , Yang X , Yuille A . Exploring Simple 3D Multi-Object Tracking for Autonomous Driving[C]// 2021.

一、什么是SimTrack？

联合检测和跟踪的3D多目标跟踪算法。

二、为什么提出SimTrack？

现有的方法多是检测-跟踪算法，这样的算法为了能够将检测到的目标关联在一起，不可避免地需要一个启发式的匹配步骤（因为物体检测过程中，帧和帧之间缺少连接，这个启发式匹配步骤就是为了把每帧检测出的物体连接在一起）。而这个启发式的匹配步骤需要人工设置规则，不可训练，高度依赖超参数，很难调整，没有适用性，可能在这个模型这个数据上效果良好，换到新的场景效果就不好了。所以本文提出一种不用启发式匹配步骤的算法，把目标关联、检测新出现目标和删去消失目标的轨迹集成在一起。

三、怎么实现SimTrack？

算法流程图：

算法结构：

联合检测和跟踪的算法，集目标关联、新生目标创建和消失轨迹删除于一体。

1.准备工作：

对于原始的点云数据，先通过pillars或者voxels将其体素化，然后通过一个PointNet网络对每个pillar或者voxel提取特征，然后通过2D卷积或3D卷积得到鸟瞰图的特征。在检测头中，用centerness map上目标的位置来表示目标，检测头可以输出检测结果（包括centerness map、位移量、目标的尺寸和朝向）。

2.概述：

用P^t={(x,y,z,r)_i}来表示点云，其中(x,y,z)是点云的坐标，r是反射率，t是当前时刻。为了简便，直接通过自主运动（ego-motion）把过去帧的点云数据转换到当前坐标系下，从而把多个点云信息结合到一起。
此外，还对每个点增加了一个时间戳，这样一来每个点可以表示为(x,y,z,r,∆_t)，这里的∆_t就是时间戳和当前帧的差量。
在体素化和特征提取之后，检测头利用centerness map来检测输入序列中物体的首次出现的位置，并估计物体在这段时间内的运动，然后从以前的centerness map中读出一个物体的跟踪身份，然后使用预测的运动来更新物体的当前位置。

3.联合检测和跟踪：

为了摒弃启发式匹配算法和手动管理轨迹寿命，提出了一个简化模型，这个模型主要由一个hybrid-time centerness map和一个motion updating branch组成。

hybrid-time centerness map:

假设第t-1帧的物体位置的ground-truth是{d_i^t-1}，第t帧物体位置的ground-truth是{d_i^t}，我们想要得到的target分配策略如下：
a)如果一个物体在第t-1帧和第t帧都出现了，那么选择第t-1帧的位置作为这个target的第一次出现的位置，在d_i^t-1创建热图。
b)如果一个物体在第t-1帧出现，而没有在第t帧出现，那就认为这个物体消失了，把它记作负样本，不创建任何热图。
c)如果一个物体在第t帧出现，而没有在第t-1帧出现，那么就认为这是个新出现的物体，选择第t帧的位置作为这个target的第一次出现的位置，在d_i^t创建热图。

motion updating branch：

在实践中，对于每个物体，在其第一帧的中心位置，我们对其当前位置的偏移量进行回归：（∆_u，∆_v）=（u_t-u_t-1，v_t-v_t-1），其中（u，v）为物体中心坐标。用这个偏移量来更新centerness map目标的当前位置。

other regression branches:

除了motion updating branch，还回归包括高度z、bounding box的尺寸（w,l,h)和物体朝向（sinθ，cosθ）。

loss function:

这里Y~\tilde{Y}Y~和YYY分别是centerness map里的真值和预测值，NNN指的是目标的数量，ααα和βββ是焦点损失的超参数。

这里M~\tilde{M}M~和MMM分别是motion map的真值和预测值。

这里S~\tilde{S}S~和SSS分别是其他回归map的真值和预测值（比如物体的高度z、bounding box尺寸、物体朝向等。
所以总损失如下所示：

这里的ωcenω_{cen}ωcen、ωmotω_{mot}ωmot、ωregω_{reg}ωreg都是平衡系数，用于控制三个损失项的重要性。

上图为SimTrack算法流程。

4.实验：

在NuScenes数据集和Waymo数据集上做实验。

上图是在NuScenes的验证集上的实验结果，比较使用不同检测方法的跟踪结果，可以看到，总体来说SimTrack表现最好。

上图是在NuScenes的测试集上的实验结果，比之其他方法，SimTrack性能总体上有所提升。

上图是在Waymo的验证集上的实验结果，SimTrack的效果更好。

消融实验：

a)遮挡分析：
很多其他的方法设置了一个启发式的规则，比如消失的轨迹保留一段时间，以确保它真的消失了而不是被遮挡住了。这种启发式规则对IDS影响较大，比如如果消失的轨迹没有在CenterPoint中保留够预设的时间，那么IDS会从238增加到500。
而SimTrack解决遮挡问题的方法是，把先前更新的centerness map的置信度分数和估计的运动更新结合在一起。如果一个物体在当前帧被遮挡住了，但它在前一帧有很强的线索的话，SimTrack还是能够保持物体并猜测其当前位置。
从上图可以看到CenterPoint和SimTrack对遮挡的处理效果，对于标记出来的橙色的车，由于遮挡的原因，CenterPoint把这辆车认作了新的目标（可以看到，一开始标记的是橙色，后面颜色变成了深绿、浅绿），而SimTrack可以很好地保持对这辆车的跟踪。而从行人跟踪上的一个例子也可以看出来，由CenterPoint估计的速度不准确会导致identity switch，因为像行人这样的小物体的速度估计是很困难的。SimTrack也能更好地处理这种情况。

b)统一或分离的maps：

通过设置一个使用分离的map进行跟踪和检验的模型进行实验，证明了把跟踪物体关联和检测新生物体统一到一起的性能更好。具体来说，对hybrid-time centerness map提供两个通道，一个为了跟踪物体，一个为了新生物体的检测，从表3的a图中可以看出，模块分离的效果没有统一的好，这也许是因为新生物体毕竟只是所有物体的一小部分，跟踪物体和新生物体这两个maps的运用有严重的失衡。

c)结合的maps:
之前已经提到，当前的centerness map要和先前更新的centerness map取平均，在表3的c图里比较了这种取平均的操作和只用当前centerness map的操作，可以看到，取平均这个简单的操作对性能的提升是蛮大的。

d)分辨率：
提高分辨率可以改善算法的性能，尤其是对小物体比如行人来说。结果如表3的d图所示。

e)速度估计：
这里采用了NuScenes定义的mAVE指标来评价在不同的召回率下，对正确的目标的速度估计的误差。表3的b图展示了CenterPoint和SimTrack在不同类别目标下的mAVE，可以看到SimTrack的表现更好。

【论文笔记】Exploring Simple 3D Multi-Object Tracking for Autonomous Driving相关推荐

点云 3D 目标跟踪 - SimTrack: Exploring Simple 3D Multi-Object Tracking for Autonomous Driving（ICCV 2021）
点云 3D 目标跟踪 - SimTrack(ICCV 2021) 摘要 1. 引言 2. 相关工作 3. 方法 3.1 准备工作 3.2 概述 3.3 联合检测和跟踪 4. 实验 4.1 数据集 4. ...
论文笔记《Selective Search for Object Recognition》
论文笔记 <Selective Search for Object Recognition> 项目网址:http://koen.me/research/selectivesearch/ 一 ...
论文笔记--Exploring Translation Similarities for Building a Better Sentence Aligner
论文笔记--Exploring Translation Similarities for Building a Better Sentence Aligner 1. 文章简介 2. 文章背景 3. 文 ...
文献解读-CVPR2019-Stereo R-CNN based 3D Object Detection for Autonomous Driving
小菜鸡最近跟着大佬们学看文献,那就适当地记录一下,当作自己的学习笔记吧.文中也有很多理解不到位的地方的,毕竟还只是个小菜鸟,不懂的地方多得是.所以哪里有问题的还请各位读者好好指点指点. 今天要介绍的论 ...
【论文阅读】Exploring the Limitations of Behavior Cloning for Autonomous Driving
Column: January 16, 2022 11:11 PM Last edited time: January 21, 2022 12:23 PM Sensor/组织: 1 RGB Statu ...
论文解读--K-Radar:4D Radar Object Detection for Autonomous Driving in Various Weather Conditions
摘要与使用可见光波段(384 ~ 769 THz)的RGB相机和使用红外波段(361 ~ 331 THz)的激光雷达不同,雷达使用波长相对较长的无线电波段(77 ~ 81 GHz),因此在恶劣天气下 ...
Domain Adaptive Object Detection for Autonomous Driving under FoggyWeather（翻）
Title:Domain Adaptive Object Detection for Autonomous Driving under FoggyWeather 雾天环境下自动驾驶领域自适应目标检测 ...
DeepSORT论文翻译（SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC）
论文地址:https://arxiv.org/pdf/1703.07402.pdf 在网上看到一些论文翻译,很多句子和专业词汇翻译都有很大问题.所以, 整理不同版本的翻译,融合成一个版本,并进行适当的 ...
3D Object Detection for Autonomous Driving: A Survey（自动驾驶中的3D目标检测综述）论文阅读笔记
原文链接:https://arxiv.org/pdf/2106.10823.pdf II.传感器分为被动传感器(如摄像机)和主动传感器(如激光雷达).优缺点如下: 传感器优点缺点单目摄像机提 ...

【论文笔记】Exploring Simple 3D Multi-Object Tracking for Autonomous Driving