Wu Zheng Weiliang Tang Li Jiang Chi-Wing Fu
The Chinese University of Hong Kong
[paper]

[code]

---

摘要

本文提出了一种基于自集成单级目标检测器(SE-SSD)的室外点云三维目标检测方法。我们的重点是利用我们的公式约束开发软目标和硬目标来联合优化模型，而不引入额外的计算在推理中。具体来说，SE-SSD包含一对教师和学生ssd，在其中我们设计了一个有效的基于iou的匹配策略，从教师中过滤软目标，并制定一致性损失对齐学生的预测与他们。此外，为了最大限度地利用提炼出来的知识来集成教师，我们设计了一种新的增强方案来产生形状感知的增强样本来训练学生，目的是鼓励学生推断出完整的物体形状。最后，为了更好地利用硬目标，我们设计了一个ODIoU损失来监督学生与预测盒中心和方向的约束。我们的SE-SSD达到顶级性能相比之前所有出版的作品。此外，它还以超高的推理速度在KITTI基准测试中获得了最高的汽车检测精度(在BEV和3D排行榜上分别排名第一和第二)。

---

提示：以下是本篇文章正文内容，下面案例可供参考

1. Introduction

为了支持自动驾驶，通常采用激光雷达传感器的3D点云来检测车辆附近的目标。这是一个强大的方法，因为点云随时可用，不管天气(雾还是阳光)和白天的时间(白天还是晚上)。因此，各种基于点云的3D检测器最近被提出。

为了提高检测精度，提取特征的质量是一个重要的因素。这适用于单级和两级探测器。例如，一系列的工作[24,4,25,23]集中于改进区域提议对齐的特征，以更好地细化第二阶段网络。此外，许多方法[3,10,29,12,33,19]试图通过融合RGB图像和3D点云来提取更有分辨力的多模态特征。对于单级检测器，point - gnn[26]采用了一种图神经网络来获得更紧凑的点云表示，而TANet[17]设计了一个精致的三重关注模块来考虑特征智能关系。虽然这些方法提供了重要的见解，但精细的设计往往是复杂的，可能会减缓推理，特别是对于两级探测器。

为了满足实际需求，特别是自动驾驶领域的需要，三维目标检测要求在高精度的基础上提高效率。因此，另一个工作流，例如SASSD[8]和Associate-3Ddet[5]，旨在利用辅助任务或进一步的约束来改进特征表示，而不引入额外的计算开销在推理过程中。根据这一工作流程，我们制定了自集成单级目标检测器(SE-SSD)，以解决仅基于激光雷达点云的具有挑战性的三维检测任务。

为了提高检测精度，同时追求高效率，我们以[27]为灵感，设计了一对教师SSD和学生SSD的SE-SSD框架。教师SSD是学生的合奏。它产生相对更精确的边界框和信心，作为软性目标来监督学生。与人工标注的硬目标(标签)相比，来自教师的软目标往往具有更高的熵，从而为学生提供了更多的信息[9]来学习。因此，我们利用软目标和硬目标与我们的公式约束共同优化模型，而不产生额外的推理时间。为了使学生预测的边界框和置信度更好地与软目标对齐，我们设计了一种有效的基于借据的匹配策略来过滤软目标并将其与学生预测配对，并进一步制定一致性损失以减少两者之间的不对齐。

另一方面，为了使学生SSD能够有效地探索更大的数据空间，我们在传统增强策略的基础上设计了一种新的增强方案，以形状感知的方式生成增强对象样本。通过该方案，我们可以鼓励模型从不完全信息中推断出完整的物体形状。它也是一个即插即用的3D探测器通用模块。此外，在监督训练中，硬目标仍然是必不可少的，因为它们是模型收敛的最终目标。为了更好地利用它们，我们制定了一种新的方向感知距离- iou (ODIoU)损失来监督学生在预测的边界盒的中心和方向上的约束。总的来说，我们的SE-SSD是在完全监督的方式下训练的，以最好地提高检测性能，其中所有设计的模块只在训练中需要，所以在推理期间没有额外的计算。

总之，我们的贡献包括:(i)自组装单级目标检测器(SE-SSD)框架，通过我们制定的一致性约束进行优化，以更好地将预测与软目标对齐;(ii)一种新的增强方案，以产生形状感知的增强地物;(iii)一个方向感知的距离- iou (ODIoU)损失来监督探测器使用硬目标。我们的SE-SSD在KITTI基准测试[6]中获得了最先进的3D和BEV汽车检测性能，并在普通CPU-GPU上展示了超高的推理速度(32 FPS)，明显优于所有之前发表的作品，如图1所示。

2. Related Work

总的来说，3D探测器分为两种类型:(i)单级探测器直接从输入特征中学习边界框和置信度，以及(ii)两级探测器使用第二阶段的区域提议对齐特征来细化第一阶段预测。因此，两级探测器往往可以从额外的级中获得更高的精度，而单级探测器通常由于网络结构更简单而运行得更快。近期趋势(见图1和表1)显示，单级检波器[8,31]的精度逐渐接近两级检波器[23,25,32]。这促使我们致力于开发一种单级探测器，并以高精度和高速为目标。

Two-stage Object Detectors ：在这些两阶段的检测器中，PointRCNN[24]使用PointNet[21]融合语义特征和来自区域提议的原始点进行第二阶段的细化。Part-A2[25]利用基于体素的网络提取区域提案特征，以避免歧义，并进一步改进特征表示。类似地，STD[32]通过体素化将区域提议的语义特征转化为紧凑的表示，并减少锚点的数量以提高性能。PV -RCNN[23]同时利用基于点和体素的网络从区域提案内的体素和原始点中提取特征。3D-CVF[33]从多视角图像中获取语义，并在这两个阶段中融合点特征，而CLOCs PVCas[19]则融合图像和点的语义特征来改进预测的可信度。

Single-stage Object Detectors ：VoxelNet[38]提出体素特征编码层从点云中提取特征。PointPillar[11]将点云划分为柱子，以实现高效的特征学习。SECOND[30]改进了稀疏卷积[7,15]，有效地从稀疏体素中提取特征。TANet[17]提出了三重注意模块，在特征提取中考虑了特征之间的关联。point - gnn[26]利用一个图神经网络来学习点特征。3DSSD[31]结合了特征采样和基于点的采样来改进分类。Associate-3Ddet[5]从完整的点云中提取特征，监督从不完整的点云中学习到的特征，鼓励模型从不完整的点云中推断。SA-SSD[8]采用与主干并行的辅助网络，通过回归盒中心和语义类来丰富特征。CIA-SSD[8]采用轻量级BEV网络提取鲁棒的空间语义特征，结合欠条感知的置信度修正和DI-NMS更好的后处理。SESS[34]受到[27]的启发，采用半监督策略来解决室内场景中的检测问题，以减少对人工标注的依赖。

与之前的工作不同，我们的目标是利用软目标和硬目标，通过我们的新约束和增强方案，在完全监督的方式中细化功能。此外，与所有之前的单级和两级探测器相比，我们的SE-SSD在KITTI基准[6]中获得了3D和BEV汽车检测的最高平均精度，并且表现出非常高的效率。

3. Self-Ensembling Single Stage Detector

3.1. Overall Framework

图2显示了我们的自集成单级目标检测器(SE-SSD)的框架，它有一个教师SSD(左)和一个学生SSD(右)。不同于以往的室外三维目标检测工作，我们同时使用并训练了两个相同架构的ssd，这样学生可以通过增强的样本探索更大的数据空间，并更好地利用老师预测的相关软目标进行优化。为了训练整个SESSD，我们首先用预先训练好的SSD模型对教师和学生进行初始化。然后，从一个输入点云开始，我们的框架有两个处理路径:

1. 在第一个路径中(图2中的蓝色箭头)，教师从原始的输入点云产生相对精确的预测。然后，我们对预测结果应用一组全局变换，并将其作为软目标来监督学生SSD。
2. 在第二个路径中(图2中的绿色箭头)，我们通过与第一个路径相同的全局变换加上我们的形状感知数据增强(第3.4节)来干扰相同的输入。然后，我们将增加的输入输入给学生，并使用我们的一致性损失(第3.2节)来训练它，以使学生的预测与软目标相一致;(ii)当我们增加输入时，我们带着它的硬目标(图2(右上角))，用我们的方向感知距离-欠条损失(第3.3节)来监督学生。

在培训中，我们对两个SSD模型进行迭代更新:使用上述两个损失优化学生，使用标准指数移动平均(EMA)仅使用学生参数更新教师。这样，教师就可以从学生身上获得提炼的知识，产生软目标来监督学生。所以，我们把最后一个经过训练的学生称为自集成单级目标检测器。

 Architecture of Teacher & Student SSD ：该模型具有与[35]相同的结构，以有效地编码点云，但我们去掉了信心函数和DI-NMS。它包括稀疏卷积网络(SPConvNet)、BEV卷积网络(BEVConvNet)和多任务头(mhead)。BEV的意思是鸟瞰。在点云体素化后，我们找到每个体素的平均三维坐标和点密度作为初始特征，然后使用SPConvNet提取特征，该特征有四个块({2,2,3,3}子流形稀疏卷积[7]层)，最后是一个稀疏卷积[15]层。接下来，我们将沿z方向稀疏的三维特征拼接成二维密集的特征，利用BEVConvNet进行特征提取。最后，我们使用MTHead回归边界框并进行分类。

3.2. Consistency Loss

在三维目标检测中，由于距离和目标遮挡形式的不同，预定义锚点的点云模式可能会有很大的差异。因此，相同硬目标的样本可能有非常不同的点模式和特征。相比之下，每个训练样本的软目标可以提供更多的信息，有助于揭示同一类[9]数据样本之间的差异。这促使我们将相对较精确的教师预测作为软目标，利用它们来共同优化学生与硬目标。据此，我们制定了一个一致性损失来优化学生网络的软目标。

在计算一致性损失之前，我们首先设计了一种有效的基于借据的匹配策略，目的是对非常稀疏的户外点云预测的非轴向的教师盒和学生盒进行配对。为了获得高质量的软目标，我们首先过滤掉那些置信度小于τc的预测边界框(教师和学生)，从而减少一致性损失的计算。接下来，我们计算每一对剩余学生和教师边界框之间的欠条，并过滤掉欠条小于阈值τI的对，从而避免使用不相关的软目标误导学生;我们将N和n0分别表示为盒对的初始数量和最终数量。因此，我们只保留高度重叠的学生-教师对。最后，对于每个学生盒，我们将其与拥有最大欠条的教师边框盒配对，以增加软目标的信心。与硬目标相比，过滤后的软目标通常更接近学生的预测，因为它们是基于相似的特征进行预测的。因此，软目标可以更好地引导学生对预测进行微调，减少梯度方差，从而获得更好的训练。

与IoU loss不同，Smooth-L1loss[16]在预测中可以均匀地对待所有维度，不偏向任何一个特定的维度，不同维度对应的特征也可以均匀地优化。因此，我们用它来表示我们的边界盒一致性损失(Lc盒)，以最小化每对教师和学生边界盒之间的错位误差:

{x, y, z}, {w、l、h}, r表示中心的位置,大小和方向的边界框,分别预测的老师(下标t)或学生(下标s), Lcδe表示δe的Smooth-L1loss和IoUidenotes最大的借据的第i个学生与所有老师边框边界框。接下来，为了最小化学生和教师预测置信度的差异，我们制定了分类分数的一致性损失(Lc cls):

其中Lc δc表示δc的平滑- l1损失，σ(cs)和σ(ct)分别表示学生和教师的sigmoid分类分数。这里我们采用sigmoid函数对两个预测置信值进行归一化，使归一化值之间的偏差保持在一个小范围内。结合式(1)(2)，可得整体一致性损失为：

我们为两个术语设置了相同的权重。

3.3. Orientation-Aware Distance-IoU Loss

在有监督的硬目标训练中，经常采用平滑l1损失[16]约束边界盒回归。然而，在室外场景中，由于距离较长和遮挡，很难从稀疏点获取足够的信息来精确预测边界盒的所有维度。为了更好地利用回归边界盒的硬目标，我们设计了方向感知的距离- iou损失(ODIoU)，以更加关注预测的边界盒与ground-truth边界盒之间的盒子中心和方向的对齐;参见图3。

受[36]的启发，我们对预测的三维中心和ground-truth边界盒之间的距离施加一个约束，以最小化中心不对准。更重要的是，我们对预测的BEV角设计了一种新的方位约束，旨在进一步减小预测的BEV角与ground-truth box的方位差。在三维物体检测中，这种约束对于鸟瞰图中非轴向盒的精确对齐具有重要意义。同时，我们也发现这种约束是进一步提高检测精度的重要手段。与Smooth-L1损失相比，我们的ODIoU损失增强了盒子中心和方向的对齐，容易从分布在物体表面的点来推断，从而获得更好的性能。总的来说，我们的ODIoU损失是这样表述的：

其中bp0、bg3分别表示预测的和真实的边界盒，c表示两个边界盒三维中心之间的距离(见图3中的|O1O2|)， d表示两个边界盒所包围的最小长方体的对角线长度|AC|;4r为bpv与Bg的BEV取向差;γ是一个超参数重量。

在我们的ODIoU损失公式中，(1−|cos(4r)|)是一个重要的术语，我们专门设计它来鼓励预测的边界盒旋转到与ground-truth方向平行的最近方向。当4r等于π 2或−π 2时，也就是说，两个盒子的方向是相互垂直的，因此这一项达到最大值。当4r等于0、π或−π时，这一项达到其最小值，即0。如图4所示，我们可以进一步观察(1−|cos(4r)|)的梯度。当训练过程最小化这一项时，它的梯度将使4r趋于0、π或−π，这是使损失最小化的最近位置。这是因为梯度幅度与角度差正相关，从而促进了不同训练阶段的快速收敛和平滑微调。

此外，我们还分别使用Focal loss[14]和cross-entropy loss进行边界盒分类(Ls cls)和方向分类(Ls dir)。因此，培养学生SSD的总体损失是：

其中，Ls盒为回归盒的ODIoU损失，损失权值为ω1、ω2、µ皮重超参数。此外，我们的SSD可以预先训练与SE-SSD相同的设置，但没有一致性损失和教师SSD。

3.4. Shape-Aware Data Augmentation

数据扩充对于提高模型的可泛化性非常重要。为了使学生SSD能够探索更大的数据空间，我们设计了一个新的形状感知数据增强方案来提高我们的检测器的性能。我们的见解来自于观察，ground-truth物体的点云模式可能会由于遮挡、距离的变化和在实践中物体形状的多样性而显著变化。因此，我们设计了形状感知的数据增强方案来模拟点云在增强数据样本时受这些因素的影响。

通过设计，我们的形状感知数据增强方案是一个即插即用模块。首先，对于点云中的每个对象，我们找到它的ground-truth边界盒形质心，并将质心与盒面连接，形成金字塔体，将对象点划分为六个子集。由于lidarpoint主要分布在物体表面，分割就像一个物体拆卸，我们的增强方案通过像拆卸部件一样操纵这些被分割的点子集，有效地增强了每个物体的点云。

在细节，我们的计划执行以下三个操作与随机概率p1, p2, p3，分别为：(i)随机辍学会删除所有点(蓝色)在一个随机选择的金字塔(图5(左上的)),模仿一个局部对象阻塞帮助网络保持点推断出一个完整的形状。(ii)随机交换在当前场景中随机选择另一个输入对象，并将一个点子集(绿色)与另一个输入对象的同一个金字塔中的点子集(黄色)交换(图5(中间))，从而通过利用对象之间的表面相似性来增加对象样本的多样性。(iii)利用最远点采样[22]对随机选择的金字塔中的子样本点进行随机稀疏化，模拟点的稀疏性随距离的变化而变化;见图5中稀疏点(红色)。

此外，在形状感知增强之前，我们对输入点云进行了一组全局变换，包括随机平移、翻转和缩放;参见图2中的“全局转换”。

4. Experiments

我们在KITTI 3D和BEV对象检测基准[6]上评估我们的SE-SSD。这个广泛使用的数据集包含7481个训练样本和7518个测试样本。在此基础上，我们将训练样本进一步划分为3712个训练样本和3769个验证样本。我们的实验主要是在最常用的汽车类别上进行，以平均精度进行评价，IoU阈值为0.7。此外，基准在评估中有三个困难级别:简单，适中，和困难，基于对象大小，遮挡和截断级别，其中适中的平均精度是3D和BEV检测在KITTI网站上的官方排名度量。我们将在此作品发表后在GitHub上发布我们的代码。

图6显示了我们的SESSD模型对6种不同输入的3D边界框(第2行和第5行)和BEV边界框(第3行和第6行)的预测结果，展示了其高质量的预测结果。此外，为了更好地显示结果，我们将3D预测投影到相应的图像上(第1行和第4行)。更多的实验结果请参考补充材料。

4.1. Implementation Details

Data preprocessing ：我们只使用LiDAR点云作为输入，并将[0,70.4]、[- 40,40]和[- 3,1]米范围内的所有点分别沿着x、y和z，体素化为分辨率为[0.05,0.05,0.1]的网格。我们通过经验设置超参数p1=0.25, p2=0.05, p3=0.1(见第3.4节)。除了形状感知数据增强外，我们还采用了三种常用的数据增强方法:(i)混合[30]，它从其他场景中随机抽取地面真实物体并将其添加到当前场景中;对个别地物点的局部增强，例如，随机旋转和平移;(iii)全局增强，包括随机旋转、平移和翻转。前两个用于预处理教师和学生ssd的输入。

Training details ：我们采用ADAM优化器和余弦退火学习率[18]，批量大小为4个，共60个epoch。我们跟随[27]来增加µt(Eq。(5))使用s型函数e−5(1−x)2从0到1。设τc和τI(第3.2节)分别为0.3和0.7，ω1和ω2(Eq。(5))分别为2.0和0.2,EMA衰减重量为0.999，γ (Eq.(4))为1.25。

4.2. Comparison with State-of-the-Arts

通过将我们的预测结果提交到KITTI服务器进行评估，我们得到了我们的模型在KITTI测试集上的3D和BEV平均精度，并与表1中列出的最新方法进行比较。

如表所示，我们的模型在三个难度级别的3D和BEV检测方法中均排名第一。此外，我们的模型推理速度在所有方法中排名第二，大约比最新的最佳两级检测器Deformable PV -RCNN[1]快2.6倍。在3D检测方面，与PV-RCNN[1]和变形PV-RCNN[23]相比，我们的单阶段模型在中度AP上显著提高了1.1点。对于单级检测器，我们的模型也大大优于之前的所有工作，在所有三个难度级别上，我们的模型平均优于之前的单级检测器SA-SSD[8] 2.8分，推理时间也更短(减少了约25%)。我们在APs上的巨大改进主要来自于通过利用软目标和硬目标来更好地优化模型，而我们的模型的高效率主要是由于我们所提出的方法的性质，即我们在SSD中细化特征，而不会在推理中引起额外的计算。

在BEV检测中，我们的模型也比最好的单级和两级检测器平均领先0.8点左右。此外，我们还计算了三个难度等级的平均精度(mAP)，用于比较。我们更高的map表明SE-SSD与其他类型相比获得了更平衡的性能，因此我们的方法在实践中更有希望解决各种情况。此外，我们比较了我们的SE-SSD与最新的最好的两个单阶段和两阶段的方法KITTI val分裂。如表2所示，我们的3D和BEV中等召回点为11或40的ap均优于这些之前的方法。

接下来，我们提出了烧蚀研究，以分析我们提出的模块在SE-SSD上KITTI val分裂的有效性。表3总结了我们的一致性损失(“Cons损失”)、ODIoU损失(“ODIoU”)和形状感知数据增强(“SA-DA”)的消融结果。对于ODIoU损失，在这项消融研究中，我们用smooth - l1损失来替代它，因为我们不能像Cons损失和SA-DA那样简单地去除它。所有报告的ap都有40个召回点。

       Effect of consistency loss : 如表3的第一行和第四行所示，我们的一致性损失将中度AP提高了0.9个点。这一巨大的改进表明，使用信息更丰富的软目标可以有助于更好的模型优化。对于简单AP的轻微增长，我们认为对简单子集的基线预测已经非常精确，因此已经非常接近硬目标。重要的是，通过在优化中结合硬标签和ODIoU损失，我们的SE-SSD进一步提高了中等和硬ap约2.6分，如表3中的第五行所示。这证明了通过利用硬目标和软目标以及我们设计的约束条件共同优化模型的有效性。

进一步，我们分别分析了一致性损失对边界盒(“reg”)和置信度(“cls”)的影响，以显示这两项损失的有效性。如表4所示，置信度对AP的增益较大，我们认为置信度优化可能更有效地缓解定位精度和分类置信度之间的偏差。同时，我们对盒子中心距离匹配策略上设计的盒子和置信度约束[34]进行了评估，得到了一个较低的AP (dist)，我们认为其潜在原因与它们的设计有关，即寻址轴向对齐的盒子，因此不适合我们的任务。

4.3. Ablation Study

       Effect of ODIoU loss : 如表3中的第一行和第三行所示，与smooth - l1损失相比，我们的ODIoU损失将中度AP提高了约0.6个百分点。AP的增益比SA-DA模块的增益大，从而显示了盒心距离和方向差异对ODIoU损失的约束的有效性。同时，AP在硬子集上的增益也大于其他子集，这与我们的期望是一致的，即使是物体表面上稀疏的点也可以提供足够的信息来回归盒子中心和方向。

       Effect of shape-aware data augmentation : 在表3中，前两行表明，我们的形状感知数据增强(SA-DA)方案在基线模型上平均提高了约0.5个点。SA-DA在预训练SSD的基础上，进一步提高了SE-SSD的中、硬ap约0.3个点，如表3最后两行所示。这些优点表明了该算法通过增强对象多样性和模型可泛化性来提高性能的有效性。

       IoU-Based Matching Strategy  :  此外，我们比较了过滤软目标的不同方法，即，删除(i)使用NMS(“NMS filter”)彼此重叠的软目标，(ii)不与任何ground truth(“gt filter”)重叠，以及(iii)不与小于IoU阈值的student box(“stu filter”)重叠的软目标。从表5中我们可以看到，与其他策略相比，我们提出的“stu filter”在AP中获得了最大的收益，因为它为学生的预测保留了最相关和信息最丰富的软目标。

4.4. Runtime Analysis

SE-SSD的总体推断时间只有30.56ms，其中数据预处理时间为2.84ms，网络转发时间为24.33ms，后处理和生成最终预测时间为3.39ms。所有的评估都是在Intel Xeon Silver CPU和单个TITAN Xp GPU上完成的。与SA-SSD[8]相比，我们的方法获得了更快的推理速度，因为我们的BEVConvNet结构更简单，我们进一步优化了体素化代码。

5. Conclusion

提出了一种新的用于室外三维点云的自集成单级目标检测器。主要贡献包括通过我们制定的与软目标的一致性约束优化的SE-SSD框架，用ODIoU损失来监督与硬目标的网络，以及形状感知数据增强方案来扩大训练样本的多样性。该系列实验验证了SE-SSD的有效性和所提出的各个模块的有效性，并显示了高效的优势。总的来说，我们的SE-SSD在KITTI基准中优于3D和BEV汽车检测的所有最先进的方法，并获得超高的推理速度。

Acknowledgments.

这项工作得到香港物流机器人中心的支持。

References

[1] Prarthana Bhattacharyya and Krzysztof Czarnecki.  Deformable PV-RCNN: Improving 3D object detection with learned deformations. arXiv preprint arXiv:2008.08766,2020. 7
[2] Qi Chen, Lin Sun, Zhixin Wang, Kui Jia, and Alan Y uille. Object as hotspots: An anchor-free 3D object detection approach via firing of hotspots. 2019. 7
[3] Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia.Multi-view 3D object detection network for autonomous driving. In CVPR, 2017. 1, 7
[4] Yilun Chen, Shu Liu, Xiaoyong Shen, and Jiaya Jia. Fast point R-CNN. In ICCV, 2019. 1, 7
[5] Liang Du, Xiaoqing Ye, Xiao Tan, Jianfeng Feng, Zhenbo Xu, Errui Ding, and Shilei Wen.  Associate-3Ddet:Perceptual-to-conceptual association for 3D point cloud object detection. In CVPR, pages 13329–13338, 2020. 1, 2,7
[6] Andreas Geiger, Philip Lenz, Christoph Stiller, and Raquel Urtasun. Vision meets robotics: The KITTI dataset. The International Journal of Robotics Research, 32(11):1231–1237, 2013. 1, 2, 6
[7] Benjamin Graham, Martin Engelcke, and Laurens V an Der Maaten. 3D semantic segmentation with submanifold sparse convolutional networks. In CVPR, pages 9224–9232,
2018. 2, 3
[8] Chenhang He, Hui Zeng, Jianqiang Huang, Xian-Sheng Hua, and Lei Zhang. Structure aware single-stage 3D object detection from point cloud. In CVPR, pages 11873–11882, 2020.1, 2, 7, 8
[9] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015. 2, 4
[10] Jason Ku, Melissa Mozifian, Jungwook Lee, Ali Harakeh, and Steven L. Waslander. Joint 3D proposal generation and object detection from view aggregation. CoRR, 2017. 1, 7
[11] Alex H. Lang, Sourabh V ora, Holger Caesar, Lubing Zhou, Jiong Yang, and Oscar Beijbom. PointPillars: Fast encoders for object detection from point clouds. In CVPR, pages 12697–12705, 2019. 2, 7
[12] Ming Liang, Bin Yang, Y un Chen, Rui Hu, and Raquel Urtasun. Multi-task multi-sensor fusion for 3D object detection. In CVPR, pages 7345–7353, 2019. 1, 7
[13] Ming Liang, Bin Yang, Shenlong Wang, and Raquel Urtasun. Deep continuous fusion for multi-sensor 3D object detection. In ECCV, 2018. 7
[14] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In ICCV, pages 2980–2988, 2017. 5
[15] Baoyuan Liu, Min Wang, Hassan Foroosh, Marshall Tappen, and Marianna Pensky. Sparse convolutional neural networks. In CVPR, pages 806–814, 2015. 2, 3
[16] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, and Alexander C Berg. SSD: Single shot multibox detector. In ECCV, pages 21–37, 2016. 4

[17] Zhe Liu, Xin Zhao, Tengteng Huang, Ruolan Hu, Y u Zhou, and Xiang Bai. TANet: Robust 3D object detection from point clouds with triple attention. In AAAI, pages 11677– 11684, 2020. 1, 2,7
[18] Ilya Loshchilov and Frank Hutter.  SGDR: Stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983, 2016. 6
[19] Su Pang, Daniel Morris, and Hayder Radha.  CLOCs: Camera-LiDAR object candidates fusion for 3D object detection. arXiv preprint arXiv:2009.00784, 2020. 1, 2, 7
[20] Charles R. Qi, Wei Liu, Chenxia Wu, Hao Su, and Leonidas J. Guibas. Frustum pointnets for 3D object detection from RGB-D data. CoRR, 2017. 7
[21] Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. PointNet: Deep learning on point sets for 3D classification and segmentation. In CVPR, pages 652–660, 2017. 2
[22] Charles R. Qi, Li Yi, Hao Su, and Leonidas J. Guibas. PointNet++: Deep hierarchical feature learning on point sets in a metric space. In NeurIPS, pages 5099–5108, 2017. 5
[23] Shaoshuai Shi, Chaoxu Guo, Li Jiang, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. PV-RCNN: Pointvoxel feature set abstraction for 3D object detection. In CVPR, pages 10529–10538, 2020. 1, 2, 7
[24] Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. PointRCNN: 3D object proposal generation and detection from point cloud. In CVPR, pages 770–779, 2019. 1, 2, 7
[25] Shaoshuai Shi, Zhe Wang, Jianping Shi, Xiaogang Wang, and Hongsheng Li. From points to parts: 3D object detection from point cloud with part-aware and part-aggregation network. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 1, 2, 7
[26] Weijing Shi and Raj Rajkumar. Point-GNN: Graph neural network for 3D object detection in a point cloud. In CVPR, pages 1711–1719, 2020. 1, 2, 7
[27] Antti Tarvainen and Harri V alpola. Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results. In NeurIPS, pages 1195–1204, 2017. 2, 6
[28] Zhixin Wang and Kui Jia. Frustum ConvNet: Sliding frustums to aggregate local point-wise features for amodal 3D object detection. In IROS, 2019. 7
[29] Liang Xie, Chao Xiang, Zhengxu Y u, Guodong Xu, Zheng Yang, Deng Cai, and Xiaofei He. PI-RCNN: An efficient multi-sensor 3D object detector with point-based attentive cont-conv fusion module. In AAAI, pages 12460–12467, 2020. 1
[30] Yan Yan, Y uxing Mao, and Bo Li. SECOND: Sparsely embedded convolutional detection. Sensors, 18(10):3337, 2018.2, 6, 7
[31] Zetong Yang, Yanan Sun, Shu Liu, and Jiaya Jia. 3DSSD: Point-based 3D single stage object detector. In CVPR, pages 11040–11048, 2020. 2, 7
[32] Zetong Yang, Yanan Sun, Shu Liu, Xiaoyong Shen, and Jiaya Jia. STD: Sparse-to-dense 3D object detector for point cloud. In ICCV, pages 1951–1960, 2019. 2, 7
[33] Jin Hyeok Y oo, Yeocheol Kim, Ji Song Kim, and Jun Won Choi. 3D-CVF: Generating joint camera and LiDAR fea-tures using cross-view spatial feature fusion for 3D object detection. In ECCV, 2020. 1, 2, 7
[34] Na Zhao, Tat-Seng Chua, and Gim Hee Lee. SESS: Selfensembling semi-supervised 3D object detection. In CVPR, pages 11079–11087, 2020. 2, 8
[35] Wu Zheng, Weiliang Tang, Sijin Chen, Li Jiang, and ChiWing Fu. CIA-SSD: Confident IoU-aware single-stage object detector from point cloud. In AAAI, 2021. 3, 7
[36] Zhaohui Zheng, Ping Wang, Wei Liu, Jinze Li, Rongguang Ye, and Dongwei Ren. Distance-IoU loss: Faster and better learning for bounding box regression. In AAAI, pages 12993–13000, 2020. 4
[37] Dingfu Zhou, Jin Fang, Xibin Song, Chenye Guan, Junbo Yin, Y uchao Dai, and Ruigang Yang. IoU loss for 2D/3D object detection. In 3DV, pages 85–94, 2019. 7
[38] Yin Zhou and Oncel Tuzel. V oxelNet: End-to-end learning for point cloud based 3D object detection. In CVPR, pages 4490–4499, 2018. 2, 7

---

总结

将输入点云提供给教师，以产生相对精确的边界框和置信度，并将这些预测(经过全局转换后)作为软目标，以我们的一致性损失来监督学生(章节3.2)。输入应用相同的全局转换，然后执行感知形状的数据增强，以生成增强样本作为学生的输入。制定了方向感知的距离- iou损失(第3.3节)来监督有硬目标的学生。检测效果非常出色。

SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud（CVPR2021）三维目标检测相关推荐

1. 【3D 目标检测】3DSSD: Point-based 3D Single Stage Object Detector

   一 核心思路 本篇通过观察point-based目标检测方法中,在PointNet++的上采样层(FP层)和refinement Module上面耗费了大量时间,因此作者借此提出了one-stage的 ...

2. ICCV2019论文点评：3D Object Detect疏密度点云三维目标检测

   ICCV2019论文点评:3D Object Detect疏密度点云三维目标检测 STD: Sparse-to-Dense 3D Object Detector for Point Cloud 论文链 ...

3. （CVPR 2020）3DSSD: Point-based 3D Single Stage Object Detector

   摘要 目前,基于体素的3D单级检测器已经有很多种,而基于点的单级检测器仍处于探索阶段.在本文中,我们首先提出了一种轻量级且有效的基于点的3D单级目标检测器,名为3DSSD,在精度和效率之间取得了很好的 ...

4. 【阅读记录】3DSSD:Point-based 3D Single Stage Object Detector

   前情提要 在目前的三维目标检测任务中,大致分为单阶段和双阶段的网络.双阶段网络可以依靠pointnet++这样的网络得到的语义信息提供更加精确的结果.单阶段网络虽然具备了快速的优点,但是由于在道路环境 ...

5. CVPR2021 三维目标检测(3D object detection)

   [1] 3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection(利用IoU预测进行半监督3D对象检测 ...

6. 【论文阅读】【三维目标检测】3DSSD: Point-based 3D Single Stage Object Detector

   文章目录 3DSSD F-FPS Framework Experiment 问题: 香港中文大学,香港科技大学出品,贾佳亚团队 2020CVPR 3DSSD F-FPS 这是我认为本文最重要的一个贡献 ...

7. STD: Sparse-to-Dense 3D Object Detector for Point Cloud 阅读笔记

   Yang Z, Sun Y, Liu S, et al. Std: Sparse-to-dense 3d object detector for point cloud[C]//Proceedings ...

8. Sparse-to-dense 3D Object Detector for Point Cloud（KITTI,Tencent Youtu,港中文，2019.7.22）

   Sparse-to-dense 3D Object Detector for Point Cloud(KITTI,Tencent Youtu,港中文,2019.7.22) 是基于点云的二阶段检测网络. ...

9. 论文笔记34 -- （自动驾驶）【CVPR2021】SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud

   LiDAR only 一阶段的3D目标检测网络 论文:点这里 代码:点这里 Wu Zheng,Weiliang Tang,Li Jiang,Chi-Wing Fu The Chinese Univer ...

最新文章

1. GPT-3 Finetune
2. 员工信息管理系统java6_职工信息管理系统java源代码【可修改】.doc
3. 用Javascript为DropDownList添加一个Item至定义索引位置
4. 全球首次！中国黑客通过安全漏洞远程攻破特斯拉，可在行驶中“帮”你刹车...
5. 剑指offer：矩形覆盖
6. 2015年12月书单推荐
7. 【转】Sql server锁，独占锁，共享锁，更新锁，乐观锁，悲观锁
8. 如何通过Windows Server 2008 R2建立NFS存储
9. SOA：服务需要加以区别保持差异性吗？
10. 第四课－Log的使用
11. 协议圣经 ARP RARP 六
12. 查看及修改当前数据库的所支持的数据库引擎以及默认数据库引擎
13. windows下Tomcat安装及Eclipse配置教程
14. k3梅林单线双拨教程_斐讯 K3 路由器刷入 OpenWrt LEDE 固件教程，支持多拨及去广告...
15. 模电：集成运算放大器
16. 手把手教你关闭iphone系统自动下载（新增IOS11描述性文件地址）
17. 中e管家投资理财收益最大化技巧
18. 怎么看曲线有没有斜渐近线_怎样判断一个曲线有无斜渐近线
19. 如何简单理解集合框架和利用时空复杂度？
20. ffmpeg中av_image_alloc()函数的用法 以及 另一种同样功能的函数用法

热门文章

1. 个人永久性免费-Excel催化剂功能第40波-工资、年终奖个人所得税计算函数
2. 合工大计算机专业拟录取名单,2021年合肥工业大学各学院研究生拟录取名单汇总...
3. 微信公众平台接口开发基础
4. Python+Selenium自动化测试详细教程
5. python3.0下载用什么浏览器_用python写个类似浏览器的下载器，超简单的
6. 2017ROS暑期学校笔记
7. weex 简单编写饿了吗
8. 深度学习的发展与挑战
9. JisonLexerError: Lexical error on line 1: Unrecognized text Erroneous area:\n1: 100VH - 44px
10. 利用观察者模式设计一个学校铃声的事件处理程序