三维目标检测--VoteNet增强版--MLCVNet论文解读

代码链接

paper链接
个人博客

论文总结

本文首先提出了三维目标检测中对于一些含有点云数量很少的目标，人类都难以辨别，此外，大部分的网络都是单独的考虑每一个proposal，这也大大加大了网络来辨别的难度。此外，作者通过观察发现，如果能够结合上下文信息的话，我们可能能够更加简单的辨别出所需要的目标。

上图是作者用来展示上下文信息的重要性的。如果单独拿一个目标出来，人类肉眼都难以辨别这个是什么类型的目标，但是如果知道这是一个餐厅的话，有60%的概率能够辨别出来是椅子，如果能够知道这个目标周围有社么的话，有85%的把握知道这是一个椅子，如果既知道是餐厅，又知道是厨房的话，就有90%的把握能够预测出是椅子。

因此，针对上面的现象，作者提出了多个层级的上下文信息提取模块。首先是patch2patch的上下文信息。patch应该指的是原始的点云场景中的一个局部区域。作者文中的解释是，通过相似的patch之间的互补来弥补一些目标点很少的问题。此外，由于votenet中仅单独的考虑每一个proposal，这没有充分的利用proposl中的上下文信息。因此作者还提出了一个objec2object的提取上下文信息的模块。此外，全局的上下文信息也能够再一定程度上为目标检测提供潜在的信息，作者还在网络中加入了全局的特征。

其具体流程如下:

从上图可以看出，相比于传统的votenet网络，作者在voting之前加入了patch2patch的上下文信息提取网络，此外，作者在voting之后，也在各个proposal2proposal的上下文特征提取网络。此外，还增加了一个提取全局特征的分支。

其中第一层级的上下文信息patch的基本原理如下，首先使用PointNet++提取全局的特征。经过PointNet++提取特征后输出的点的特征表示的是该点所处的局部区域的所有点的特征。我们将这个局部区域称为点云空间的一个patch。然后作者针对这些patch使用self-attention结构来提取特征，使得每一个patch的特征都能受到场景中其他patch的影响，从而减轻因点云数据缺失带来的影响。

然后对于目标层级的上下文信息的提取，作者基本也是采取的同样的处理方式。

全局上下文信息的提取作者使用了未经过self-attention的Patch特征和Clusters的特征，将这些特征最大池化之后生成一个一维的向量，然后拼接起来经过一个MLP就生成了全局特征。将生成的全局特征和Object2Object Context模块的数据拼接用于三维边界框的计算。

从上述表格中可以看出，相比于VoteNet，引入上下文特征之后大大提高了模型的检测性能。

上述表格展示了不同的子模块对于模型性能的影响。

三维目标检测--VoteNet增强版--MLCVNet论文解读相关推荐

ICCV2019论文点评：3D Object Detect疏密度点云三维目标检测
ICCV2019论文点评:3D Object Detect疏密度点云三维目标检测 STD: Sparse-to-Dense 3D Object Detector for Point Cloud 论文链 ...
【三维目标检测】VoteNet（一）
VoteNet是用于点云三维目标检测模型算法,发表在ICCV 2019<Deep Hough Voting for 3D Object Detection in Point Clouds> ...
单目三维目标检测之CaDDN论文阅读
文章目录 CaDDN: Categorical Depth Distribution Network for Monocular 3D Object Detection 作者和机构信息: Abstra ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
【论文速读】基于图像的伪激光雷达三维目标检测
点云PCL免费知识星球,点云论文速读. 标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 作者:Rui Qian, Divy ...
三维目标检测论文阅读：VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection 理解了PointPillars这篇文章后,看这篇文章就清 ...
三维目标检测新SOTA---ADFDetV2论文解读
问题本文提出了一种单阶段的三维目标检测算法,并在文中分析了二阶段三维目标检测算法的不必要性.其所提算法在waymo实时目标检测竞赛中取得了第一的成绩.其性能超过了所有单阶段和多阶段的目标检测算法. ...
三维目标检测---PartA2论文解读
代码链接 paper链接个人博客问题不同于二维目标检测,三维目标检测中的基准框包含着大量的信息,其能够很自然的提供前景点的标记,甚至提供位于基准框中各个点的内部相对位置.而这些信息对于三维目标检 ...
三维目标检测---BtcDet论文解读 Behind the Curtain: Learning Occluded Shapes for 3D Object Detection
个人博客代码链接 paper链接提出的问题作者首先指出LiDAR帧其实不是严格意义上的3D结构,而是一个2.5D的结构.因为LiDAR通常只能获得目标靠近传感器那部分的结构特征,远离传感器部分的 ...

三维目标检测--VoteNet增强版--MLCVNet论文解读

论文总结

三维目标检测--VoteNet增强版--MLCVNet论文解读相关推荐

最新文章

热门文章