摘要

尽管基于点的网络被证明对三维点云建模是准确的，但在三维检测方面，它们仍然落后于基于体素的竞争对手。我们注意到，当前流行的降采样点集合抽象设计可能会保留太多不重要的背景信息，从而影响目标检测的特征学习。为了解决这个问题，我们提出了一种新的集抽象方法——语义增强集抽象(SASA)。在技术上，我们首先添加一个二值分割模块作为侧输出，以帮助识别前景点。

在此基础上，我们提出了一种语义引导的点采样算法，以帮助在下采样时保留更重要的前景点。在实际应用中，SASA可以有效地识别出与前景物体相关的有价值点，并改进了基于点的三维检测中的特征学习。此外，它是一个易于插入的模块，能够增强各种基于点的检测器，包括单级和两级检测器。在流行的KITTI和nuScenes数据集上进行的大量实验验证了SASA的优越性，提升了基于点的检测模型，达到了与最先进的基于体素的方法相当的性能。

代码可以在https://github.com/blakechen97/SASA上找到。

输入点经过点分割网络，一个语义引导的点采样层和一个普通的pointnet++ SA层。

pointnet++ SA层包括三部分sampling ：采用FPS采样，grouping ：为每个点以一定的半径，找领域点，最后送入point net。

使用语义增强集抽象的3DSSD和PointRCNN主干示意图。

SASA模块

主要由三部分组成:点分割模块、语义引导的点采样层和普通的pointnet++ SA层。

点分割模块：它是一个简单的2层MLP，论文中介绍了对于的参数和使用的优化器损失函数啥的。

语义引导的最远点采样：S-FPS

Conclusion

本文提出了一种基于语义增强集抽象(SASA)的基于点的三维检测方法。我们的主要概念是将语义信息合并到Pointnet SA阶段，以指导基于点的骨干更好地建模潜在对象。在KITTI和nuScenes数据集上的实验结果表明，我们的策略可以帮助在点下采样阶段获得更高的点召回率，从而获得更好的检测结果。该方法为基于点的检测提供了一个有前景的方向。它不仅可以在基于点网的模型中实现，而且还兼容基于变压器的网络和图神经网络，用于模型缩减。

这篇论文作者想要解决降采样点集合抽象设计可能会保留太多不重要的背景信息，从而影响目标检测的特征学习这一问题。

提出的关键点是

SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection相关推荐

三维目标检测论文阅读：VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection 理解了PointPillars这篇文章后,看这篇文章就清 ...
文献解读-CVPR2019-Stereo R-CNN based 3D Object Detection for Autonomous Driving
小菜鸡最近跟着大佬们学看文献,那就适当地记录一下,当作自己的学习笔记吧.文中也有很多理解不到位的地方的,毕竟还只是个小菜鸟,不懂的地方多得是.所以哪里有问题的还请各位读者好好指点指点. 今天要介绍的论 ...
Point-cloud based 3D object detection and classification methods for self-driving applications
说明仅个人总结原文下载链接一. 摘要由深度学习技术提供的自动驾驶系统正成为未来移动出行的中心.自动驾驶的性能高度依赖于预测任务的质量.传感技术的发展引领了3D扫描仪可用性的增长.例如LiDAR ...
(CVPR 2020) PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
Abstract 我们提出了一种新颖的高性能3D目标检测框架,名为PointVoxel-RCNN(PV-RCNN),用于从点云进行准确的3D目标检测.我们提出的方法深度集成了3D体素卷积神经网络(CN ...
2018_Semantic SLAM Based on Object Detection and Improved Octomap_note
注释 (2022/4/15 上午9:14:24) "ABSTRACT" (Zhang 等., 2018, p. 1) (pdf) 提出了什么: "In this pape ...
PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection（group的是关键点周围的体素，而不是周围的点）
1.动机为了学习更区别的点云特征,我们将3D体素卷积网络和基于PointNet的方法提取特征相结合.既可以利用3D体素卷积网络高效的学习和高质量的建议,又利用了基于PointNet的网络的灵活感受野 ...
详解两阶段3D目标检测网络PVRCNN：Point-Voxel Feature Set Abstraction for 3D Object Detection
在<动手学无人驾驶(4):基于激光雷达点云数据3D目标检测>一文中介绍了3D目标检测网络PointRCNN.今天介绍该作者新提出的3D检测模型:PVRCNN,论文已收录于CVPR2020. ...
Paper Reading- Center-based 3D Object Detection and Tracking (Based: KITTI)
Background 3D的对象为了表示BBox(Bounding box),一般都是立体的.这种方法是模仿了2D中检测的方法.在传统的方法中,一般使用anchor.本文讲2D检测中的一篇十分经典的文 ...
ICNet: Information Conversion Network for RGB-D Based Salient Object Detection
ICNet:用于基于 RGB-D 的显著性目标检测的信息转换网络 IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020 存在的问题之前的 ...
[我研究]Behavior Based Software Theft Detection - Hawk
Xinran Wang, Yoon-Chan Jhi, Sencun Zhu, Peng Liu@PSU 背景: Behavior Based Software Theft Detection的系统包 ...

SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection

摘要

SASA模块

Conclusion

SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection相关推荐

最新文章

热门文章