文章目录

StarNet
- Center selection
- Featurizing local point clouds After
- Constructing final predictions from bounding box proposals
- 实验
讨论

StarNet: Targeted Computation for Object Detection in Point Clouds
Waymo出品，2019年12月更新

StarNet

文中强调，本文的创新点和优势有如下：

本方法不对空白区域进行计算，减少对算力的要求
本方法由于不适用全局特征，所以在inference的时候，可以调整proposal的数量和每个proposal中点的数量，这种设计对于运算平台是友好的，算力强的平台可以更精确，算力不强的也可以用，只不过精度低一些。
在不增加额外计算的情况下，可以加入对场景先验知识，或者加入连续帧中的信息。

这里先讲一下方法的整体流程：

首先选取一些点
然后以这些点做为局部坐标系的中心点，用CNN计算特征u
然后在每个点的周围放置GxG个个anchor，将特征f通过CNN计算每个anchor对应的特征
通过特征u，使用CNN回归box与anchor的偏差，得到预测值

伪代码在arxiv中的v1版本的paper中可以找到：

接下来我们一步一步讲。

Center selection

这部分就是如何选取一些点，首先除去地面的点。例如，除去某个高度以下的点，其实还可以通过平面拟合等方式除去地点。然后在剩下的点中使用FPS得到选取的中心点，FPS详见PointNet++。文章在实验部分还提到了，使用连续帧来选取center，可以提高检测效果。

Featurizing local point clouds After

得到选取的点后，以此作为中心点，在半径为R的邻域内选取K个点，作为CNN的输入，然后通过下图结构，得到384维的特征f。

其中具体StarNet Block与VoxelNet中的Feature Extractor类似。

Constructing final predictions from bounding box proposals

首先对于每个点，放置GxG个anchor，然后对于每个anchor，通过f计算一个D维度的特征,然后通过该特征，回归box和anchor之间的回归量。

实验

实验使用了两个数据集，KITTI和Waymo Open Dataset。实验证明如下结论：

首先验证了FPS的相比于Random Sampling的有效性
对比StarNet和PointPillars的效果，StarNet在运算速度相当时，精度高很多
验证了随着center点采样数量和每个proposal中点的数量（也就是计算特征f的点的数量）的增多，效果是增强的，但时间耗费更多
验证了使用连续帧的效果，将上一帧的检测结果作为当前帧做center selection的先验知识的有效性

讨论

1、文中提到，在KITTI数据集上，更多的提高在于数据增强，checkpoint的选择等，而不是模型的提升。

We found that the gains in predictive performance due to data augmentation (up to +18.0, +16.9 and +30.5 mAP on car, pedestrian and cyclist respectively) were substantially larger than gains in performance observed across advances in detection architectures. Additionally, we found checkpoint selection to be extremely important due to the small size of the dataset, and submission filtering (e.g. remov- ing detections where the 2D projected height of our 3D bounding box predictions were smaller than 25 pixels so they are not erroneously labeled as false positives) unique challenges to the KITTI benchmark.

【论文阅读】【三维目标检测】StarNet: Targeted Computation for Object Detection in Point Clouds相关推荐

【论文阅读】【弱监督-3D目标检测】Weakly Supervised 3D Object Detection from Point Clouds
前言 ACM MM 2020录用的一篇文章.不使用任何真实的3D框来进行训练.通过采用归一化的点云密度来生成目标候选框.不过性能一般,算是第一个吃螃蟹的人 MIT和微软合作的论文,模型简称为VS3D ...
【论文阅读】【三维目标检测】BirdNet: a 3D Object Detection Framework from LiDAR Information
文章目录 BirdNet 数据预处理处理网络后处理实验评价 BirdNet: a 3D Object Detection Framework from LiDAR Information 西班 ...
点云 3D 目标检测 - CenterPoint：Center-based 3D Object Detection and Tracking（CVPR 2021）
点云 3D 目标检测 - CenterPoint: Center-based 3D Object Detection and Tracking - 基于中心的3D目标检测与跟踪(CVPR 2021) ...
论文阅读笔记 | 目标检测算法——SAPD算法
如有错误,恳请指出. 文章目录 1. Introduction 2. Soft Anchor-Point Detector 2.1 Detection Formulation with Anchor ...
论文阅读笔记 | 目标检测算法——FSAF算法
如有错误,恳请指出文章目录 1. Introduction 2. FSAF Module 2.1 Network Architecture 2.2 Ground-truth and Loss 2.2 ...
论文阅读笔记 | 目标检测算法——PP-YOLOv2
如有错误,恳请指出. 文章目录 1. Introduction 2. Revisit PP-YOLO 2.1 Pre-Processing 2.2 Baseline Model 2.3 Trainin ...
【开放域目标检测】一：Open-Vocabulary Object Detection Using Captions论文讲解
出发点是制定一种更加通用的目标检测问题,目的是借助于大量的image-caption数据来覆盖更多的object concept,使得object detection不再受限于带标注数据的少数类别,从 ...
目标检测-Oriented RepPoints for Aerial Object Detection(CVPR 2022)
目标检测-Oriented RepPoints for Aerial Object Detection(CVPR 2022) 论文地址:Oriented RepPoints for Aerial Ob ...
【论文阅读】Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
最近在看3d目标检测的文章,感觉看完东西还是要记一下自己的想法,尤其是有思考的文章. 论文题目:Point-GNN: Graph Neural Network for 3D Object Detect ...

【论文阅读】【三维目标检测】StarNet: Targeted Computation for Object Detection in Point Clouds