PointPillars：基于点云的快速目标检测网络

2024-05-09 18:51:40

1 PointPillars简介

PointPillars是一个基于点云的快速目标检测网络，在配置为Intel i7 CPU和1080ti GPU上的预测速度为62Hz，在无人驾驶领域中常常能够使用上它，是一个落地且应用广泛的一个3D快速目标检测网络。

2 PointPillars Network

PointPillars包括3个主要阶段：
(1) 将点云转换为稀疏伪图像的特征编码器网络；(2)2D卷积主干网络，将伪图像处理为高级表示；
(3)检测并会回归3D box的检测头。
1、采用Pillar编码方式编码PointCloud：在点云的俯视图的平面进行投影使之变成伪2D图，对这种投影进行编码用的是Pillar方法，即在投影幕上划分为 H * W 的网格，然后对于每个网格所对应的柱子中的每一个点取原特征（x,y,z,r,x_c,y_c,z_c,x_p,y_p）共9个，再然后每个柱子中点多于N的进行采样，少于N的进行填充0，形成了（9，N，H * W）的特征图。
2、使用2D Convolution进行处理：这一部分算得上是网络中的backbone，backbone包含两个子网络一个是top-down网络，另一个是second网络。其中top-down网络结构为了捕获不同尺度下的特征信息，主要是由卷积层、归一化、非线性层构成的，second网络用于将不同尺度特征信息融合，主要由反卷积来实现。
3、使用SSD的检测头对目标进行检测。

损失函数

使用localization loss对3D bounding box进行回归，由于box的±Π在localization loss无法被学习到，所以使用direction loss对此进行学习，在classification loss中使用focal loss对分类进行学习。

3 网络训练

https://github.com/nutonomy/second.pytorch
https://github.com/open-mmlab/mmdetection3d
https://github.com/SmallMunich/nutonomy_pointpillars
https://github.com/open-mmlab/OpenPCDet/tree/master

PointPillars：基于点云的快速目标检测网络相关推荐

3D目标检测（二）—— 直接处理点云的3D目标检测网络VoteNet、H3DNet
前言上次介绍了基于Point-Based方法处理点云的模块,3D目标检测(一)-- 基于Point-Based方法的PointNet点云处理系列,其中相关的模块则是构成本次要介绍的,直接在点云的基础 ...
Lidar-RCNN：基于稀疏点云的3D目标检测网络（CVPR2021）
作者丨柒柒@知乎来源丨https://zhuanlan.zhihu.com/p/390322842 编辑丨3D视觉工坊论文标题:LiDAR R-CNN: An Efficient and Univ ...
基于华为云ECS的目标检测与识别的昇腾AI开发体验【华为云至简致远】
[摘要] 基于华为云弹性云服务器ECS,搭配共享镜像,快速搭建环境,进行目标检测与识别的昇腾AI开发体验,开箱即用,打破时间和空间限制,随时随地进行开发,适合个人开发和团队协作,体验流畅丝滑. 前言 ...
基于激光雷达点云的3D目标检测算法—端到端多视图融合
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨Rubicon007@知乎来源丨https://zhuanlan.zhihu.com/p/44 ...
基于激光雷达点云的3D目标检测算法论文总结
作者丨eyesighting@知乎来源丨https://zhuanlan.zhihu.com/p/508859024 编辑丨3D视觉工坊前言过去很多年激光雷达的车规标准和高昂价格是阻碍其量产落 ...
动手学无人驾驶（4）：基于激光雷达点云数据3D目标检测
上一篇文章<动手学无人驾驶(3):基于激光雷达3D多目标追踪>介绍了3D多目标追踪,多目标追踪里使用的传感器数据为激光雷达Lidar检测到的数据,本文就介绍如何基于激光雷达点云数据进行3D ...
目标检测YOLO实战应用案例100讲-基于激光雷达点云的三维目标检测算法研究
目录基于激光雷达点云的三维目标检测算法研究基于投影图的方法基于点云的多模态融合方法
基于点云的3D障碍物检测
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉基于点云的3D障碍物检测主要有以下步骤: 点 ...
一种投影法的点云目标检测网络
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达文章导读本文来源于早期的一篇基于投影法的三维目标检测文章<An Euler-Region-Pr ...

最新文章

热门文章