VoteNet是用于点云三维目标检测模型算法，发表在ICCV 2019《Deep Hough Voting for 3D Object Detection in Point Clouds》，论文地址为“https://arxiv.org/abs/1904.09664”。VoteNet核心思想在于通过霍夫投票的方法实现了端到端3D对象检测网络，属于anchor free的目标检测方式。传统基于anchor的三维目标检测方法会将三维点云投影到bev视图后采用二维目标检测的方式来生成目标候选框。这种方式很有可能会丢失物体细节。VoteNet分别在SUN RGB-D和ScanNet数据集上进行了实验，并且取得了不错的结果。截至目前2022-11-30，VoteNet在SUN RGB-D数据集上的目标检测性能排在了11位，如下图所示。数据和图片来源于paperwithcode官网，地址为“https://paperswithcode.com/sota/3d-object-detection-on-sun-rgbd-val”。

1 源码与数据输入

源码采用的是mmdetection3d框架中的VoteNet模型。mmdetection3d安装和调试验证可参考本博客之前的专栏【mmdetection3d】mmdetection3d安装详细步骤_Coding的叶子的博客-CSDN博客_mmdetection3d安装，里面有详细介绍。

mmdetection3d VoteNet支持ScaNet和SUN RGB-D两种数据集，这里以SUN RGB-D为例。数据详细预处理过程请参考mmdetection3d SUN RGB-D数据集预处理_Coding的叶子的博客-CSDN博客。

2 mmdetection3d SUN RGB-D数据处理与模型训练

SUN RGB-D数据集预处理命令如下：

python extract_split.py
python extract_data_v2.py
python tools/create_data.py sunrgbd --root-path ./data/sunrgbd --out-dir ./data/sunrgbd --extra-tag sunrgbd

模型训练命令为：

python tools/train.py configs/votenet/votenet_16x8_sunrgbd-3d-10class.py

3 VoteNet简介

VoteNet核心思想在于通过霍夫投票的方法实现了端到端3D对象检测网络，属于anchor free的目标检测方式。传统基于anchor的三维目标检测方法会将三维点云投影到bev视图后采用二维目标检测的方式来生成目标候选框。这种方式很有可能会丢失物体细节。

VoteNet模型结构如下图所示。该模型大量用到了PointNet结构。在主干网络中，VoteNet利用PointNet采样分组和特征上采样得到了用于投票的种子点（seed）及其特征。种子点类比求解霍夫直线时的定点，也就是具备投票权的点。种子点投票结果为Votes，包含投票目标中心点和特征。VoteNet接着利用PointNet采样分组模块对投票点进行聚合，用聚合后的点分别预测目标有无、类别和位置。聚合的作用可类比霍夫直线参数空间中的直线交点，即聚合空间中的点投票给了同一个目标。

模型输入数据为SUN RGB-D，共预测10个类别目标，且输入点云维度为Nx4，N=20000。

4 模型结构与代码详解

模型详细结构及推理过程请参考下一篇博客：【三维目标检测】VoteNet（二）_Coding的叶子的博客-CSDN博客。

5 【python三维深度学习】python三维点云从基础到深度学习_Coding的叶子的博客-CSDN博客_python点云拼接从三维点云基础知识到深度学习，将按照以下目录持续进行更新。更新完成的部分可以在三维点云专栏中查看。含数据与python源码。https://blog.csdn.net/suiyingy/article/details/124017716

【三维目标检测】VoteNet（一）相关推荐

三维目标检测--VoteNet增强版--MLCVNet论文解读
代码链接 paper链接个人博客论文总结本文首先提出了三维目标检测中对于一些含有点云数量很少的目标,人类都难以辨别,此外,大部分的网络都是单独的考虑每一个proposal,这也大大加大了网络来辨 ...
【三维目标检测】3DSSD（二）
数据和源码请参考上一篇博文:[三维目标检测]3DSSD(一)_Coding的叶子的博客-CSDN博客. 3DSSD三维目标检测模型发表在CVPR2020<3DSSD: Point-based 3 ...
【三维目标检测】3DSSD（一）
3DSSD三维目标检测模型发表在CVPR2020<3DSSD: Point-based 3D Single Stage Object Detector>.目前,基于体素的 3D 单级检测器 ...
ICCV2019论文点评：3D Object Detect疏密度点云三维目标检测
ICCV2019论文点评:3D Object Detect疏密度点云三维目标检测 STD: Sparse-to-Dense 3D Object Detector for Point Cloud 论文链 ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
三维目标检测算法原理
三维目标检测算法原理输入输出接口 Input: (1)图像视频分辨率(整型int) (2)图像视频格式(RGB,YUV,MP4等) (3)左右两边的车道线位置信息摄像头标定参数(中心位置(x,y) ...
【论文速读】基于图像的伪激光雷达三维目标检测
点云PCL免费知识星球,点云论文速读. 标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 作者:Rui Qian, Divy ...
Complexer-YOLO：基于语义点云的实时三维目标检测与跟踪
泡泡点云时空,带你精读点云领域顶级会议文章标题:Complexer-YOLO: Real-Time 3D Object Detection and Tracking on Semantic Poin ...
最新综述：自动驾驶中的多模态三维目标检测
©PaperWeekly 原创 · 作者 | 张一帆学校 | 华南理工大学本科生研究方向 | CV,Causality Abstract 在过去几年,自动驾驶取得了蓬勃的发展,但是由于驾驶环境的复 ...

【三维目标检测】VoteNet（一）

1 源码与数据输入

2 mmdetection3d SUN RGB-D数据处理与模型训练

3 VoteNet简介

4 模型结构与代码详解

【三维目标检测】VoteNet（一）相关推荐

最新文章

热门文章