MVX-Net: Multimodal VoxelNet for 3D Object Detection

2024-05-07 15:50:09

论文
代码

问题以及创新点

同样是在VoxelNet的基础上做了进一步改进

问题

直接3D点云的方法，对资源要求比较高
RGB图像具有更丰富的特征，但在预测深度等存在精度较差的问题
当前融合的方法，多是在后期融合，是得场景融合收到限制

创新点

融合RGB以及点云进行综合的检测
在网络早期进行特征融合

网络架构

整个网络走了两个不同的pipeline，一部分通过Faster-RCNN提取RGB特征信息，另一方面通过VoxelNet提取3D点云特征。并且提出了两种点云融合的方法，PointFusion以及VoxelFusion。

PointFusion

PointFusion 针对voxel中每个点进行特征融合，在原始每个点7维特征(xi,yi,zi,ri,xi−vx,yi−vy,zi−vz)(x_i,y_i,z_i,r_i,x_i-v_x,y_i-v_y,z_i-v_z)(xi,yi,zi,ri,xi−vx,yi−vy,zi−vz)的基础上添加了16来自RGB的特征信息。这种方法使得原始的点云包含了更丰富的RGB特征，但同样由于每个点特征的增加是得后续VFE特征提取阶段需要更多的计算资源。

VoxelFusion

相比于PointFusion,VoxelFusion的融合阶段不再是针对每个voxel中的点，而是针对VFE层提取的每个voxel的整体特征上。这在一定程度上减少了计算资源。

实验结果

KITTI Val set

实验中可以看到，在3Ddetection部分相比基础baseline VoxelNet提升还是比较显著的，而基于PointNet为每个点赋予了更丰富的RGB信息，结果提升还是比较明显

KITTI Test

MVX-Net: Multimodal VoxelNet for 3D Object Detection相关推荐

三维目标检测论文阅读：VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection 理解了PointPillars这篇文章后,看这篇文章就清 ...
【论文翻译】FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection
文章目录 PaperInfo Abstract 1 Introduction 2 Related Work 2D Object Detection Monocular 3D Object Detect ...
点云 3D 目标检测 - CenterPoint：Center-based 3D Object Detection and Tracking（CVPR 2021）
点云 3D 目标检测 - CenterPoint: Center-based 3D Object Detection and Tracking - 基于中心的3D目标检测与跟踪(CVPR 2021) ...
点云 3D 天气数据增强 - LiDAR Snowfall Simulation for Robust 3D Object Detection (CVPR 2022)
点云 3D 天气数据增强 - LiDAR Snowfall Simulation for Robust 3D Object Detection - 用于鲁棒3D目标检测的激光雷达降雪模拟(CVPR 2 ...
点云 3D 天气数据增强 - Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in ... (ICCV 2021)
Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather - 恶劣天气下用于3D目标检测 ...
两阶段3D目标检测网络 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud
本文介绍一篇两阶段的3D目标检测网络:SIENet. 这里重点是理解本文提出的 Hybrid-Paradigm Region Proposal Network 和 Spatial Informatio ...
详解两阶段3D目标检测网络 Voxel R-CNN：Towards High Performance Voxel-based 3D Object Detection
本文介绍一篇两阶段的3D目标检测网络:Voxel R-CNN,论文已收录于AAAI 2021. 这里重点是理解本文提出的 Voxel RoI pooling. 论文链接为:https://arxiv. ...
【论文阅读】【综述】3D Object Detection 3D目标检测综述
目录写在开头 3D Object Detection 相关博客: Sliding window Vote3Deep: Fast Object Detection in 3D Point Clouds ...
3D Object Detection 3D目标检测综述
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接: https://blog.csdn.net/wqwqqwqw1231/articl ...
论文精读 ——《BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection》
文章目录 BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection 论文精读摘要(Abstract·) 1 ...

最新文章

热门文章