[LiteratureReview]Improving 3D Object Detection for Pedestrians with Virtual Multi-View Synthesis Orientation Estimation

出处：IROS2019

Paper：https://arxiv.org/pdf/1907.06777.pdf

Code：https://github.com/kujason/vmvs

Note：本篇论文的Literature Review中，只关注笔者感兴趣的部分内容。

Introduction

本文方法建立在RGB和lidar传感器上（生成场景点云以及每个点云的RGB），核心思想：为每个检测到的行人生成一组虚拟视图（论文中示例为3个，实际是11个），并在训练和推理过程中利用这些视图来产生准确的方向估计。

Related Work

**Multi-view Learning：**使用多个视图之前已被证明在允许神经网络学习形状和位姿信息方面是有效的； [30] 从 CAD 数据集中渲染物体周围的多个视图，然后根据每个视图的特征预测形状；[31]、[32]、[33]使用多个视图来确保投影一致性来学习形状和位姿信息；这些方法倾向于使用 CAD 模型，从背景中分割出感兴趣的对象，包含完整的 360° 形状信息，并允许从任何角度完美生成数据。

Reference：

[30]：Multi-view convolutional neural networks for 3d shape recognition. ICCV2015
[31]：Multi-view supervision for single-view reconstruction via differentiable ray consistency. CVPR2017
[32]：Multi-view consistency as supervisory signal for learning shape and pose prediction. CVPR2018
[33]：Capnet: Continuous approximation projection for 3d point cloud reconstruction using 2d supervision. arXiv2018

Methods

整体思路：作者开发了一个虚拟多视图渲染系统，以从图像和 LiDAR 输入中生成新颖的真实数据，生成多个额外的虚拟视角数据；这些生成的数据在训练和推理过程中都被合并到网络中；在推理时，这些额外的视角用于确定更准确的方向估计。

Conclusion

总结：这项工作提出了一种在与 RGB 数据融合的深度完成点云上生成虚拟视角的方法，该方法解决了从稀疏 LiDAR 数据中学习语义信息以及从少量位姿训练数据中学习的问题。

[LiteratureReview]Improving 3D Object Detection for Pedestrians with Virtual Multi-View Synthesis...相关推荐

点云网络的论文理解（七）-Frustum PointNets for 3D Object Detection from RGB-D Data
名词解释 RGB:就是彩色图像. RGB-D:就是彩色图像外加一个深度,这个深度就是摄像头到那个东西的距离. 单目RGB-D:就是一个摄像头采集RGB-D数据双目RGB-D:就是两个摄像头一起采集R ...
点云 3D 目标检测 - CenterPoint：Center-based 3D Object Detection and Tracking（CVPR 2021）
点云 3D 目标检测 - CenterPoint: Center-based 3D Object Detection and Tracking - 基于中心的3D目标检测与跟踪(CVPR 2021) ...
点云 3D 天气数据增强 - LiDAR Snowfall Simulation for Robust 3D Object Detection (CVPR 2022)
点云 3D 天气数据增强 - LiDAR Snowfall Simulation for Robust 3D Object Detection - 用于鲁棒3D目标检测的激光雷达降雪模拟(CVPR 2 ...
论文阅读 [TPAMI-2022] Disentangling Monocular 3D Object Detection: From Single to Multi-Class Recognitio
论文阅读 [TPAMI-2022] Disentangling Monocular 3D Object Detection: From Single to Multi-Class Recognitio ...
论文阅读笔记：(2021.10 CoRL) DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
论文地址:DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries | OpenReviewWe introduc ...
点云 3D 天气数据增强 - Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in ... (ICCV 2021)
Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in Adverse Weather - 恶劣天气下用于3D目标检测 ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
「3D Object Detection」Lidar Part : First Taste
Lidar Point Clouds KITTI dataset KITTI是一个自动驾驶感知模块的作为标准基准的多模态数据集,涉及的感知任务包括基于图像的单眼和立体深度估计,光流(optical f ...
Waymo离线点云序列3D物体检测网络 (3D Auto Labeling)： Offboard 3D Object Detection from Point Cloud Sequences
本文介绍一篇Waymo基于点云序列的3D物体检测网络:3D Auto Labeling,论文已收录于CVPR 2021. 这里重点是理解本文提出的 Object-centric Auto Labeli ...
两阶段3D目标检测网络 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud
本文介绍一篇两阶段的3D目标检测网络:SIENet. 这里重点是理解本文提出的 Hybrid-Paradigm Region Proposal Network 和 Spatial Informatio ...

[LiteratureReview]Improving 3D Object Detection for Pedestrians with Virtual Multi-View Synthesis...