【论文阅读】【3d目标检测】Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

论文题目：Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

飞步科技 cvpr2022 kitti 3d目标检测排名第一可以看看
文章主要是多传感器融合的目标检测

文章不难理解，引入了一些新的我之前没有关注过的操作（可能还是融合的文章看的太少了）
文章分为两个分支，首先是lidar分支这里主要采用了voxel rcnn的rpn来提取roi。
image和lidar通过转换矩阵，对于pixel进行深度填充得到伪雷达图，随后将lidar得到的roi进行Color Point Convolution：

如图所示，对于roi中每一个伪点云点，寻找它们的临近点，随后进行conv：首先对于位置进行编码：
将每一个点编码成：（xi−xik, yi−yik, zi−zik, ui−uik, vi−vik, ||pi−pik||）的形式，这个临近点的寻找主要是将roi内的点投影到image中进行的临近点搜寻，具体的搜寻算法文章没有给出。
随后与feature点进行编码后相乘得到weighted的feature 进行拼接，而后进行FC操作得到包含了临近点信息的该点的feature。
最后将该编码后的roi vox成6X6X6的形式与lidar分支中提取出的roi进行一个融合：

这里我们需要注意的是作者还引入了一个对于多模态feature增强的操作，其实就是将image投影到与lidar真实点云对齐的坐标后进行的点云的传统数据增强，只不过后面进行cpconv操作时是将伪点云投影回原来的image进行临近点搜寻，而后进行特征聚合。
效果挺好没有开源可以开源后看看代码。
总的来说特征的聚合发生在image分支

【论文阅读】【3d目标检测】Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion相关推荐

论文阅读笔记 | 目标检测算法——SAPD算法
如有错误,恳请指出. 文章目录 1. Introduction 2. Soft Anchor-Point Detector 2.1 Detection Formulation with Anchor ...
论文阅读笔记 | 目标检测算法——FSAF算法
如有错误,恳请指出文章目录 1. Introduction 2. FSAF Module 2.1 Network Architecture 2.2 Ground-truth and Loss 2.2 ...
论文阅读笔记 | 目标检测算法——PP-YOLOv2
如有错误,恳请指出. 文章目录 1. Introduction 2. Revisit PP-YOLO 2.1 Pre-Processing 2.2 Baseline Model 2.3 Trainin ...
【单目3D目标检测】项目实战-道路车辆/行人3D目标检测
[单目3D目标检测]项目实战-道路车辆/行人3D目标检测任务定义传统激光雷达3D检测模型 VS 单目3D检测模型单目3D目标检测优点单目3D目标检测难点数据集 KITTI数据集标注及网络输出 ...
【3D目标检测】HDNET: Exploiting HD Maps for 3D Object Detection论文综述（2018）
1. 为什么要做这个研究(理论走向和目前缺陷) ? 之前的3D目标检测都不用高精地图,而是直接基于感知设备获得的数据做感知,高精地图一般只用于规划,白白浪费了这么简单易得的提升检测效果的方法. 2. ...
【自动驾驶-3D目标检测】3DSSD：基于点的3D单级目标检测器
3DSSD:基于点的3D单级目标检测器2020^{2020}2020 摘要目前,基于体素的3D单级检测器已经有很多种,而基于点的单级方法仍处于探索阶段.在本文中,我们首先提出了一种轻量级且有效的基于 ...
【论文阅读】目标检测中的分类回归特征解耦
论文来源:知网以下仅仅是学习过程中的部分笔记,用作自己复习. 摘要 ..... 目标检测不仅需要判别图像中存在的目标的类别,还需要回归目标在图像中的位置. 特征耦合具体表现:分类和回归部分的网络共享 ...
论文阅读笔记 | 目标检测算法——PP-YOLO
如有错误,恳请指出. 文章目录 1. Introduction 2. Related Work 3. PP-YOLO 3.1 Architecture 3.1.1 Backbone 3.1.2 Det ...
论文阅读笔记 | 目标检测算法——YOLOX
如有错误,恳请指出. 文章目录 1. Introduction 2. YOLOX 2.1 YOLOv3 baseline 2.2 Decoupled head 2.3 Strong data augm ...

【论文阅读】【3d目标检测】Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

论文题目：Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

【论文阅读】【3d目标检测】Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion相关推荐

最新文章

热门文章