相机与激光雷达融合的3D目标检测方法MVAF-Net
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
编辑丨新机器视觉
该方法将激光雷达投影的BEV和前向视角、与摄像头视角图像作为检测输入,在特征融合中,提出attentive pointwise fusion (APF) 模块。设计attentive pointwise weighting (APW) 模块学习,附加另外两个任务foreground分类和中心回归。
如图是架构图:整个MVAF-Net包括三个部分
1)单视图特征提取(SVFE),
2)多视图特征融合(MVFF)
3)融合特征检测(FFD)。
在SVFE部分,原始的RGB图像和点云由3-stream CNN主干(CV,BEV和RV)处理,生成多视图特征图,在BEV和RV做点云体素化。在MVFF部分,多视图特征与attentive pointwise fusion模块逐点自适应融合。融合的点特征通过attentive pointwise weighting模块进一步处理,对点特征进行加权并学习结构信息。在FFD部分,对融合和重加权的点特征再次体素化,并作融合主干输入给最终的3D检测。
RV投影表示为柱面坐标系统:
attentive pointwise fusion模块架构如下:
而attentive pointwise weighting模块架构如下:
MVAF-Net的主干网络细节如下图:
检测头包括:分类(focal loss)、框回归(SmoothL1 loss)和方向分类(softMax loss)。其总loss函数为
最后两个是前景分类项(focal loss)和中心回归项(SmoothL1 loss)。
结果如下:
结论
我们提出了一种端到端的单阶段多视图融合3D检测方法MVAF-Net,它由三部分组成:单视图特征提取(SVFE),多视图特征融合(MVFF)和融合特征检测(FFD)。在SVFE部分,三流CNN主干(CV,BEV和RV主干)使用LiDAR点云和RGB图像来生成多视图特征图。在MVFF部分,使用我们提出的注意点向融合(APF)模块实现了多视图特征的自适应融合,该模块可以使用注意力机制自适应地确定从多视图输入中引入了多少信息。此外,我们通过提出的注意点加权(APW)模块进一步改善了网络的性能,该模块可以对点特征进行加权并通过两个额外的任务来学习结构信息:前景分类和中心回归。大量实验验证了所提出的APF和APW模块的有效性。此外,所提出的MVAF-Net产生了竞争性结果,并且在所有单阶段融合方法中均达到了最佳性能。此外,我们的MVAF-Net胜过大多数两阶段融合方法,在KITTI基准上实现了速度和精度之间的最佳平衡。
End
声明:部分内容来源于网络,仅供读者学术交流之目的。文章版权归原作者所有。如有不妥,请联系删除。
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
相机与激光雷达融合的3D目标检测方法MVAF-Net相关推荐
- 一个雷达和摄像头融合的3D目标检测方法CenterFusion
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉工坊 以前提到过此文(在想法中),WACV'2 ...
- A Survey of Robust LiDAR-based 3D Object Detection Methods for Autonomous Driving(激光雷达3D目标检测方法)论文笔记
原文链接:https://arxiv.org/pdf/2204.00106.pdf III. SotA 将基于点云的3D目标检测分为4类,即基于点的.基于体素的.基于前视图的和基于多视图的方法. A. ...
- 通过形状先验引导的3D目标检测方法(Disp R-CNN解读)
来源丨AI 修炼之路 问题,我们提出在不需要雷达点云的情况下,使用统计形状模型生成密集视差伪真值,这使得我们的系统具有更广泛的适用性.在KITTI数据集上进行的实验表明,即使在训练时不使用雷达数据,D ...
- Top1的3D目标检测方法(已开源)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 一.SA-SSD 在bird's eye view任务中,效率与精度并存的SA-SSD 论文:http ...
- 近期激光雷达点云的3D目标检测方法
作者丨黄浴@知乎 来源丨https://zhuanlan.zhihu.com/p/370650927 编辑丨3D视觉工坊 看到的一些近期激光雷达做目标检测的论文. 1 Offboard 3D Obje ...
- PanoNet3D:一个基于激光雷达点云语义和几何理解的3D目标检测方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨黄浴@知乎 来源丨https://zhuanlan.zhih ...
- PanoNet3D:一种3D目标检测方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉联盟 AI博士笔记系列推荐 周志华<机器 ...
- 3D目标检测2021
CVPR2021_3DOD: https://github.com/extreme-assistant/CVPR2021-Paper-Code-Interpretation/blob/master/C ...
- 两阶段3D目标检测网络 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud
本文介绍一篇两阶段的3D目标检测网络:SIENet. 这里重点是理解本文提出的 Hybrid-Paradigm Region Proposal Network 和 Spatial Informatio ...
最新文章
- R语言ggplot2可视化改变图中线条的透明度级别实战
- MYSQL 联表查询 ORDER 效率低?
- 外边距塌陷之clearance
- 网络4/7层模型各层作用和协议对比
- gb酱油和gbt酱油哪个好_都是酱油,生抽好还是味极鲜好?老板:两者差别很大,别买错了...
- unix修改服务器时间格式,处理unix中的日期格式
- java要频繁调用容器时_Java知识点梳理
- Segmentation and Paging
- linux串口配置详解
- 瑞银报告:Waymo在2030年占据全球60%无人出租车市场
- httplib模块,测试cdn节点文件同步
- 关于text-indent
- 基于vue+muse-ui的简历生成器
- ModelState.IsValid 一直是 false的解决办法
- 关于虾皮无货源一件代发你了解多少?详讲虾皮物流发货流程
- 试用分析一国宏观经济内外均衡的过程及其政策搭配
- 计算机图形输入的原理,【计算机图形学】零 · 计算机图形系统概述
- 我是小小志愿者——国际志愿者日线上宣传活动
- 查看exe和dll等二进制文件时间戳(生成时间)的工具与方法介绍
- WuThreat身份安全云-TVD每日漏洞情报-2023-02-27