基于vehical检测的3D FCN 深度网络
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
作者:简单一点 | 来源:知乎
https://zhuanlan.zhihu.com/p/144336687
本文仅做学术分享,如有侵权,请联系删除。
3d fully convolutional network for vehicle detection in point cloud
本文是将2D的全卷积网络FCN引入到3D点云中,从而实现3D目标检测。
方法介绍
A. FCN Based Detection Revisited
基于检测框架的FCN的流程可以被分为两个任务:目标预测和Bboxd的回归。如下图所示,FCN 由两个分别对应于两个任务的输出组成。目标预测用于预测是否为目标,bbox预测则回归bbox的尺寸信息。
设 为区域p的objectness map,可以用softmax 或者hinge loss编码。设 为bounding box map的输出,可以用由边界框的坐标偏移编码。
设区域p的目标真实值标签为 .区域p对应的目标损失函数为:
设区域p的真实边界框的偏移量为 。则每个边界框的损失函数被定义为:
因此整个网络总的损失函数被定义为:(其中w用于均衡目标损失函数和边界框损害函数)
代表objectness map所有的区域, 表示所有的目标区域。在部署阶段,选择具有正目标预测的区域。然后收集与这些区域对应的边界框预测,并将其作为检测结果进行聚类。
B. 3D FCN Detection Network for Point Cloud
本文使用方形网格离散化点云。离散数据可以由具有长度、宽度、高度和通道尺寸的 4D 数组表示。对于最简单的情况,仅使用一个值 [0,1] 的通道来显示在相应的网格元素上是否观察到任何点。2D CNN机制可以很自然地拓展到3D网格中去。图2展示了本文使用方法的样例。
图2。本文使用的3D FCN的一个简单样例。特征图首先通过卷积进行三次下采样。然后在进行上采样。每层之间进行ReLU。deconv4b对应着bounding box map,deconv4a则对应着objectness map。
与 DenseBox 类似,目标区域 代表目标的中心区域。对于建议的 3D 案例,使用位于对象中心的 3D 球体。球体内的点标记为正/前景标签。点 p 处的边界框预测由坐标偏移编码,定义为:( 代表边界框的八个角点)
3D CNN的训练和预测流程遵循着《 Vehicle detection from 3d lidar using fully convolutional network》。在测试阶段,候选边界框从预测为目标的区域中提取,并通过从所有候选边界框中计算其相邻值进行评分。边界框是从最高分中选择的,并且与所选框重叠的候选框将被抑制。
图 3 显示了检测中间结果的示例。来自目标点的边界框预测绘制为绿色框。请注意,对于严重遮挡的车辆,边界框形状会失真且为聚集。这主要是因为在训练阶段缺乏类似的样本。
图3. 3D FCN 检测过程的中间结果。(a) 边界框预测从具有高目标置信度的区域收集,并绘制为绿色框。(b) 使用蓝色原始点云绘制的聚类后的边界框。(c) 3D检测,因为(a)和(b)为鸟视图中的可视化。
C. Comparison with 2D CNN
与2D CNN相比,3D CNN的尺寸增量必然消耗更多的计算资源,这主要是由于 1)3D数据嵌入网格的内存成本增加,2)3D内核的仿真计算成本增加。
另一方面,在 3D 空间中自然嵌入目标可避免 2D 情况下的透视失真和比例变化。这使得使用相对简单的网络结构来学习检测成为可能。
实验部分
实验数据集:KITTI
本文使用的评价指标: bounding box overlap on the image plane (计算图像上的重叠面积)
这是 KITTI 基准的原始指标。3D 边界框检测投影回图像平面,投影的最小矩形外壳被视为 2D 边界框。3D 边界框检测以正交投影到 2D 接地平面上。如果与groundtruth的重叠区域 IoU 大于 0.7,则接受检测。此指标自然反映了自动驾驶系统的需求,其中车辆的垂直定位不如水平系统重要。
除了上述指标外,还评估了Average Precision (AP) 和 Average Orientation Similarity (AOS)
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
基于vehical检测的3D FCN 深度网络相关推荐
- ICML 2020 | 第四范式基于AutoML的深度网络记忆性自动化挖掘
概述 样本选择方法是噪声标签鲁棒学习的常用方法.然而,如何正确地控制选择过程,使深度网络能够从记忆效应中获益是一大难题.本次工作中,受自动机器学习(AutoML)的成功启发,我们将此问题建模为一个函数 ...
- 【深度学习】【积分梯度】深度网络的公理归因(Axiomatic Attribution for Deep Networks)
深度网络的公理归因 Axiomatic Attribution for Deep Networks 相关博客 [自然语言处理][可解释性]NKB:用于预训练Transformers的神经知识银行 [自 ...
- RSE2021/云检测:基于小波变换和连续多尺度空间注意的上下块深度网络云检测
RSE2021/云检测Deep network based on up and down blocks using wavelet transform and successive multi-sca ...
- 基于视角特征提取的3D检测方法汇总
作者丨柒柒@知乎 来源丨https://zhuanlan.zhihu.com/p/458068647 编辑丨3D视觉工坊 这篇文章主要是梳理一下近期3D Detection的进展,分类列举出一些我认为 ...
- 基于深度学习的图像语义分割技术概述之背景与深度网络架构
本文为论文阅读笔记,不当之处,敬请指正. A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文链接 摘要 ...
- 用于单眼3D物体检测的可学习深度引导卷积
文献:Learning Depth-Guided Convolutions for Monocular 3D Object 摘要(Abstract) 1 介绍(Introduction) 2 相关工 ...
- DID-M3D | 用于单目3D目标检测的解耦实例深度(ECCV2022)
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 后台回复[多模态综述]获取论文! 后台回复[ECCV2022]获取ECCV2022所有自动驾驶方向论文! 后台 ...
- CVPR2020 | 旷视研究院提出PVN3D:基于3D关键点投票网络的单目6DoF位姿估计算法
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14- ...
- 深度学习(二十八)基于多尺度深度网络的单幅图像深度估计
基于多尺度深度网络的单幅图像深度估计 原文地址:http://blog.csdn.net/hjimce/article/details/50569474 作者:hjimce 一.相关理论 本篇博文主要 ...
最新文章
- 在哪个公众号学python好_怎么通过公众号来快速学习python编程?
- tensorflow 导入新的tensorflow实例
- iOS开发-项目的完整重命名方法,图文教程。
- n数码问题,全排列的hash(转载
- java md5 32位加密算法_java 32位md5加密类
- good things will come late
- C++编程中的头文件包含问题
- pyppeteer有java版本吗_Pyppeteer中文文档_序言_安装_基本使用及注意事项
- db2 两个结构相同的表_从两个工作表提取数据记录,并显示相同记录的报告
- Oracle正版用户授权
- 【颗粒归仓】(一)jQuery easyui datagrid 的数据加载
- 无服务器+域名也能搭建个人博客?真的,而且很快
- 白杨SEO:什么是产品运营?产品运营要求有哪些?SEO如何转行产品运营?
- SUBSTANCE PAINTER质感案例教学 PBR次世代影视游戏场景道具制作 SP金属木头皮革材质渲染...
- FPGA逻辑设计回顾(10)DDR/DDR2/DDR3中的时序参数的含义
- Java视频修改分辨率(附代码) | Java工具类
- Q妹教你赚外快:如何把微信聊天记录写入文件
- Android WebView 加载失败(net::ERR_CLEARTEXT_NOT_PERMITTED)
- 国家知识产权局局长申长雨发言:将打击各种侵权行为,新电商法实施:“无商标,无专利,无版权”产品将会面临侵权强制下架和赔偿等。2022品牌年,拼速度。
- OpenLayers5在EPSG:4326下以m为单位画圆
热门文章
- CODEFORCES 55D
- FZU 1686 神龙的难题(DLX反复覆盖)
- Eclipse编辑jsp、js文件时,经常出现卡死现象解决汇总
- 直面问题,咱谈焦虑、谈烦恼、谈如何成长
- 敏捷研发落地之持续集成
- 抛弃ELK!Loki日志系统详解!
- 某程序员求助:喜欢上漂亮的产品经理却不敢追,追不上太尴尬,公司也不允许办公室恋情!网友:别怂!...
- 某程序员吐槽:分手一个月,发现前女友和一个已婚男人在一起,愤而向他们公司举报,该男已被开除!网友:举报别人不道德!...
- 面试造飞机系列:用心整理的HashMap面试题,以后都不用担心了
- 大咖说:出道十五载,认知五迭代