3D点云描述子超全综述:传统方式+深度学习方式
作者丨Tom Hardy@知乎
来源丨https://zhuanlan.zhihu.com/p/395187135
编辑丨3D视觉工坊
摘要
廉价3D数据采集设备的引入有助于3D点云的广泛应用和普及,近年来,为了提高三维计算机视觉任务的效率,有效地提取新的三维点云描述子越来越受到人们的关注。然而,由于三维点云的固有特性,如何从三维点云中提取具有鉴别能力和鲁棒性的特征描述符仍然是一项具有挑战性的任务。在本文中,我们对现有的三维点云描述符进行了全面深入的研究。根据描述符的进步,这些方法主要可分为两类:基于手工制作的方法和基于深度学习的方法,我们将从精细分类的角度进一步讨论它们的优点和局限性。最后,提出了三维点云描述子提取的未来研究方向。
与前面提到的研究相比,本文的主要贡献包括:
1.据我们所知,这是有关3D点云描述符进展的文献中的第一篇综述论文,从传统手工制作的描述符到具有重大研究前景的基于深度学习的方法;
2.这也是第一份将深度学习技术应用于3D点云的调查报告;
3. 这些特征以直观的形式概括在表3中;
4. 本文简要讨论了三维点云描述子的未来研究方向;
点云描述子方法分类
本文主要根据特征提取策略将三维点云描述符分为两大类,即基于手工和基于深度学习的方法。对于传统手工制作的方法,可以通过考虑从中提取描述符的区域(局部、全局和混合)、参考框架的类型和使用的属性(几何信息、空间信息、颜色信息、,其他统计信息或上述属性的组合)。对于基于深度学习的描述符,输入点云的表示对于神经网络结构的设计至关重要。它还对基于点云的应用程序的计算成本和性能产生影响。特别是,表示可以是(1)中间特征,从点云提取的手工描述符,(2)体素网格,一种结构化数据,(3)从点云生成的多视图二维图像,(4)Kd树,(5)八叉树,两种数据结构来构建拓扑,(6)点,点云本身作为输入,(7)图形,使用图形结构反映点与其相邻点之间的关系;(8)多传感器。3D点云描述符的详细分类显示在图1中。
点云数据集
基于手工设计的描述子
由于三维点云数据的特殊性,手工编制的描述符在直接处理三维点云的方法中发挥着重要作用。现有文献中的三维描述符可分为三大类:基于全局的描述符、基于局部的描述符和基于混合的描述符。
方法汇总:
基于深度学习方法的描述子
深度学习技术难以置信的强大力量在获取3D点云描述符方面带来了突破。然而,3D点云的稀疏性、不规则性和无序性直接挑战了深度学习架构对3D点云的扩展。因此,如何将一个三维点云表示成一种可以输入到深度学习处理管道中的格式成为许多研究工作关注的关键问题。一种常用的方法是将原始3D点云数据预处理为结构化的、固定大小的表示形式,以供深度学习体系结构处理。在这里,我们根据所采用的表示方法将这些现有方法分为基于特征的方法、体积方法、多视图方法、kd树方法、图方法和点云方法。
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
3D点云描述子超全综述:传统方式+深度学习方式相关推荐
- 基于点云描述子的立体视觉里程计快速鲁棒的位置识别方法
点云PCL免费知识星球,点云论文速读. 文章:A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using ...
- M2DP:一种新的三维点云描述子及其在回环检测中的应用
文章:M2DP: A Novel 3D Point Cloud Descriptor and Its Application in Loop Closure Detection 作者:Li He , ...
- 3D点云初探:基于全卷积神经网络实现3D物体识别
基于全卷积神经网络实现3D物体识别 一.从2D图像识别到3D物体识别 二.ModelNet10:3D CAD数据集 1.存储格式 2.读取方法 3.点云可视化 可视化工具 plt可视化 4.数据集定义 ...
- 超全总线控制方式总结
总线控制 看了网络上的文章,质量真的不太行,就自己结合着整理一下. 总线控制主要是两个大方面,总线判优控制和总线通信控制. 一.总线判优控制 总线上同一时刻只允许一个设备进行占用,为了防止冲突,我们引 ...
- 超全的机器学习、深度学习视频课程和讲义的百度网盘下载
超全的百度网盘资料下载 点击下面相应的链接: 麦子学院---深度学习基础.深度学习进阶 21套数据集 350G资源分享 Spark DT大数据梦工厂内部视频下载 Spark 100期公益大讲坛 王家 ...
- 超分辨率 | 综述!使用深度学习来实现图像超分辨率
关注公众号"AI算法修炼营",选择"星标"公众号 精选作品,第一时间送达 今天给大家介绍一篇图像超分辨率邻域的综述,这篇综述总结了图像超分辨率领域的几方面:pr ...
- 最新综述:基于深度学习方式的单目物体姿态估计与跟踪
原文:Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview 作者:中国人民大学 ...
- PCL函数库摘要——3D点云特征描述与提取
1.Class pcl::Feature< PointInT, PointOutT > 类Feature是所有特征相关模块中其他类的基类,定义了所有描述子常用的函数接口. #include ...
- 点云配准新方案!SuperLine3D:激光雷达点云中的自监督线分割和描述子提取(ECCV2022)...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨汽车人 来源丨自动驾驶之心 论文链接:https://arxiv.org/pdf/2208.01 ...
最新文章
- uscao Mother's Milk
- 《中国人工智能学会通讯》——12.58 大数据不确定性学习的研究
- 【小结】除了网络搜索(NAS),AutoML对深度学习模型优化还有哪些贡献?
- udacity开源的数据_评论:Udacity数据分析师纳米学位计划
- Java ResourceBundle getLocale()方法与示例
- .NET 4 并行(多核)编程系列之一入门介绍
- redis 经纬度_Redis 中的 GEO(地理信息)类型
- loss函数之MultiMarginLoss, MultiLabelMarginLoss
- Struts2 stracture
- python3入门代码-Python3 入门教程 简单但比较不错
- android登录操作代码,Android Studio实现第三方QQ登录操作代码
- word 与 endnote 反应慢的小技巧
- java中的状态机模式_Java 有限状态机 (设计模式——状态模式)
- Face Recognition 人脸识别该如何测试
- matlab信号加入白噪音再分离,Matlab中给信号增加白噪声
- 【题解】【中国大学MOOC】(北京大学)人工智能与信息社会考试——期末考试
- 行政组织理论-阶段测评2
- SISR深度学习主要方法简述
- 树莓派python播放报警声(usb音响)
- 获取一个group by里面的总和或者聚合函数 思路杂乱 不要看