CVPR 2021| 基于深度图匹配的鲁棒点云配准框架
Robust Point Cloud Registration Framework Based on Deep Graph Matching
代码地址:在公众号「3D视觉工坊」,后台回复「鲁棒点云」,即可直接下载。
目前领域存在的问题:
现有的方法在异常值占比大和时间限制的情况下没有良好的变换初始化。
基于学习的方法对异常值很敏感,导致更多的不正确对应。
论文贡献:
首次提出利用深度图匹配来解决点云配准问题。图匹配不是仅仅利用每个点的特征,而是利用其他节点的特征和图的结构信息建立对应关系,从而更好地解决离群点的问题。
引入AIS模块来建立两个给定图的节点之间可靠的对应关系。AIS模块根据嵌入特征计算任意两个节点之间的亲和矩阵,通过全局分析亲和矩阵并利用Sinkhorn算法,可以有效减少错误通信的比例。
提出使用转换器生成软图边。在对局部点云进行配准时,利用转换器中的注意和共同注意机制,可以对重叠部分建立更好的对应关系。
方法在干净的、有噪声的、部分到部分数据集和看不见的类别数据集上实现了最先进的性能。
算法理论:
图1是作者提出的RGM的整体pipeline。RGM由四部分组成:局部特征提取器、边生成器、图形特征提取器和AIS模块以及LAP-SVD。
局部特征提取器
如果只使用局部特征来预测点云之间的对应关系,很容易得到不正确的对应关系,特别是在存在异常值的情况下,原因是局部特征不包含较大尺度上点云的结构信息(自相关)和两个点云之间的关联。受深度图匹配研究的启发,作者从点云中构造图并使用深度图匹配建立更好的对应关系。
边生成器
图形特征提取器和AIS模块
实验部分:
所有实验都在数据集ModelNet40上进行。作者随机抽样2,048点从网格面和重缩放点到一个单位球体。每个类别都包含正式的训练/测试分割。为了选择模型进行评估,作者分别以官方训练分割的80%和20%作为训练集和验证集,以官方测试分割进行测试。对于数据集中的每个对象,作者随机抽取1024个点作为源点云X,然后对X进行随机变换,得到目标点云Y,并打乱点顺序。对于应用的变换,作者随机抽样三个欧拉角范围[0,45]°旋转和三个位移范围[−0.5,0.5]沿每个轴的平移。作者使用6个评价指标,前4个是从估计的转换参数计算出来的,它们是RPM-Net中提出的R和t的平均各向同性误差(MIE)和DCP中使用的R和t的平均绝对误差(MAE),它们是各向异性的。另外,作者提出了一个新的度量方法 CCD,它测量了两个点云之间的距离,计算方法如下:
作者首先评估干净点云上的配准性能。所有模型都在干净数据上进行训练和评估,表1显示了作者的方法及其同类方法的性能,获得了最好的性能,大大超过最强的基于学习的方法。此外,RGM的成功率达到了100%,其大部分误差指标接近于0,这是现有的其他方法无法达到的。
为了评估对噪声的鲁棒性,从N(0,0.01)采样并剪切到[−0.05,0.05]的高斯噪声被独立地添加到干净点云中的每个点的坐标中。如表2所示很明显,作者的方法比最新的基于学习的方法和传统方法的准确率要高得多,并且方法的召回率接近100%。
对于点云配准来说,部分到部分是最具挑战性的情况,它很重要,因为它经常发生在现实应用程序中。对于每个点云,作者创建一个独立通过原点的随机平面,沿着它的法线平移它,并保留70%的点。所有模型都是在部分到部分数据的基础上训练和评估的,结果如表3所示。该方法的准确率明显高于其他方法,成功率均在90%以上。
为了测试每种方法对看不见的形状类别的泛化能力,作者将前20个类别的正式训练集和测试集分别作为训练集和验证集,并对后20个类别的正式测试集进行测试。其他实验设置与部分对部分实验相同。实验结果如表4所示。作者发现传统方法的性能并没有显著的改变。RPM-Net的泛化能力也很好,但显然作者的方法更有效。其他基于学习的方法不能很好地推广到看不见的类别。
结论
作者首次引入深度图匹配来解决点云配准问题,并提出了一种新颖的深度学习框架RGM,该框架实现了最先进的性能。作者提出了AIS模块来建立图节点之间的精确对应关系,从而大大提高了配准性能。此外,基于转换器的边生成器为图边的构建提供了一种新的思路,作者认为,深度图匹配方法有潜力用于其他的配准问题,包括2D-3D配准和变形配准。
备注:作者也是我们「3D视觉从入门到精通」特邀嘉宾:一个超干货的3D视觉学习社区
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
CVPR 2021| 基于深度图匹配的鲁棒点云配准框架相关推荐
- 一种基于Matlab的快速鲁棒特征点(surf)的图像拼接技术
一.引言 快速鲁棒特征(Speeded-up robust feature,SURF)算法在图像匹配.模式识别.图像拼接等众多领域有着广泛的应用[1].有学者提出一种基于快速鲁棒特征(SURF)的眼底 ...
- 今天19:30 | 复旦大学青年副研究员许嘉蓉—《基于图数据的鲁棒机器学习 》
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 6月7日19:30,本期我们邀请到复旦大学青年副研究员许嘉蓉给大家带来精彩的分享! 哔哩哔哩直播通道 扫码关注AI TIME哔哩哔哩官方 ...
- CVPR2020:基于自适应采样的非局部神经网络鲁棒点云处理(PointASNL)
CVPR2020:基于自适应采样的非局部神经网络鲁棒点云处理(PointASNL) PointASNL: Robust Point Clouds Processing Using Nonlocal N ...
- CoBigICP:一种基于相关熵以及双向匹配的鲁棒且准确的配准方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 标题:CoBigICP: Robust and Precise Point Set Registrat ...
- 基于成像激光雷达的鲁棒位置识别
点云PCL免费知识星球,点云论文速读. 文章:Robust Place Recognition using an Imaging Lidar 作者:Tixiao Shan, Brendan Englo ...
- CVPR 2021 | 基于随机标签的神经架构搜索
本文转自旷视研究院. 今日分享一篇来自旷视被收录为 CVPR2021 的论文『Neural Architecture Search with Random Labels』.详情如下: 论文名称:Neu ...
- 基于平面几何精确且鲁棒的尺度恢复单目视觉里程计
标题:Accurate and Robust Scale Recovery for Monocular Visual Odometry Based on Plane Geometry 作者:Rui T ...
- CVPR 2021 | 基于语义聚合与自适应2D-1D配准的手部三维重建(快手)
来源丨arXiv每日学术速递 今天,我们介绍的是快手Y-tech入选CVPR 2021的工作之一,Camera-Space Hand Mesh Recovery via Semantic Aggreg ...
- CVPR 2021 | 基于跨任务场景结构知识迁移的单张深度图像超分辨率方法
©PaperWeekly 原创 · 作者|孙宝利 学校|大连理工大学硕士 研究方向|计算机视觉 项目主页: http://faculty.dlut.edu.cn/yexinchen/zh_CN/zdy ...
最新文章
- JAVA Functions in XI(转)
- 【组队学习】【33期】3. 李宏毅机器学习(含深度学习)
- 社群分享:涨粉的35个玩法和技巧
- 初识HTML流水笔记
- NYOJ-99 单词拼接(欧拉+回溯)
- 只知道大数据?你out了
- vue if判断_VUE学习记录2
- 常用加密算法的Java实现(一)
- linux虚拟arm环境环境,Ubuntu 模拟ARM开发环境
- 速修复!热门代码覆盖率测试工具 Codecov 的脚本遭恶意修改,敏感信息被暴露...
- 在装有windows跟ubuntu的机器上重新安装windows后修复ubuntu的grub
- 【Python】包管理工具pip
- c语言大作业超市系统设计,超市管理系统(C语言课程设计报告)
- python开三次方_python 三次方
- [bzoj 4939][Ynoi 2016]掉进兔子洞
- SystemGenerator:数字信号处理之开发准备、流程预演
- 原生Androidx86 7.1 移动硬盘 装机及卸载经验
- Linux 常用基本命令 ping ifconfig
- MP FILTRI FMP0394BAA6M25NP01
- [Reproduced]Jerry Stackhouse Calls LeBron James
热门文章
- Android Google 服务框架相关问题
- Zookeeper整理(一)- 写操作产生事件,写操作与Watcher对应关系
- 分享Css3设计---纯Css实现超酷的iphone玻璃气泡效果
- api.533.net 文章迁移计划
- 美国字节程序员吐槽:国内同事太卷了!工资买不起房,卷的意义是什么?
- 开会迟到,代码不规范,晚上八点半去健身,跟leader坐电梯自己先出去!某新入行程序员被疯狂吐槽!...
- 2021年你不能错过的DevOps趋势
- 推荐11个第2职业挣大钱的公众号!第5名一年涨8万粉丝!
- A站被黑,你应该做些什么?
- 值得分享!最新发现了10个冷门好用软件,一眼就会爱上