GRNet网络：3D网格进行点云卷积，实现点云补全

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

Gridding Residual Network for Dense Point Cloud Completion

主页：https://haozhexie.com/project/grnet

在点云分割方面，有一些方法尝试通过更通用的卷积操作来捕捉点云的空间关系。但是之前的方法都是基于一个强烈的假设，即输出点与输入点的三维坐标的相同，因此不能用于三维点云补全。

为了解决上述问题，我们引入3D网格作为中间的表征来规范化无序点云，从而明确地保留了点云的结构和背景。因此，我们提出了一种新的点云完成的网格化残差网络（GRNet）。除了3D CNN和MLP，我们设计了三个可微层。Gridding, Gridding Reverse, 和三次特征采样。在Gridding中，对于点云中的每个点，该点所在的三维网格单元的八个顶点先使用插值函数进行加权，该函数明确地测量了几何学上的点云的关系。然后引入了3D网格作为中间表示来规整无序点云，它明确地保留了点云的结构和局部关系。接下来，Gridding Reverse将输出的三维网格转换为粗点云，将每个三维网格单元替换为一个新点，其坐标为三维网格单元八个顶点的加权和。接下来的三次特征采样通过将该点所在的三维网格单元对应的八个顶点的特征进行串联，提取粗点云中每个点的特征。粗点云和特征送入到MLP，得到最终补全的点云。本文的贡献如下。

我们创新性地引入了3D网格作为中间表征来规范化无序点云，明确地保留了点云的结构和背景下的点云。
我们提出了一种新型的用于点云完成的网格化剩余网络（GRNet）。我们设计了三个可区分的层。Gridding, Gridding Reverse, and Cubic Feature Sampling, as well as a new Gridding Loss.
在ShapeNet、 Completion3D和KITTI基准上进行了广泛的实验，结果表明，所提出的GRNet与最先进的方法相比表现良好。

网格残差网络

GRNet 在以粗糙到精细的方式从不完整的点云中恢复完整的点云。它由五个部分组成，分别是网格化、3D卷积神经网络、反向网格化、立方特征采样和多层感知器，如图1所示。

网格化

3D卷积神经网络

逆网格化

三次特征采样

实验

作者在 ShapeNet、Completion3D 和 KITTI 三个数据及分别进行了实验，并且与 PCN 等方法进行了比较。在度量指标上，作者认为只用 Chamfer 距离不能客观的评价补全的点云，事实上 Chamfer 距离在数值上及时较低，预测的点云可能并没有一个很好的分布，因此作者同时考虑了用 F-Score 作为量化指标。

量化指标

数据集

ShapeNet：最初在 ShapeNet 数据集是 PCN 的工作，由来自8个类别的30,974个3D模型组成。真实值在网格表面上均匀采样 16,384个点。部分点云是通过反投影2.5D深度映射到3D。

Completion3D：Completion3D 实验机[11]由28,974个和800个样本分别进行训练和验证。与 PCN 方法的ShapeNet 数据集不同的是，真实点云上只有2,048个点。

在 ShapeNet 上可视化结果，最左边是输入，最右侧是 Groud Truth，倒数第二列是本文 GRNet 的结果。

KITTI：KITTI 数据集由现实世界的 Velodyne LiDAR扫描序列组成，也是从 PCN 中获得。对于每一帧，汽车是根据3D边界框提取的，从而获得 2,401个局部点云。KITTI中的局部点云非常稀疏，并且不有完整的点云作为真实值。在 KITTI 雷达扫描的可视化结果。

总结

本文研究了如何恢复完整的3D点云。补全工作的动机是用卷积保留3D点云的结构和局部信息。为此，作者引入3D网格作为中间表示以进行正则化无序的点云。然后，提出了网格残差网络（GRNet）进行点云。在 ShapeNet、Completion3D 和 KITTI 数据集进行了广泛的比较，并表明提出的 GRNet 与最先进的方法相比表现出色。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~