点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

摘要 · 看点

在CVPR 2021上，商汤科技-南洋理工大学联合 AI 研究中心 S-Lab 提出了基于GAN逆映射的无监督点云补全方法：ShapeInversion。与已有的全监督方法相比，ShapeInversion首次将生成对抗网络(GAN)逆映射引入到点云补全中。利用GAN提供的先验知识，ShapeInversion不仅在已有的基线上媲美众多有监督方法，还展示了显著的泛化能力，对真实世界的残缺扫描和各种形式的残缺输入以及不完整程度给出了鲁棒的结果。同时，ShapeInversion提供一系列额外的功能，例如对有歧义的残缺点云提供合理的多解，以及对给定完整点云的编辑。

论文名称: Unsupervised 3D Shape Completion through GAN Inversion

Part 1 问题和挑战

点云补全任务是基于一个物体的残缺点云估计物体的完整形状。点云补全对诸多下游任务至关重要，例如三维场景理解，机器人导航等。大多数点云补全方法在很大程度上依赖于成对的残缺-完整点云，并以全监督方式进行学习。尽管它们在域内数据上的表现令人印象深刻，但泛化到其他形式的残缺点云或现实世界的残缺扫描时，由于域的差距（如下图a-d），往往无法获得令人满意的结果。另外，给定一个残缺点云，这些训练方法往往只输出唯一的完整点云，即使该残缺点云可能对应多个合理的完整形状（如下图e）。

Part 2 方法介绍

针对以上提出的问题，我们提出了一个新颖的框架ShapeInversion, 首次在点云补全任务中引入GAN逆映射。该方法充分利用预训练的GAN中的先验知识，并且不受残缺点云的域影响。如下图所示，一个潜码通过预训练的GAN生成一个完整点云，再通过一个三维降采样模块M转化为一个残缺点云，进而与输入的残缺点云计算损失函数。该框架利用梯度下降的方法反传损失函数来更新潜码并且微调预训练的GAN，从而使生成的完整点云与输入的残缺点云在课间部分最接近。

该框架成功点关键在于如何应对3D数据固有的特性所带来的挑战：

1. 提高点云均匀度- PatchVariance

动机：

不同于2D图片里固定的像素位置，3D点云数据具有极其非结构化的特性。因此，GAN生成的点云往往具有很差的均匀度，即点云不能均匀的分布在物体表面上。这种不均匀性可能引起一些空洞，进而影响点云的完整性。

方法：

我们提出一个新的均匀度损失函数，PatchVariance，用来GAN 预训练阶段提高点云的均匀度：我们在物体表面上随机选取n个点，利用k临近形成n个patch，再计算这n个patch密度的方差作为损失函数。

以tree-GAN为例，如下图所示，PatchVariance可以有效的提高生成点云的均匀度，从而得到更高质量的点云。

2. k-Mask – 三维的降采样模块

动机：类比GAN逆映射在2D 图像修复任务中的应用，我们需要一个降采样的mask把生成的完整点云转化成与输入点云对应的残缺点云。然而，点云不规则和无序的特性使得点云补全任务与图像修复有显著区别。在2D 图片修复中，图片之间的像素对应关系显而易见，所以我们可以很容易计算出可见部分的损失函数。而在点云补全任务中，得到两个点云的之间点的对应关系通常比较困难，因为两个物体的对应区域很有可能处在三维空间中的不同位置，这给三维中的降采样模块增加了挑战。另外，这种对应关系往往比较模糊，并且因不同点云而异。

方法：

我们因此提出了k-Mask来动态的获得输入的残缺点云和任意输出的完整点云的对应关系。具体而言，对于残缺点云中的每一个点，我们利用欧几里得距离找到该点在给定完整点云中的k个对应点—来解决点对应关系模糊的问题。由此，残缺点云中所有点的k个对应点的合集就构成了与输入残缺点云对应的输出残缺点云：

如下图所示，对比基于预设阈值的基线方法， 如voxel-Mask和 t-mask, k-Mask可以提供精确而鲁棒的三维降采样。

Part 3 实验结果

ShapeInversion在众多场景下却的了出色的表现。

首先，在ShapeNet基准上，ShapeInversion优于SOTA无监督方法，并可与用配对数据学习的有监督方法相媲美，如下表所示：

第二， ShapeInversion在真实世界的数据和多种残缺的形式下表现了很好的泛化能力。如下图表示的真实世界下的结果：

第三，当输入物体太过残缺因而产生不确定性，ShapeInversion可以提供多解，并且保证每个解都合理的反应残缺物体的可见部分：

第四，由于GAN的引入，ShapeInversion 能够很好的实现对已知点云形状的编辑，如下面两图的扰动和差值：

Part 4 总结

在本文中，我们提供了点云补全的无监督新框架ShapeInversion。该框架能够充分利用预训练中GAN的先验知识，并在多种残缺点云的域，包括真实残缺点云下取得令人满意的效果和泛化能力。由于预训练GAN的参与，ShapeInversion自然地实现了一系列额外的能力，例如为一个歧义的残缺输入产生多个合理的完整点云，以及对给定完整点云的编辑。

Part 5 作者介绍

张俊哲，新加坡南洋理工大学 S-Lab 和 MMLab@NTU 三年级博士生。师从吕健勤 (Chen Change Loy) 副教授和 Chai Kiat Yeo 副教授。当前主要研究兴趣包括三维重建和生成，点云补全等。

个人主页：https://junzhezhang.github.io/

项目主页

https://paul007pl.github.io/projects/VRCNet

论文地址

https://arxiv.org/abs/2104.10154

代码地址

https://github.com/paul007pl/VRCNet

实验室主页

https://www.mmlab-ntu.com/

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~