03 PF-Net: Point Fractal Network for 3D Point Cloud Completion
PF-Net: Point Fractal Network for 3D Point Cloud Completion
- 摘要
- 创新性
- 思路启发
- 网络结构
- 几点思考
- 参考资料
- 论文地址:https://arxiv.org/pdf/2003.00410.pdf
- 代码地址:https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git
- 论文类别:三维重建
摘要
本文提出了一种基于学习的点云分形网络(PF-Net),用于精确、高保真的点云完成。现有的点云完成网络在从不完整的点云中生成点云的整体形状过程中总是会改变现有的点,并且会产生噪声和几何损失,PF-Net有别于现有网络,它保留了不完整点云的空间布局,并能计算出在预测中缺失区域的详细几何结构。为了成功地完成这一任务,PF-Net利用基于特征点的多尺度生成网络,对缺失点云进行分层估计。此外,我们将多层生成损失和对抗损失相加,生成更为真实的缺失区域。在预测中,对抗性损失可以更好地处理多种模式。我们的实验证明了我们的方法在高挑战性的点云完成任务的有效性。
创新性
- 提出点云分形网络(PF-Net:Point Fractal Network),采用了类似分形几何的思想,同样以不完整点云作为输入,但是仅输出缺失部分点云,并且较好地保留了某个物体的个体特征。
- PF-Net 的修补对比其他网络具有以下优势:
(1)保留了输入点云独特的几何特性;
(2)细节特征更加丰富且柔和;
(3)生成点云整体的质量更高。
思路启发
传统的点云补完方法基于一定的物体基础结构的先验信息,如对称性信息或语义类信息等,通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。近年来,一些工作也尝试使用深度学习来实现点云补全,如 LGAN-AE,PCN, 和 3D-Capsule等,这些工作以不完整点云作为输入,输出完整点云,造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面,这些网络会生成偏向于某类物体共性特征的点云,而失去某个物体的个体特征。因此提出点云分形网络(PF-Net:Point Fractal Network),采用了类似分形几何的思想,同样以不完整点云作为输入,但是仅输出缺失部分点云,并且较好地保留了某个物体的个体特征。
网络结构
PF-Net 网络之所以可以大幅改善生成点云的效果,与 PF-Net 网络的特征密不可分。该网络的主要特征包括:
(1)以不完整点云作为输入,仅输出缺失部分点云,可以更多保留物体点云的空间结构,对物体的局部特性感知更好;
(2)提出了更优的点云特征提取器:多分辨率编码器(Multi-Resolution Encoder),多尺度的方法提升了高低层次点云语义信息提取的效率;
(3)提出了金字塔解码器(Point Pyramid Decoder)用于生成点云,利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成,从而减少了几何结构瑕疵。
(4)利用 GAN 结构的鉴别器(Descriminator)优化网络,改善了同一类别不同物体间的特征会相互影响的现象(Genus-wise Distortions Problem)。
几点思考
总体来说,PF-Net 实现了缺失点云数据下的精细补全,在不同缺失率和多个缺失位置的情况下的补全效果均较好,可以作为点云预处理方法,提高点云分割、点云识别的准确率。然而,目前点云领域并没有类似于 Imagenet 这样庞大的高质量真实数据集,在一定程度上制约了更复杂的点云处理算法的发展。点云数据可以简洁有效地描述三维物体,我们呼吁更多的人关注点云深度学习,共同建设点云深度学习的美好生态。
参考资料
- https://www.jiqizhixin.com/articles/2020-03-10-10
觉得有用可以关注我的公众号CV伴读社
03 PF-Net: Point Fractal Network for 3D Point Cloud Completion相关推荐
- PF-Net: Point Fractal Network for 3D Point Cloud Completion
PF-Net:用于三维点云补全的点分形网络 Abstract 在本文中,我们提出了一种点分形网络(PF-Net),一种新的基于学习的精确高保真点云补全方法.与现有点云补全网络不同,现有点云补全网络 ...
- SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
摘要 我们介绍了相似性组提议网络(SGPN),这是一种用于点云上3D对象实例细分的简单直观的深度学习框架. SGPN使用单个网络来预测点分组建议和每个建议的对应语义类,我们可以从中直接提取实例分割结 ...
- [点云补全]-Point Cloud Completion by Skip-attention Network with Hierarchical Folding
Point Cloud Completion by Skip-attention Network with Hierarchical Folding CVPR 2020 利用多级Folding结构和s ...
- 《3D Point Cloud Registration for Localization using a Deep Neural Network Auto-Encoder》读书笔记
3D Point Cloud Registration for Localization using a Deep Neural Network Auto-Encoder 题目:基于深度神经网络自编码 ...
- 【论文阅读】A Point Set Generation Network for 3D Object Reconstruction from a Single Image
论文题目: A Point Set Generation Network for 3D Object Reconstruction from a Single Image (由单张图像进行三维物体重建 ...
- RepNet:Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human PoseEstimation
RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimati ...
- 【论文阅读】Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
最近在看3d目标检测的文章,感觉看完东西还是要记一下自己的想法,尤其是有思考的文章. 论文题目:Point-GNN: Graph Neural Network for 3D Object Detect ...
- Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
- 点云补全综述 Comprehensive Review of Deep Learning-Based 3D Point Clouds Completion Processing and Analys
点云补全(点云完成)综述(Point Clouds Completion) By 人工智能社区 www.studyai.com Comprehensive Review of Deep Learnin ...
最新文章
- Java Web知识梳理
- Android 使用NineOldAndroids实现绚丽的ListView左右滑动删除Item效果
- 年薪50W+!懂这个的程序员就这么豪横!
- 天涯python_python 網絡爬蟲(一)爬取天涯論壇評論
- 3万亿巨大市场,难怪马云、刘强东要抢着去养猪
- 前端-requests-flask对应关系 HTTPDigestAuth
- 统计学习方法(—)——统计学习方法概念
- 从零开始利用vue-cli搭建简单音乐网站(四)
- 2019 蓝桥杯省赛 B 组模拟赛(一) 程序设计:后缀字符串 ( STL map 和 substr()函数的应用)
- linux下 常用的find命令
- break;continue语句
- iOS gzip解压
- UE4 Datasmith 材质
- SpringBoot打通微信公众号模板消息通知
- Could not resolve project
- 【C++】c++修改IE浏览器的Internet选项
- python偶数数列求和_Numpy 斐波纳契数列求和
- Enterprise Architect(简称EA)使用技巧
- Linux系统通过console口连接交换机
- 云计算时代的域名解析