港中文提出全新点云上采样方法,破解自动驾驶感知难题
唐木 发自 天龙寺
量子位 报道 | 公众号 QbitAI
作为三维世界更为真实有效的表达,点云在近年来受到了学界和业界的广泛关注。激光雷达和深度相机的大规模应用也为点云的发展创造了丰富的数据条件。
但传感器获得的点云是包含噪声的非均匀稀疏坐标点,无法用现有处理图像的卷积网络直接处理。
在进行渲染、分析和理解之前,我们需要有效的手段对点云进行处理,提高点云数据的质量。
点云天然具有稀疏性和非规则性,对原始点云进行处理生产稠密、完整、均匀的点云上采样任务吸引了众多研究人员的目光。
这复杂的任务不仅需要在非完美输入数据的前提下有效上采样,同时还要补全缺失的空洞和间隙,并改善点云分布的均匀性。
目前已经有多种深度学习方法致力于加密点云提高点云的质量,包括PU-GAN,EC-Net和MPU等方法,但他们在面对极为稀疏和不规则的低质量点云输入时,还是无法恢复出有效的点云结果。
但提升点云的质量有着十分迫切的工业需求,是后续分析处理任务的重要保障。
来自港中文和特拉维夫大学的研究人员在今年的ICCV上提出了一种基于生成对抗的方法PU-GAN,将点云上采样、均匀化点云补全等修复任务集成在了一起,通过训练具有多样性点云生成能力的生成器和高效判别器实现了原始点云的修复和质量提升。
同时为了稳定的训练过程,PU-GAN中还利用up-down-up模块来实现点云特征拓展,并引入了自注意力机制来提升点云整合的质量,实现了点云的良好重建,在密度、完整性和均匀性上都达到了最先进的水平。
PU-GAN
点云上采样的主要任务是利用输入的原始稀疏点云生成与目标几何形状相同的稠密点云。
在PU-GAN的生成对抗架构中,生成器主要负责生成更为稠密的点云,而判别器则集中于识别出生成点云中的假样本,孤立生成器生成与目标几何形状更为接近、分布更为均匀、结果更为完整的点云。
整个模型主要分为了生成器和判别器两大部分,其中生成器包含了特征预抽取、特征拓展和点云生成模块;判别器则包含了pointnet的特征抽取器、自注意力单元和产出置信概率的多层感知机结构。
在生成器中,n*d点云输入网络后进入到特征预抽取模块。这里的点云可以是只包含空间坐标的三维点云,同时可以是包含颜色等丰富信息的更高维点云。
这里研究人员使用了基于稠密连接网络的方法对不同层次的点云特征进行抽取。随后这一抽取的点云特征F被传入到特征拓展模块进行上采样,以拓展出更为丰富的特征。
在特征拓展模块中,研究人员提出了一种up-down-up的拓展方法。这种方法首先将输入特征进行上采样,而后又下采样到与输入特征相同的维度上。
这时候计算新的下采样特征和先前的原始特征差异,并将这一差异再进行上采样得到拓展差异特征,并最终与第一步上采样的拓展特征相加得到最终的特征拓展输出。
这种类似残差的特征拓展方式不仅避免了冗长的多步骤训练,同时也提升了细粒度特征的生成能力。值得一提的是,在上采样操作中模型还针对每一个拓展特征引入了独特的二维矢量,为拓展后的特征提供了更丰富的信息。
最后经过拓展的特征通一系列多层感知机重建稠密点云。在生成更为均匀的稠密点云方面,在特征拓展阶段额外附加的两个维度和最远点采样器到了十分重要的全局作用。
在判别器中,研究人员首先采用了point completion network中的特征抽取结构,通过轻量化的模型结合了局部与全局模型。模型中进一步集成了自注意力单元来改善特征学习。自注意力单元提升了特征的整合和后续特征的抽取能力。
网络的有效训练离不开损失函数的引导。除了对抗损失外PU-GAN中引入了均匀化损失,通过计算生成点云的空间分布来获取局部与全局的均匀性指标,用于指导模型生成更为均匀的点云结果。下图展示了均匀化损失针对不同分布点云的计算结果,可以看到右侧均匀的点云损失较小。
最后为了鼓励生成接近目标表面的点云,PU-GAN使用了Earth Mover’s Distance作为重建损失函数。最终的损失函数包含了生成对看损失、均匀化损失和重建损失三部分。
稠密均匀完整的点云才是好点云
PU-GAN中使用了PU-Net、MPU以及来自Visionair的147个丰富的3D模型,针对其中的120个模型构建训练数据集。在每个三维模型上切分出了200个点云片共得到了24000个点云结果,此外还对样本进行了旋转、尺度和噪声扰动来增强数据。
△图像中左半部分显示了从模型中采样的种子点,以及采样点云片对应的稠密点云、稀疏点云。
从结果中可以看到,经过PU-GAN修复后的点云无论是在密度还是在均匀性、完整性上都超过了先前的方法。
这种方法得到的结果噪声更少、人工痕迹更少、包含了很多细节。特别是在细长物体的重建部分有着明显的优势。
在实验中,还利用不同噪声水平和稀疏程度的点云作为输入来评测模型的稳定性,下图中可以看到在不同噪声水平(左)和输入密度下(右)模型都能稳定的输出加密后的均匀、完整的结果。
对于自动驾驶的真实激光雷达数据,PU-GAN也可以有效补全孔洞并生成均匀的结果。下图可以看到稀疏的人体和车辆都被有效的重建出来,这对于自动驾驶中的识别算法十分有效,为算法准确感知提供了坚实的基础。
合作科研易出论文
PU-GAN的作者一共有五位,分别来自于港中文、特拉维夫大学、广东省计算机与虚拟现实重点实验室、深圳先进技术研究院。
在粤港澳大湾区协同发展的背景下,学术的交流和融合在高水平论文上不断呈现出新的成果。
一作Ruihui Li是港中文计算机系二年级博士生,在三作Chi-Wing Fu的指导下进行点云处理和视觉方面的研究。
二作李贤芝Xianzhi Li是港中文计算机工程系的即将毕业的博士,针对点云加密有着深入的研究,同时也是EC-Net和PU-Net等两片点云上采样论文的作者之一。导师是Pheng-Ann Heng 和Chi-Wing Fu.
三作Chi-Wing FU是港中文计算系的教授,主要研究方向集中于三维视觉、交互和数据可视化。主页上显示,今年他的团队有16篇论文被各个顶会接收,包括SIG Asia,ICCV,CVPR、PAMI等。
四作Daniel Cohen-Or是以色列特拉维夫大学的教授,主要在图形学、三维感知理解、计算机视觉方面进行深入研究,发表了多篇代表性的论文。
五作王平安是香港中文计算机系教授,并曾担任系主席和研究生负责人,同时也是中科院深圳先进技术研究院人机交互中心主任。
如果你对他们的研究感兴趣,请收好下面的传送门:
https://arxiv.org/abs/1907.10844
https://liruihui.github.io/publication/PU-GAN
— 完 —
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
港中文提出全新点云上采样方法,破解自动驾驶感知难题相关推荐
- 全能型AI!用通用预训练感知模型处理多模态多任务!商汤西交港中文提出:Uni-Perceiver...
关注公众号,发现CV技术之美 本文分享论文『Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zer ...
- 国科大港中文提出带视觉语言验证和迭代推理的Visual Grounding框架,性能SOTA,代码已开源!(CVPR2022)...
关注公众号,发现CV技术之美 本文分享 CVPR 2022 的一篇论文『Improving features Visual Grounding with Visual-Linguistic Verifi ...
- Apollo星火计划学习笔记——第六讲上自动驾驶感知基础(I)
文章目录 1. 感知的作用 2. 常见传感器 2.1 相机 2.1.1 相机的种类 2.1.2 相机的特点 2.2 激光雷达 2.2.1 激光雷达系统构成与方案 2.2.2 激光雷达光源 2.2.3 ...
- 英特尔提出了一个数学公式,以此证明自动驾驶汽车的安全性
该公式的目的旨在确保自动驾驶的车辆以负责任的方式运作,不会导致事故的发生. 在昨天于韩国首尔举办的世界知识论坛上,Mobileye首席执行官兼Intel高级副总裁Amnon Shashua教授提出了一 ...
- 17篇点云处理综述-点云语义分割、点云物体检测、自动驾驶中的点云处理……
三维点云是最重要的三维数据表达方式之一. 从技术角度看,在三维重建.SLAM.机器人感知等多个领域,三维点云都是最简单最普遍的表达方式,因为三维点云直接提供了三维空间数据,而图像则需要通过透视几何来反 ...
- 迪拜测试世界上首款自动驾驶出租车,距离2030年的自动驾驶目标又进一步
在接下来的几年内,该自动驾驶汽车将先在预定线路上行驶. 近日,迪拜公路运输管理局(RTA)的官员展示了两辆由美国Next Future Transportation公司在意大利制造的6人座方形汽车,被 ...
- 港中文自动驾驶点云上采样方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 Abstract Point clouds acquired fr ...
- 论文 | 港中文自动驾驶点云上采样方法
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :https://arxiv ...
- 上海AI Lab罗格斯大学港中文提出CLIP-Adapter,用极简方式微调CLIP中的最少参数!...
关注公众号,发现CV技术之美 本文分享论文『CLIP-Adapter: Better Vision-Language Models with Feature Adapters』,由上海AI Lab&a ...
最新文章
- 反射拷贝对象的思路:
- 在云中进行灾难恢复的五种有效方式
- 如何基于OceanBase构建应用和数据库的异地多活
- go语言中及格比较特殊的switch语法
- dwcs6连接不上access数据库_dw连接access数据库步骤
- java字符串除法函数,java – 函数式编程:如何处理函数式编程中的异常或它的等价物...
- [蓝桥杯2018决赛]三角形面积-数论
- directx修复工具win7_win7提示explorer.exe应用程序错误的解决方法
- TensorFlow 2.0深度学习案例实战
- linux运行nodejs一般路径_Linux上安装Nodejs
- 352.将数据流变成多个不相交间隔
- 西蔵高考成绩查询2021,2021西藏高考个人成绩排名查询,西藏高考成绩排名查询方式...
- 三菱plc分拣程序_基于三菱PLC控制的物料分拣系统设计与实现
- Fedora13装nividia驱动
- 朋友圈长文不折叠神器
- IOS 开发 手势使用
- 3.3V和1.8V电平双向转换
- 共享经济:团队共享VS个体共享
- 每天五分钟机器学习:如何使用单个神经元实现逻辑与、或的计算
- JAVA(JDK,JRE安装)