详解3D点云分割网络 Cylindrical and Asymmetrical 3D Convolution Networksfor LiDAR Segmentation

2024-04-08 19:31:39

本文介绍一篇3D点云分割网络：Cylinder3D，论文已收录于 CVPR 2021。这里重点是理解本文提出的 Cylindrical Partition 和 Asymmetrical 3D Convolution Network。

论文链接为：https://arxiv.org/pdf/2011.10033.pdf

项目链接为：https://github.com/xinge008/Cylinder3D

0. Abstract

本文提出了新的3D分割网络：由圆柱坐标体素划分和非对称 3D 卷积网络组成。此外本文还引入了一个 point-wise 模块来改进体素块输出，提高辨识精度。

新的网络在两个大型室外场景数据集（SemanticKITTI 和 nuScenes）上进行了评估：在 SemanticKITTI 数据集上，新框架排名第一。在 nuScenes 数据集上，新方法的表现也大大超过了之前的方法。

1. Introduction & Related Work

引言部分作者介绍了点云分割的三种处理方式：投影为距离图像，直方体分割、圆柱分割，从下图可以看到，圆柱分割能够有效提高分割精度。

研究现状，作者介绍了：

室内场景点云分割 ：PointNet和聚类算法，不过室内场景点云数量比较少而且距离范围很小，很难适用于室外场景；
室外场景点云分割：将3D投影为2D将不可避免失去3D几何信息；
3D 体素分割 ：将点云划分为规则的体素，但是都忽视了点云的稀疏性和密度不均匀性；

2. Methodology （重点）

2.1 Framework Overview

网络框架如下图所示，由圆柱坐标体素划分、非对称3D卷积模块、点元素模块组成。

2.2 Cylindrical Partition

这里作者首先对比了直方体划分和圆柱体划分产生的非空网格比例情况，可以看到，距离越远时，圆柱体划分能产生更高比例的非空网格。

具体划分流程如右图所示，将直角坐标(x,y,z)(x,y,z)(x,y,z)转换为圆柱体坐标(ρ,θ,z)( ρ,\theta,z)(ρ,θ,z)，距离约远时，划分的网格就越大。同时使用MLP学习点云特征，最终得到的圆柱表示为 R∈C×H×W×L\mathbb{R} \in C \times H \times W \times LR∈C×H×W×L，这里CCC表示特征维度，HHH表示弧度，WWW表示角度，LLL表示高度。

2.3 Asymmetrical 3D Convolution Network

这里作者设计了非对称3D卷积块，如下图所示，由下采样和上采样块组成。

3. Experiments

首先对比了本文与其它分割算法在SemanticKITTI 和nuScenes数据集上的精度。

然后是对比实验，验证本文设计的各个模块对分割精度的提升。

最后是扩展实验，验证本文设计的模块对全景分割和物体检测性能的提升。

详解3D点云分割网络 Cylindrical and Asymmetrical 3D Convolution Networksfor LiDAR Segmentation相关推荐

万字详解什么是生成对抗网络GAN
摘要:这篇文章将详细介绍生成对抗网络GAN的基础知识,包括什么是GAN.常用算法(CGAN.DCGAN.infoGAN.WGAN).发展历程.预备知识,并通过Keras搭建最简答的手写数字图片生成案. ...
基于深度学习的点云分割网络及点云分割数据集
作者丨泡椒味的泡泡糖来源丨深蓝AI 引言点云分割是根据空间.几何和纹理等特征对点云进行划分,使得同一划分内的点云拥有相似的特征.点云的有效分割是许多应用的前提,例如在三维重建领域,需要对场景内的物 ...
前沿丨基于深度学习的点云分割网络及点云分割数据集
众所周知,点云的有效分割是许多应用的前提,例如在三维重建领域,需要对场景内的物体首先进行分类处理,然后才能进行后期的识别和重建.传统的点云分割主要依赖聚类算法和基于随机采样一致性的分割算法,在很多技术 ...
大盘点 | 基于深度学习的点云分割网络及点云分割数据集
编辑 | 深蓝前沿点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取后台回复[数据集下载]获取计算机视觉近30种数据集! 引言点云分割是根据空间.几何和纹理 ...
清华团队将Transformer用到3D点云分割上后，效果好极了
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 当Transformer遇上3D点云,效果会怎么样? 一个是当下最热门的模型(NLP.图像领域表现都不错),另一个是自动驾驶领域.机器人抓取 ...
清华团队将Transformer用到3D点云分割
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达当Transformer遇上3D点云,效果会怎么样? 一个是当下最 ...
清华团队将Transformer用到3D点云分割上后，效果好极了丨开源
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 当Transformer遇上3D点云,效果会怎么样? 一个是当下最热门的模型(NLP.图像领域表现都不错),另一个是自动驾驶领域.机器人抓取 ...
[论文阅读] (06) 万字详解什么是生成对抗网络GAN？经典论文及案例普及
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
收藏 | 清华团队将Transformer用到3D点云分割
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:量子位 AI博士笔记系列推荐周志华<机器学习> ...

最新文章

热门文章