点云 3D 分割 - SqueezeSegV1、SqueezeSegV2、SqueezeSegV3

1. SqueezeSegV1 简介
- 1.1 文章信息
- 1.2 算法特点
- 1.3 算法摘要
- 1.4 参考资料
2. SqueezeSegV2 简介
- 2.1 文章信息
- 2.2 算法特点
- 2.3 算法摘要
- 2.4 参考资料
3. SqueezeSegV3 简介
- 3.1 文章信息
- 3.2 算法特点
- 3.3 算法摘要

1. SqueezeSegV1 简介

1.1 文章信息

（1）标题：SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud (ICRA 2018)

（2）文章链接：https://arxiv.org/pdf/1710.07368.pdf

（3）文章代码：https://github.com/BichenWuUCB/SqueezeSeg

（4）文章解析：点云 3D 分割 - SqueezeSeg（ICRA 2018）

1.2 算法特点

速度快

1.3 算法摘要

在本文中，我们讨论了从 3D LiDAR 点云中对道路对象进行语义分割的问题。特别是，我们希望检测和分类感兴趣的实例，例如汽车、行人和骑自行车的人。我们将该问题描述为一个逐点分类问题，并提出了一种基于卷积神经网络（CNN）的端到端管道称为 SqueezeSeg：CNN 将转换后的 LiDAR 点云作为输入，直接输出逐点标签匹配，然后通过一个条件随机场（CRF）进行细化，该随机场作为一个循环层来实现。然后通过传统的聚类算法获得实例级标签。我们的 CNN 模型是在 KITTI 数据集中的 LiDAR 点云上训练的，我们的逐点分割标签来自 KITTI 的 3D 边界框。为了获得额外的训练数据，我们在流行的视频游戏《侠盗猎车手V》（GTA-V）中构建了一个 LiDAR 模拟器，以合成大量真实的训练数据。我们的实验表明，SqueezeSeg 以惊人的速度和稳定的运行时间（每帧8.7±0.5毫秒）实现了高精度，非常适合自动驾驶应用。此外，对合成数据的额外培训可以提高对真实数据的验证准确性。我们的源代码和合成数据将是开源的。

激光雷达投影。注意，每个通道反映相机视图图像中的结构信息。

SquezeSeg的网络结构。

1.4 参考资料

参考文章原文和源代码，走读一遍，大概就清楚了，以下参考也可以了解。

参考资料

2. SqueezeSegV2 简介

2.1 文章信息

（1）标题：SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud (ICRA 2019)

（2）文章链接：https://arxiv.org/pdf/1809.08495v1.pdf

（3）文章代码：https://github.com/xuanyuzhou98/SqueezeSegV2

（4）文章解析：点云 3D 分割 - SqueezeSegV2（ICRA 2019）

2.2 算法特点

速度较快、精度较高

2.3 算法摘要

早期的工作证明了基于深度学习的点云分割方法的前景；然而，这些方法需要加以改进，以便实际有用。为此，我们介绍了一种新的模型SqueezeSegV2，该模型对 LiDAR 点云中的衰减噪声更具鲁棒性。凭借改进的模型结构、训练损失、批量标准化和额外的输入通道，SqueezeSegV2 在真实数据上训练时实现了显著的精度提高。用于点云分割的训练模型需要大量标记的点云数据，获取这些数据非常昂贵。为了避免收集和标注的成本，可以使用 GTA-V 等模拟器创建无限量的标记合成数据。然而，由于领域转移，基于合成数据训练的模型往往不能很好地推广到现实世界。我们通过一个域自适应训练管道来解决这个问题，该管道由三个主要部分组成：1）学习强度渲染，2）测地线相关对齐，3）渐进域校准。当在真实数据上进行训练时，我们的新模型显示分割精度比原来的 SqueezeSeg 提高了6.0-8.6%。当我们使用提出的领域适应管道在合成数据上训练我们的新模型时，我们对真实数据的测试精度几乎翻了一番，从29.0%到57.4%。我们的源代码和合成数据集将是开源的。

域转移的一个例子。将点云投影到球形表面上进行可视化（红色为汽车，蓝色为行人）。我们的领域自适应流水线改进了从（c）到（d）的分段，同时对合成数据进行了训练。

用于从3D LiDAR点云分割道路目标的SqueezeSegV2模型的网络结构。

2.4 参考资料

参考文章原文和源代码，走读一遍，大概就清楚了，以下参考也可以了解。

参考资料

3. SqueezeSegV3 简介

3.1 文章信息

（1）标题：Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation (ECCV 2020)

（2）文章链接：https://arxiv.org/pdf/2004.01803.pdf

（3）文章代码：https://github.com/chenfengxu714/SqueezeSegV3

3.2 算法特点

精度高

3.3 算法摘要

LiDAR 点云分割是许多应用中的一个重要问题。对于大规模点云分割，实际的方法是投影一个3D点云，得到一个2D LiDAR 图像，并使用卷积进行处理。尽管常规 RGB 图像和 LiDAR 图像之间存在相似性，但我们发现，在不同的图像位置，LiDAR 图像的特征分布会发生剧烈变化。使用标准卷积来处理这样的 LiDAR 图像是有问题的，因为卷积滤波器会拾取仅在图像中特定区域中活动的局部特征。因此，网络的能力没有得到充分利用，分割性能下降。为了解决这个问题，我们提出了空间自适应卷积（SAC），根据输入图像的不同位置采用不同的滤波器。SAC 可以高效地计算，因为它可以实现为一系列元素级乘法、im2col 和标准卷积。这是一个总体框架，因此之前的几种方法可以被视为 SAC 的特例。使用 SAC，我们构建了用于 LiDAR 点云分割的 SqueezeSegV3，并在 SemanticKITTI 基准上以相当的推理速度比所有先前发布的方法至少高出 3.7% 的 mIoU。

SquezeSegV3。投影LiDAR点云以生成LiDAR图像，然后通过空间自适应卷积（SAC）对其进行处理。网络输出逐点预测，该预测可以被恢复以标记3D点云。

点云 3D 分割 - SqueezeSegV1、SqueezeSegV2、SqueezeSegV3相关推荐

点云 3D 分割 - SqueezeSeg（ICRA 2018）
点云 3D 分割 - SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmen ...
三维点云语义分割【综述】 ——Deep Learning for 3D Point Clouds: A Survey
3D POINT CLOUD SEGMENTATION 3D Semantic Segmentation Projection-based Networks Point-based Networks ...
NeurIPS | 3D-BoNet：3D 点云实例分割的新框架
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文对牛津大学.DeepMind 等单位合作完成的论文<Le ...
3D-BoNet：比3D点云实例分割算法快10倍！代码已开源
点击我爱计算机视觉标星,更快获取CVML新技术本文转载自新智元(AI_era) 新智元报道来源:投稿编辑:元子 [新智元导读]本文提出了一种基于边界框回归的高效点云实例分割算法,通过最小 ...
史上最全 | 基于深度学习的3D分割综述（RGB-D/点云/体素/多目）
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[分割]术交流群后台回复[分割综述]获取语义分割.实例分割.全景分割.弱监督分割等超全 ...
论文阅读：PMF基于视觉感知的多传感器融合点云语义分割Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation
题目:Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation 中文:用于 3D LiDAR 语义分割的多传感器感 ...
三维点云语义分割总览
点云PCL免费知识星球,点云论文速读. 标题:三维点云语义分割总览作者:吉祥街欢迎各位加入免费知识星球,获取PDF文档,欢迎转发朋友圈,分享快乐. 希望有更多的小伙伴能够加入我们,一起开启论文阅读 ...
激光雷达：点云语义分割算法
作者 | 巫婆塔里的工程师@知乎来源 | https://zhuanlan.zhihu.com/p/412161451 编辑 | 焉知智能汽车 1. 前言之前的文章中介绍了基于LiDAR点云的物体 ...
大场景三维点云语义分割模型
大场景三维点云语义分割模型基于2D的方法 SqueezeSeg系列一.简介二.核心思路总结三.要点分析四.总结 VIASEG: VISUAL INFORMATION ASSISTED LIG ...

点云 3D 分割 - SqueezeSegV1、SqueezeSegV2、SqueezeSegV3

点云 3D 分割 - SqueezeSegV1、SqueezeSegV2、SqueezeSegV3

1. SqueezeSegV1 简介

1.1 文章信息

1.2 算法特点

1.3 算法摘要

1.4 参考资料

2. SqueezeSegV2 简介

2.1 文章信息

2.2 算法特点

2.3 算法摘要

2.4 参考资料

3. SqueezeSegV3 简介

3.1 文章信息

3.2 算法特点

3.3 算法摘要

点云 3D 分割 - SqueezeSegV1、SqueezeSegV2、SqueezeSegV3相关推荐

最新文章

热门文章