Stratified Transformer for 3D Point Cloud Segmentation

本文中的Stratified Transformer是基于Transformer的点云语义分割模型，

该模型由多个下采样层和Transformer模块组成，其中第一层的下采样层由Point Embedding模块替换。使用Point Embedding模块的目的在于，作者认为在Point Embedding模块中聚合点的局部信息有助于第一个Transformer块捕获query和key之间的高层关系。上下采样网络如下图所示：

SSA: Stratified Self-attention

和其他Transformer模块相同，作者计算了QKV三个权重，这三个权重的尺寸都为
其中，kt为第t个window中点的个数，Nh为head的个数，Nd为每个head的尺寸。

作者认为，由于每个query只关注自己窗口中的局部点，所以普通版本的Transformer块即使在窗口移位的情况下，有效接受域也有限，这会导致错误的预测。因此，作者提出了Stratified Key-sampling策略，如下图所示。

该策略将每个query的key采样分为两个分支：
第一个分支将空间划分为大小为Swin的windows，在其中寻找key_1；
第二个分支通过FPS进行下采样，使用更大的Swin_large来划分空间，并在其中寻找key_2，并将key_1和key_2合并。该模块有效的提高了模型的感受野，使得query feature可以有效聚合long-range上下文信息。

Contextual Relative Position Encoding

尽管Transformer块的输入已经包含xyz位置，但当网络变深时，细粒度的位置信息可能会在高层特征中丢失。为了更好地利用位置信息，作者采用了一种基于上下文的自适应相对位置编码方案。首先求query和key之间的相对位置：

为了将相对坐标映射到相应的位置编码，维护了三个可学习的查找表Tx，Ty，Tz。将相对坐标ri,j,m映射为表的索引：

其中Swin是是窗口大小，Squant为量化尺寸。通过查找table来检索对应的索引嵌入，然后求和得到的位置编码：

XYZ分别对应一个table。query,key和value的table不共享，因此有三组table。

Memory-efficient Implementation

内存的高效实现方法如上图所示。

CVPR2022点云语义分割：Stratified Transformer for 3D Point Cloud Segmentation相关推荐

Stratified Transformer for 3D Point Cloud Segmentation论文阅读笔记
任务概述通过注意力机制提取点云中点的特征,通过这个特征预测点云中点的类别. 论文创新点 1.Transformer结合U-net,融合不同尺度的点云特征. 2.提出一种分层注意力机制,较密集的近程点 ...
CVPR2020：4D点云语义分割网络（SpSequenceNet）
CVPR2020:4D点云语义分割网络(SpSequenceNet) SpSequenceNet: Semantic Segmentation Network on 4D Point Clouds 论 ...
深度学习点云语义分割：CVPR2019论文阅读
深度学习点云语义分割:CVPR2019论文阅读 Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning 摘要本 ...
17篇点云处理综述-点云语义分割、点云物体检测、自动驾驶中的点云处理……
三维点云是最重要的三维数据表达方式之一. 从技术角度看,在三维重建.SLAM.机器人感知等多个领域,三维点云都是最简单最普遍的表达方式,因为三维点云直接提供了三维空间数据,而图像则需要通过透视几何来反 ...
三维点云语义分割总览
点云PCL免费知识星球,点云论文速读. 标题:三维点云语义分割总览作者:吉祥街欢迎各位加入免费知识星球,获取PDF文档,欢迎转发朋友圈,分享快乐. 希望有更多的小伙伴能够加入我们,一起开启论文阅读 ...
一种高效的基于邻域空间聚合的点云语义分割不确定性估计方法(ICRA2021)
Neighborhood Spatial Aggregation based Efficient Uncertainty Estimation for Point Cloud Semantic Seg ...
CVPR2021|基于双边扩充和自适应融合方法的点云语义分割网络
Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion 1.M ...
[CVPR 2020] RandLA-Net:大场景三维点云语义分割新框架（已开源）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文由知乎作者Qingyong Hu授权转载,不得擅自二次转载.原文链接:https://zhuanl ...
利用深度学习的点云语义分割（一）
Semantic Segmentation of Point Clouds using Deep Learning ...
点云的密度曝光时间_200倍的提速！华人博士生提出大场景三维点云语义分割新框架...
[新智元导读]今天分享一篇被今年CVPR接收的论文.该文提出的算法可以高效处理百万量级的点组成的大场景3D点云,同时计算效率高.内存占用少,能直接处理大规模点云,不需要复杂的预处理/后处理,比基于图的 ...

CVPR2022点云语义分割：Stratified Transformer for 3D Point Cloud Segmentation

每日论文--CVPR2022

Stratified Transformer for 3D Point Cloud Segmentation

SSA: Stratified Self-attention

Contextual Relative Position Encoding

Memory-efficient Implementation

CVPR2022点云语义分割：Stratified Transformer for 3D Point Cloud Segmentation相关推荐

最新文章

热门文章