Point attention network for semantic segmentation of 3D point clouds

Mingtao Fenga, Liang Zhangb, Xuefei Linc, Syed Zulqarnain Gilanid and Ajmal Miand*

年份：2020

期刊：Pattern Recognition

IF：7.196

1、创新

1）通过attention机制实现LAE-Convs 学习丰富的局部信息

2）point-wise spatial attention module学习点之间的上下文信息（全局信息）

这两种方式都是pointnet2缺少的，

1、pointnet2中的局部信息是通过简化版的pointnet实现的，最终聚合方式是采用的max函数，该方法对中心点周围的Kg个邻域点的权重在任意一个特征维度上都是[0,…1,…0]类似的排布。只采用最大的特征，而丢弃了其余的特征。

2、pointnet2没有对S个中心点的局部特征学习他们之间的关系，这对于同一个物体之间的信息没有办法相互加强。

2、具体实现

1）对于LAE-Convs（Local Attention-Edge Convolution）模块，不同于kNN和ballquery的邻域检索方式，采用了

multi-directional search method，在每一个方向内选取一个最近点，如果没有，就重复中心点。

选取完邻域点之后，构建局部坐标系（平移邻域点），然后对每一个邻域点计算一个edge-weight，将16个邻域点的特征（聚合）加权求和到中心点上。

对聚合后的中心点再使用一次MLP，得到一个的local feature

最后在对该local feature进行MLP，得到最终的lcoal feature。

该部分的算法如下：

2）对于LAE-Convs输出的特征，都是local feature，这个local feature 很容易被距离所影响，为了加强同一个label的点集之间的关联度，为了获得他们这些local pointcloud的感受野之间的信息，也就是global信息，作者提出了一种point-wise spatial attention module以获取长距离之间的信息，使得feature不再受距离的影响。

流程如下，可以看到这是一个标准的attention模型，前两个代表Q、K，第三个代表V，通过计算Q和K之间的相识度，来更新V的值。

相识度计算：

最终的特征计算：

3）网络结构：

还是经典的encoder-decoder模型

3、实验结果

1、Scan Net

消融实验

2、S3DIS

3、ShapeNet

2020-Point attention network for semantic segmentation of 3D point clouds相关推荐

Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images
论文阅读: Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images 作者声明版权声明:本文为博主原创 ...
Pyramid Attention Network for Semantic Segmentation
翻译 | 林椿眄出品 | 人工智能头条(公众号ID:AI_Thinker) 近日,北京理工大学.旷视科技.北京大学联手,发表了一篇名为 Pyramid Attention Network for S ...
论文Pyramid Attention Network for Semantic Segmentation笔记
该论文发表于2017CVPR,由北理工+旷视科技+北大共同完成论文传送门本人主要借鉴其中的思想在目标检测中的可行性,故不考虑语义分割相关的内容初次实现,如有不足之处,还请指出,谢谢! 名词解释 ...
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Abstract 在本文中,我们提出了一种新的联合实例和语义分割方法,称为JSNet,以同时解决3D点云的实例和语义分割.首先,我们建立了一个有效的骨干网络来从原始点云中提取鲁棒的特征.其次,为了获得 ...
(3DV 2017) SEGCloud: Semantic Segmentation of 3D Point Clouds
图 1:SEGCloud:3D点云被体素化并通过3D全卷积神经网络馈送,以生成粗略的下采样体素标签.三线性插值层将此粗略输出从体素转换回原始3D点表示.获得的3D点分数用于在3D全连接CRF中进行推理 ...
语义分割--(DFN)Learning a Discriminative Feature Network for Semantic Segmentation
Learning a Discriminative Feature Network for Semantic Segmentation Learning a Discriminative Featur ...
Dual attention network for scene segmentation
Dual attention network for scene segmentation 设计巧妙,但是没法解释方法的有效性 dual attention的思路太多了,这篇是应用在场景语义分割上. ...
【语义分割】DANet Dual Attention Network for Scene Segmentation
DANet(Dual Attention Network for Scene Segmentation)在语义分割领域多个数据集上取得了STOA的结果,值得大家关注. [废话两段] 由于之前没跑过语义 ...
[分割]Learning a Discriminative Feature Network for Semantic Segmentation(DFN)
本文转自3篇文章当作自己的笔记. 文章1:链接 Learning a Discriminative Feature Network for Semantic Segmentation Learning ...
论文笔记-SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentation
论文信息论文标题:SSF-DAN: Separated Semantic Feature based Domain Adaptation Network for Semantic Segmentat ...

2020-Point attention network for semantic segmentation of 3D point clouds

Point attention network for semantic segmentation of 3D point clouds

1、创新

2、具体实现

3、实验结果

1、Scan Net

2、S3DIS

3、ShapeNet

3、ShapeNet

2020-Point attention network for semantic segmentation of 3D point clouds相关推荐

最新文章

热门文章