DGCNN

1. 背景介绍

1.1 点云

点云（Point Cloud），顾名思义是很多2维或3维点的集合。
因为传感器获取的数据往往是点云形式，而将点云还原成图形再进行处理的方法消耗过大，所以直接利用点云进行操作的一类技术应运而生。目前点云相关的任务基本已经覆盖图像领域的大多数任务，如分类、分割等。

1.2 前期工作

1.2.1 CVPR2017 PointNet

之前针对3D点云数据处理的思路有两种：

将数据从高位空间投影到低维空间，在二维平面上处理
3D卷积

但降维方法对投影要求很高且必然会损失信息，3D卷积的方法复杂度过高，都不适合实际应用。由此，引出PonitNet

其设计思路是Share MLP + MaxPooling
通过MLP对点云中的每个点进行特征提取，在多层特征提取后使用MxPooling不同维度的特征进行聚合，得到全局特征。
对于分类任务，maxpooling后会输出分类预测分数，而对于分割任务，将全局特征与点云特征串联，用MLP输出点的分类结果。

缺点：PointNet作为一个早期的工作，只提供了点云处理的方法，直接使用感知机对所有点一起进行特征提取，没有考虑到局部特征的处理。

1.2.2 NIPS2017 PointNet++

为了解决PointNet的局限性，PointNet借鉴CNN的思路改进PointNet

借鉴CNN的思路，PointNet++提出了Sampling + Grouping + PointNet的网络结构

Sampling
因为点云中的点数量极其庞大，对所有点进行特征提取复杂度过高。故首先使用采样算法选取部分样本点，以这些点代表全部信息。（文中使用的是FPS最远点采样算法）
Grouping
参考CNN的结构，以样本点为中心（CNN像素点），以给定半径（卷积核大小）画圆，为后续的局部卷积做铺垫，这里每个点邻域的点个数可能不相同。
feature learning
由PointNet承担类似卷积的职能，将每个样本点及其邻域作为PonitNet的输入。

缺点：只能提取点的特征，忽视了点与点之间的关系

2 TOG 2019 Dynamic Graph CNN

2.1 创新点

针对之前工作只关注点特征，忽略点之间关系的问题。提出了EdgeConv，将点之间的关系融入到点云处理中
引入动态更新的图模型，能够有效的提升模型效果

效果：在点云分割、分类任务中取得了最优水平（2018）

2.2 EdgeConv边缘卷积

2.2.1 定义

设点云中有n个点，x=x1...xnx={x_1 ... x_n}x=x1...xn，使用KNN将xxx构造为图G=(V,E)G=(V, E)G=(V,E)，其中V=(1...n)V=(1...n)V=(1...n)，E∈V∗VE∈V*VE∈V∗V

设点xix_ixi与xjx_jxj之间的边缘特征为eije_{ij}eij，eij=h(xi,xj)e_{ij}=h(x_i,x_j)eij=h(xi,xj)，其中hhh为特征提取函数

2.2.2 EdgeConv

首先，如上图左图所示，计算点xix_ixi与其邻接点(之一的)xjx_jxj的边缘特征eije_{ij}eij，eije_{ij}eij一般来说是多维的。图中使用的是全连接的方法，而作者实际使用的是MLP。

然后，如上图右图所示，将于xix_ixi相邻的K个点，均按上述方法提取边缘特征eije_{ij}eij，最后通过Pooling等聚合函数进行聚合输出，更新xix_ixi的值。

其中，用xix_ixi与其邻域内点的边缘特征对样本点进行更新的过程被称为EdgeConv

EdgeConv的关键在于特征提取函数h函数的选择，之前工作提到的函数有：

2D场景下的卷积函数x′=∑θjxjx^{'}=\sumθ_jx_jx′=∑θjxj（卷积核）
PointNet中的全局特征h(xi,xj)=h(xi)h(x_i,x_j)=h(x_i)h(xi,xj)=h(xi)（只与自己相关，与邻域内其他点无关）
仅考虑局部特征h(xi,xj)=h(xi−xj)h(x_i,x_j)=h(x_i-x_j)h(xi,xj)=h(xi−xj)
结合上述2,3点的本文公式h(xi,xj)=h(xi,xj−xi)h(x_i, x_j)=h(x_i,x_j-x_i)h(xi,xj)=h(xi,xj−xi)

通过一系列的对比，文中采用h(xi,xj)=h(xi,xj−xi)h(x_i, x_j)=h(x_i,x_j-x_i)h(xi,xj)=h(xi,xj−xi)作为边缘特征提取函数，其公式解释为:
eijm=RELU(θm∗(xj−xi)+δm∗xi)e_{ijm}=RELU(θ_m*(x_j-x_i)+δ_m*x_i)eijm=RELU(θm∗(xj−xi)+δm∗xi)

2.3 动态图更新

DGCNN与图卷积方法的一个显著特征在于动态图更新的方法。因为工作中点的邻域是通过计算得出的，所以像GCN一样在网络的每一层使用相同的网络结构并不合理。实验证明，在每层特征空间中重新使用近邻算法计算采样点的领域并更新图模型，能够有效的提升网络效果。

直观来讲，在每层特征空间中重新计算点之间的距离，能够更好的让信息在相似的结构之间传播，加快局部语义信息的学习，如下图：

左：原始空间中的欧氏距离
中：全局变换后的距离
右：训练网络最后一层的距离
可以看到网络学习到了局部几何信息，说明方法学习到了长期语义信息。这个方法同样可以用于对点云中的点进行分组聚类

2.4 网络总览

3. 参考资料

[1] 刘永成博士的分享讲解视频 https://www.bilibili.com/video/BV1h4411E7jD?from=search&seid=9324077021637292312
[2] 参考博客 https://blog.csdn.net/weixin_39373480/article/details/88724518
[3] DGCNN原文 https://par.nsf.gov/servlets/purl/10124348
[4] 知乎DGCNN的相关资料若干

论文阅读点云动态图卷积(DGCNN)相关推荐

面向交通预测的动态图卷积循环神经网络：基准和方法（重磅推荐）
1.文章信息 <Dynamic Graph Convolutional Recurrent Network for Traffic Prediction: Benchmark and Solut ...
多尺度动态图卷积神经网络----Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classificati
一.摘要卷积神经网络(CNN)在表示高光谱图像和实现高光谱图像分类方面表现出令人印象深刻的能力.然而,传统的CNN模型只能对固定大小和权重的规则正方形图像区域进行卷积,因此不能普遍适用于具有不同对象 ...
[论文阅读] (10)基于溯源图的APT攻击检测安全顶会总结
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【第51篇】用于交通预测的时空交互动态图卷积网络
摘要 https://arxiv.org/abs/2205.08689 精确的交通预测对于城市交通控制.路线规划和流量检测都是至关重要的.虽然目前提出了许多时空分析方法,但在同步捕捉交通数据的时空依赖 ...
直播 | WWW 2021论文解读：论解耦图卷积网络和标签传播的等价性
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
【CV论文解读】AAAI2021 | 在图卷积网络中超越低频信息
论文解读者:北邮 GAMMA Lab 博士生薄德瑜题目: 在图卷积网络中超越低频信息会议: AAAI 2021 论文链接: https://arxiv.org/abs/2101.00797 图 ...
论文阅读（4）基于卷积神经网络的自适应颜色增强在皮肤深层病变分割中的应用
目录基于卷积神经网络的自适应颜色增强在皮肤深层病变分割中的应用摘要 1.引言 2.人工数据增强 2.1 颜色增强 2.2 空间增强 3. 网络结构 4.结果 5.讨论 5.1 色彩增强的有效性-- ...
（论文阅读）基于融合深度卷积神经网络的人脸识别方法研究-褚玉晓
一.基于融合深度卷积神经网络人脸识别方法设计 1.PCA算法提取人脸特征主要成分分析法(Principal Component Analysis,PCA) 第一步,计算人脸图像的平均值并执行归一化的 ...
论文阅读——学习与知识图交互背后的意图以供推荐
Wang X , Huang T , Wang D , et al. Learning Intents behind Interactions with Knowledge Graph for R ...

论文阅读点云动态图卷积(DGCNN)

DGCNN

1. 背景介绍

1.1 点云

1.2 前期工作

1.2.1 CVPR2017 PointNet

1.2.2 NIPS2017 PointNet++

2 TOG 2019 Dynamic Graph CNN

2.1 创新点

2.2 EdgeConv边缘卷积

2.2.1 定义

2.2.2 EdgeConv

2.3 动态图更新

2.4 网络总览

3. 参考资料

论文阅读点云动态图卷积(DGCNN)相关推荐

最新文章

热门文章

论文阅读 点云动态图卷积(DGCNN)

DGCNN

1. 背景介绍

1.1 点云

1.2 前期工作

1.2.1 CVPR2017 PointNet

1.2.2 NIPS2017 PointNet++

2 TOG 2019 Dynamic Graph CNN

2.1 创新点

2.2 EdgeConv边缘卷积

2.2.1 定义

2.2.2 EdgeConv

2.3 动态图更新

2.4 网络总览

3. 参考资料

论文阅读 点云动态图卷积(DGCNN)相关推荐

最新文章

热门文章

论文阅读点云动态图卷积(DGCNN)

论文阅读点云动态图卷积(DGCNN)相关推荐