拉普拉斯算子属于卷积方法吗_三代图卷积网络理论

1、图卷积定义

炫云：从二维卷积经过图傅里叶变换到图卷积zhuanlan.zhihu.com

炫云：拉普拉斯矩阵的谱分解，谱图卷积，图卷积演变过程zhuanlan.zhihu.com

第一代图卷积

论文来源：《Spectral Networks and Deep Locally Connected Networks on Graphs》

第一代图卷积的计算方法就直接根据从二维卷积经过图傅里叶变换到图卷积中的（4）（6）推出

虽然利用上式已经可以构造深度网络进行图卷积运算了，但该版本有不少缺点：

没有local信息。每次卷积都是所有顶点都参与运算，没有实现局部卷积和参数共享。
运算量大。每次卷积都要进行拉普拉斯矩阵分解和矩阵相乘，计算复杂度为
。
参数量大。每个卷积核参数量为
。

第二代图卷积

文章来源：
《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》

针对第一代图卷积中存在的问题，学者基于切比雪夫多项式提出第二代GCN：ChbeyNet

首先回顾下图傅里叶计算公式：

可知函数和特征值密切相关，令

为拉普拉斯矩阵

的

特征值函数

：

以拉普拉斯矩阵的特征值作为卷积核同样存在缺陷：

不具备局部连接性；
时间复杂度为 O(n);

为了克服上述缺陷引入 K 阶多项式：

其中，参数

是多项式系数，因此滤波器具有了

阶局部性，复杂度也降低到

。

将式代入第一代图卷积式（1）中可得：

其中 σ 是激活函数，计算时间复杂度为

，因为对于静态图而言

是固定的，

可以提前计算得到。如果使用稀疏矩阵乘法（pytorch里有封装），时间复杂度是

其中

是稀疏矩阵中非零元的个数表示图中边的数量。此时计算图卷积就不需要再乘上特征向量矩阵 U，而是直接使用拉普拉斯矩阵 L 的 k 次方，就避免了进行特征分解。

因为

当

很大的时候并不稀疏（ |E| 接近

），所以文中提出了利用切比雪夫多项式展开（任何k次多项式都可以通过切比雪夫多项式展开）来近似

，切比雪夫多项式递归式为：

因此根据上式可知：

其中，

;

是指拉普拉斯矩阵L的最大特征值。

PS：因为切比雪夫多项式的输入要在 [−1,1] 之间，由于拉普拉斯矩阵的半正定性，所以所有的特征值都是大于等于 0 的，将其除以最大特征值可以将特征压缩到 [0,1] 区间内，现在需要将其压缩到 [−1,1]。

可以得到：

而

是

的

阶多项式，且有

，其中，

。

这样，我们就得到了第二代图卷积:

这个表达式为拉普拉斯多项式中的一个 k 阶近似函数，依赖于节点的 k 阶邻域（k 步可达），时间复杂度与边呈线形相关。

总结第二代图卷积优点如下：

运算量相比第一代的

可以降到

。
引入K-hop感受野，可以捕捉局部特征。

第三代图卷积

文章来源：《Semi-supervised Classification with Graph Convolutional Networks》

第二代图卷积解决了拉普拉斯矩阵特征分解的问题，但是在计算图卷积操作时矩阵乘法时间复杂度为

，在此基础上优化Kipf等人提出了目前流行的 GCN。

GCN 通过式（3）进行多层卷积层进行叠加，而每层都会逐点进行非线性叠加。考虑到时间复杂度问题，令

，也就是说得到了一个拉普拉斯算子的

二阶近似函数。既可以对网络进行卷积操作计算量增加不大。通过叠加层数可以提升模型的非线性。

归一化的拉普拉斯矩阵的特征值区间为 [0,2]，令

可得：

其中，

是切比雪夫系数且仅存的两个参数！

在GCN的训练过程中需要规范化参数避免过拟合，令

，由式可得：

注意

的特征值范围在 [0, 2] 之间，所以如果在很深的网络中会引起梯度爆炸的问题，需要再次进行一次归一化（Renormalization trick）：

把上式从标量推广到矩阵，对于输入顶点的向量

，其中 N 为节点数，C 为顶点的特征向量维度，可得：

其中，

是参数矩阵，

是卷积后的顶点特征，时间复杂度为

。

根据上式一层卷积，多层图卷积计算公式公式为：

其中，

，A 为邻接矩阵，

为单位矩阵，所以

为添加自连接的邻接矩阵；

，

为顶点的度数矩阵；

为神经网络第 l 层的权重矩阵；

是激活函数；

是第

层的激活矩阵，并且

，

是由顶点的特征向量组成矩阵。

总结第三代图卷积：

令K=1，相当于只考虑1-hop 邻点。通过堆叠层数来增加感受野。
每层计算复杂度降低为
。

总结

CNN 中的卷积无法直接应用于网络图中，所以引出了谱图理论和图中的傅里叶变换，进而定义图卷积的计算方法，最后结合深度学习发展出来 GCN。

参考：

拉普拉斯矩阵的谱分解，谱图卷积，图卷积演变过程

从二维卷积经过图傅里叶变换到图卷积

图卷积的通式