Adaptive Graph Convolutional Neural Networks

  • 1、Introduction1、Introduction1、Introduction
  • 2、Method2、Method2、Method
    • 2.1SGC−LLLayer2.1\ SGC-LL\ Layer2.1 SGC−LL Layer
      • 1.学习图Laplacian
      • 2.训练图更新的度量
      • 3.特征转换重参数化
      • 4. 残差图Laplacian
    • 2.2 AGCN网络
      • Graph Max Pooling层
      • Graph Gather层
      • 双边卷积核
      • 网络配置
      • 不同图的batch训练

1、Introduction1、Introduction1、Introduction

前人工作的不足之处：

  • 早期图CNN的缺点：数据低维，卷积核过于局部化，无法从复杂图中学习层次表示。
  • 现存图CNN的缺点：无法充分利用图的几何性质，因为很难设计能够匹配不同数量邻居的参数化空间核。此外，考虑到图的灵活性和参数的规模，为每一个独特的图学习一个定制的保留拓扑结构的空间核是不切实际的。
  • 共享卷积核。为了保证层输出的统一维数，必须调整输入的大小。然而，这种对图数据的预处理可能会破坏信息的完整性。如果图CNN能够接受不同图结构的原始数据样本就好了。
  • 输入到图CNN的数据要么有固有的图结构，要么通过聚类人为构建。在之前的图CNN中，初始图结构在整个训练过程中是被固定的。然而，很难去评估这个通过无监督聚类（或领域知识）得到的图结构对于监督学习任务是否是最优的。尽管利用全连接网络的有监督图构建已经被提出，他们的密集训练权重限制了图只能是小图。此外，由另一个独立网络学习得到的图结构并不能保证最适合图卷积。

本文图CNN的创新点：

  • 构建独有的图Laplacian：构建并学习batch中每个独立样本独有的残差Laplacian 矩阵，学习到的残差图Laplacian 将会被加到初始图中（聚类得到的或固有图）。
  • 学习图更新的距离度量：通过学习数据共享的最优距离度量参数，随着预测网络的训练，拓扑结构被更新。学习复杂度O（d2）O（d^2）O（d2）和尺寸无关。
  • 卷积中的特征嵌入：结点特征的转换是在卷积连接**intra-(类内)和inter-(类间)**结点特征之前完成的。
  • 接受灵活的图输入：本网络可以输入不同的图结构和尺寸，解锁了图的度。

2、Method2、Method2、Method

2.1SGC−LLLayer2.1\ SGC-LL\ Layer2.1 SGC−LL Layer

为了使谱卷积核在不同的图拓扑中真正可行，本文对距离度量进行参数化，使图Laplacian函数本身成为可训练的。利用训练后的度量，动态地构造不同形状和大小的输入样本的独有图。一种新的层利用自适应图构造的K-局域卷积核进行卷积。同时，对样本的图拓扑结构进行了更新，使训练损失最小化。新的具有图Laplacian学习的谱图卷积层称为SGC-LL。本节将介绍SGC-LL层的创新点。

1.学习图Laplacian

谱卷积核的k阶多项式

**这限制了卷积核的灵活性。**更重要的是，两个结点之间的相似度是由所采取的距离度量和特征域决定的。因此，很有可能两个相连结点之间的相似度比不相连的相似度要低，因此图结构不是最优的。
可能有两个原因：

  1. 图是在特征提取和转换之前的原始特征域上构建的。
  2. 图拓扑结构是固有的，它仅仅表示物理连接，如分子中的化学键。

为了打破这些限制，提出新的谱核，参数化LaplacianLaplacianLaplacian LLL来代替系数。给定原始LaplacianLLaplacian\ LLaplacian L，特征XXX和参数Γ\GammaΓ，函数F(L,X,Γ)F(L,X,\Gamma)F(L,X,Γ)输出更新后LLL的谱，卷积核表示为：

最后，SGC-LL层表示为：

用切比雪夫展开来计算kkk阶多项式Tk(L~)XT_{k}(\tilde{L})XTk​(L~)X .

2.训练图更新的度量

在图结构数据中，欧式距离就不好用了。这里的距离度量应该在训练中根据任务和特征可以随机应变。在度量学习文章中，算法分为有监督学习和无监督学习。由无监督方法获得的最好的度量能够最小化类内距，最大化类间距。对于有监督学习，目标是要找到能够最小化损失函数的度量。

此时，广义mahalanobismahalanobismahalanobis距离隆重登场。xix_ixi​和xjx_jxj​之间的广义mahalanobismahalanobismahalanobis距离表示为：

如果M=IM=IM=I，则退化为欧式距离。在本文模型中，M=WdWTdM=W_{d}{W^{T}}_{d}M=Wd​WTd​对称半正定矩阵，其中WdW_dWd​是SGC−LLSGC-LLSGC−LL层中可训练的权重之一（SGC−LLSGC-LLSGC−LL层只有三个可训练权重：这里的M(Wd)M(W_d)M(Wd​),重参数化里的WbW_bWb​，相当于转换到了可以计算欧式距离的空间。然后，用距离计算高斯核：

归一化GGG之后，A~\tilde{A}A~得到密集邻接矩阵。在模型中，最优度量W~d\tilde{W}_dW~d​能够建立最优的图LaplacianLaplacianLaplacian集L~\tilde{L}L~，使得预测损失最小化。

3.特征转换重参数化

为了建立类内和类间结点特征映射，在SGC−LLSGC-LLSGC−LL层中，引入转换矩阵和转置向量应用到输出特征上。输出特征重参数化表示为：

总之，在每个SGC−LLSGC-LLSGC−LL层，参数(Mi,Wi,bi){(M_i,W_i,b_i)}(Mi​,Wi​,bi​)具有的学习复杂度O(didi−1)O(d_id_{i-1})O(di​di−1​)，与图的大小和度无关。在下一个SGC−LLSGC-LLSGC−LL层，谱卷积核将会在不同度量的另一个特征域上建立。

4. 残差图Laplacian

大多数数据没有天然的图结构，所以在送入网络之前要给他们构造一个图结构，最常见的情况就是图是用无监督方法构造的，不能有效地对特定任务表达全部有意义的拓扑结构.

由于没有距离度量的先验知识，MMM随机初始化，可能收敛很慢。为了加速训练过程并且提高学习到的图结构的稳定性，本文提出合理的假设，最优图LaplacianLaplacianLaplacian L~\tilde{L}L~是最初LLL的一个小变换：

换句话说，最初的L已经包括了大量的有用图结构信息，但不包括那些由虚拟结点连接组成的子结构，这些虚拟结点连接不能直接从固有图中学习到。因此，本文就学残差图LaplacianLaplacianLaplacian
Lres=L(Mi,X)L_{res}=L(M_i,X)Lres​=L(Mi​,X)(iii表示第iii个samplesamplesample).
SGC−LLSGC-LLSGC−LL层完整操作如算法1所示：

2.2 AGCN网络

该网络被称为自适应图卷积网络（AGCN）（AGCN）（AGCN），因为SGC−LLSGC-LLSGC−LL层能够根据数据和学习任务的上下文有效地学习自适应图拓扑结构。除SGC−LLSGC-LLSGC−LL层外，AGCNAGCNAGCN还具有GraphMaxPoolingGraph\ Max\ PoolingGraph Max Pooling层和GraphGatherGraph\ GatherGraph Gather层。

Graph Max Pooling层

对于第vvv个结点特征xvx_vxv​，poolingpoolingpooling将第jjj维特征xv(j)x_v(j)xv​(j)替换成它的邻居结点和它自己的第jjj维特征中的最大值。N(v)N(v)N(v)是vvv的邻居结点，则vvv的新特征为:

Graph Gather层

图形收集层逐个元素地汇总了此处表示数据的所有顶点特征向量。聚集层的输出向量将用于graph−levelgraph-levelgraph−level预测。 如果没有图收集层，也可以训练AGCNAGCNAGCN并将其用于vertex−wisevertex-wisevertex−wise的预测任务（给定顶点上的标签）。 逐点预测包括图完成和社交网络上的许多预测。

双边卷积核

作用是防止过拟合。通过增强LLL的空间局部性，正则化SGC−LLSGC-LLSGC−LL的激活 。还用了BNBNBN层加速训练。

网络配置

AGCNAGCNAGCN包含了很多连续的组合层，其中的核心层就是SGC−LLSGC-LLSGC−LL. 一个组合层由一个SGC−LLSGC-LLSGC−LL层、一个BNBNBN层、一个GraphMaxPoolingGraph Max PoolingGraphMaxPooling层构成。残差图LaplacianLaplacianLaplacian就是在每个SGC−LLSGC-LLSGC−LL中被训练，在MaxPoolingMax PoolingMaxPooling中，适应图（固有图+残差图）被再次使用直到下一个SGC−LLSGC-LLSGC−LL，因为SGC−LLSGC-LLSGC−LL会做特征变换，所以下一个SGC−LLSGC-LLSGC−LL需要重新训练一个新的残差图。
经过一个组合层，图结构就被更新了，但图大小保持不变。任何的图粗燥化或者特征平均都会破坏具有有用信息的图局部结构的完整性，所以用了MaxPoolingMax PoolingMaxPooling并且不在卷积中跳过任何结点。测试是graph−wisegraph-wisegraph−wise预测任务。

不同图的batch训练

将卷积运用到图结构数据中的一个巨大挑战就是要匹配训练样本的不同局部拓扑结构：
1）造成了设计卷积核的额外困难，因为卷积核的不变性不适用于图，结点索引（node indexing）有时很重要；
2）调整图的大小或重塑图对一些数据来说不合理，比如分子。不同于图像和视频在张量上运用传统卷积，不同拓扑结构的兼容性对于图卷积而言非常有必要。
这里提出的SGC−LLSGC-LLSGC−LL层训练独立的图LaplacianLaplacianLaplacian，可以适应所有数据的局部拓扑结构。由于作者发现，正是特征空间和距离度量在构建图结构中起到重要作用，SGC−LLSGC-LLSGC−LL层仅需要batchbatchbatch里的所有样本去共享相同的转换矩阵和距离矩阵。此外，训练参数仅取决于特征维数。因此，AGCNAGCNAGCN接受训练batchbatchbatch包含不同的拓扑结构和大小的原图结构数据样本。注意，附加内存消耗会被初始图LaplacianLaplacianLaplacian所带来，需要在训练之前构建，并且仍然需要保留它们来更新核，然而，这是可接受的因为图LaplacianLaplacianLaplacian通常是稀疏的。

  • Adaptive Graph Convolutional Neural Networks

Adaptive Graph Convolutional Neural Networks相关推荐

  1. Graph Convolutional Neural Networks for Predicting Drug-Target Interactions

    1. 摘要 2. 数据集 DUDE数据集改进 DUDE-chemBl负样本数据集 最大无偏数据集(MUV) 3. 图构建 pocket graph molecuar graph 4. 口袋pretra ...

  2. Action Recognition Using Attention-Joints Graph Convolutional Neural Networks翻译

    对Action Recognition Using Attention-Joints Graph Convolutional Neural Networks(19年ieee上的一篇)这篇论文的翻译,可 ...

  3. Graph Convolutional Neural Networks for Web-Scale Recommender Systems（用于Web级推荐系统的图形卷积神经网络）

    Graph Convolutional Neural Networks for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT R ...

  4. Hyperbolic Graph Convolutional Neural Networks

    斯坦福出的,双曲空间上的GCN,有点抽象,但还是想啃啃. 原文地址:https://arxiv.org/abs/1910.12933v1 GCN将图上的节点映射到欧式空间,在映射无标度网络或分层结构时 ...

  5. Spectral-based graph convolutional neural network

    这里写自定义目录标题 Spectral-based graph convolutional neural network 1. 来自对<[A Comprehensive Survey on Gr ...

  6. [论]【DSTGCN】Dynamic SpatiotemporalGraph Convolutional Neural Networks for Traffic Data Imputation

    Dynamic Spatiotemporal Graph Convolutional Neural Networks for Traffic Data Imputation with Complex ...

  7. 论文翻译：Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks

    摘要: 抽象图卷积网络(GCNs)将神经网络推广到更一般的非欧几里得结构,在基于骨架的动作识别方面取得了显著的性能.但是,以往基于gc的模型仍然存在一些问题.首先,图形的拓扑被启发式地设置并固定在所有 ...

  8. (zhuan) Building Convolutional Neural Networks with Tensorflow

    Ahmet Taspinar Home About Contact Building Convolutional Neural Networks with Tensorflow Posted on a ...

  9. 【读点论文】Image Style Transfer Using Convolutional Neural Networks（将卷积特征图提取语义信息，融合内容和风格的做法）

    Image Style Transfer Using Convolutional Neural Networks 以不同风格呈现图像的语义内容是一项困难的图像处理任务.可以说,以前的方法的一个主要限制 ...

  10. Bag of Tricks for Image Classification with Convolutional Neural Networks（卷积神经网络在图像分类中的技巧）

    来源:Tong He Zhi Zhang Hang Zhang Zhongyue Zhang Junyuan Xie Mu L Amazon Web Services fhtong,zhiz,hzaw ...

最新文章

  1. 《Clojure数据分析秘笈》——2.6节调整词频值的度量
  2. uniq 去除重复命令使用方法介绍
  3. Android生命周期函数执行顺序
  4. 关于C语言中的Bool类型变量的一点看法
  5. 在Windows环境下用Editplus打造一个Python编辑调试环境
  6. 关于Java中static关键字的用法以及从内存角度解析
  7. 网络基础、多线程、ftp任务铺垫
  8. keras报错ModuleNotFoundError: No module named ‘keras.backend.tensorflow_backend‘；
  9. mysql读写分离实现_laravel 配置MySQL读写分离
  10. 吉林大学线性代数知识点及解题方法
  11. 你的格局决定你的结局
  12. win7电脑变身WiFi热点，让手机、笔记本共享上网
  13. 文科生学python简书_文科生Python教程（一）
  14. hdu 6609
  15. vue 项目中分别使用 vue-pdf 插件和内嵌 iframe 实现 PDF 文件预览，缩放，旋转，下载，保存等功能 ？
  16. Solr DIH使用说明
  17. 卸载oracle方法
  18. java同步锁售票_线程同步锁之火车站售票案例
  19. 使用idea搭建maven+ssm项目
  20. copyAWS 亚马逊云是什么，怎么发展起来的

热门文章

  1. Word里输入带框的对号
  2. 安卓框架访问QQ文件的路径miui13
  3. （HG模块，简洁明了）Hourglass Module介绍
  4. shell grep正则匹配汉字
  5. LeetCode简单题之三除数
  6. OAI配置eNB时error解决
  7. 拔丝芋头的Java学习日记---Day10
  8. 美国HEKA发布全球第一款人工智能床垫
  9. 使用Echarts制作散点图
  10. Unity 性能优化之合批