Continuous Graph Neural Networks

Abstract

\qquad本文在GNN和传统动力学系统之间建立了联系。我们提出了continuous graph neural networks (CGNN)，它利用离散动力学概括现有的图形神经网络，因为他们可以被看作是a specific discretisation scheme。
\qquadkey idea是怎样描述节点表示的连续动态，即，节点表示关于时间的导数。
受现有的 diffusion-based methods on graphs (e.g. PageRank and epidemic models on social networks) 的启发，我们将导数定义为当前节点表示、节点邻居表示、所有节点初始值的组合。
\qquad我们分析了图上的两种可能的动力学演化）—— 包括节点表示每个维度独立地、相互影响地变化 —— 均有理论依据。
\qquad所提出的连续图神经网络在 over-smoothing ，因此允许我们构建更深层次的网络，进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法与基线方法对比的有效性。

1. Introduction

\qquadGraph neural networks (GNNs) 由于他们的简易性simplicity 和在各种各样应用中的有效性（例如节点分类、链路预测、化学性质预测、自然语言理解）引起了越来越多的关注。GNN 的 essential idea 是建立多个图传播层来聚合来自邻居节点的节点表示和节点自身表示的信息，迭代更新每个节点。在训练过程中，很少的层数（2或3）就足以满足大多数任务，并且层数越多性能反而越差。
\qquad一个提升GNNs的主要方法是建立更深的网络来学习data和output labels之间更复杂的关系。GCN propagation layer 平滑节点表示，即图中相邻的节点的表示变得比较相似。当堆叠层过多时，可能会导致over-smoothing。因此，减轻 node over-smoothing 的影响是很重要的，来防止节点表示收敛到相同的值。
\qquad此外，提高我们对 GNN 的理论理解，使我们能够从图结构中描述我们可以学习的信号，这是至关重要的。近期的在理解GCN方面的工作将GCN看做是由discrete layers定义成的a discrete dynamical system。此外，Chen et al. (2018) 证明了使用离散层并不是构建神经网络的唯一 perspective 。他们指出，带有剩余连接的离散层可以被视为a continuous Ordinary Differential Equation (ODE) 的离散化。他们表明，这种方法具有更高的记忆效率，并且能够更平滑地建模隐藏层的动态。
\qquad我们受 diffusion based methods 的启发从连续的视角提出一种新的传播方案，用 ODE 工具进行分析。我们可以解释我们的模型学习了什么表示，以及它为什么不会出现GNNs中常见的over-smothing问题。这就允许我们在高效利用时间的情况下建立 “ deeper ” 的网络。导致 over-smothing 的主要因素是 the use of a restart distribution 在一个 Continuous setting，最原始由 Pagerank 提出。直观上，restart distribution 有助于不漏掉邻接矩阵的低幂次信息，从而使模型收敛到有意义的平稳分布。
\qquad本文的主要贡献为：
\qquad 1、我们提出了两个连续ODEs来提高模型的性能，受PageRank和基于扩散方法的启发。
\qquad 2、我们从理论上分析我们这一层学习到的表示，随着 t→∞t \to \inftyt→∞ 我们的方法可以收敛到 a stable fixed point ，它捕获了图的结构以及原始的节点特征。由于随着 t→∞t \to \inftyt→∞ 趋于稳定，我们的网络可以有无限数量的“layer”，可以学习到长程依赖。
\qquad 3、我们证明了我们的模型是内存高效的，并且对t的选择是健壮的。进一步，我们的方法超过了基线方法。

2. Preliminaries

\qquad G=(V,E)G=(V,E)G=(V,E) 定义为顶点 VVV 和顶点 VVV 之间的边 E⊆V×VE \subseteq V \times VE⊆V×V 构成的图。在graph machine learning 中使用邻接矩阵 AdjAdjAdj 作为可选择的特征很common。给定一个节点序列 π\piπ 和一个图 GGG，邻接矩阵 Adj∣V∣×∣V∣Adj^{|V|\times|V|}Adj∣V∣×∣V∣ 中的元素通过边集 EEE 定义：

由于节点的度各不相同，我们通常对邻接矩阵进行规范化
其中 DDD 是 AdjAdjAdj 的度矩阵。这种归一化邻接矩阵总是具有特征值分解，特征值在区间 [−1,1][-1,1][−1,1] 内，负特征值会使图学习算法在实际应用中不稳定，所以我们采用 Kipf and Welling (2016) 的方法，利用下面的正则化矩阵来描述图结构：

其中 α∈(0,1)\alpha \in (0,1)α∈(0,1) 是一个超参数，AAA 的特征值在 [0,α][0, \alpha][0,α] 内。
\qquad 给定矩阵 A∈R∣V∣×∣V∣A \in \Bbb{R}^{|V|\times|V|}A∈R∣V∣×∣V∣ 来表示图结构，和一个节点特征矩阵 X∈R∣V∣×∣F∣X \in \Bbb{R} ^ {|V| \times |F|}X∈R∣V∣×∣F∣ ,其中 ∣F∣|F|∣F∣表示节点特征的数量，我们的目标是学习一个节点表示矩阵 H∈R∣V∣×dH\in\Bbb{R} ^ {|V|\times d}H∈R∣V∣×d，其中ddd是表示的维度，HHH 的第 k 行表示序列 π\piπ 中第 k 个节点的表示。

\qquad 本文的连续ODE指的是下列形式的方程

其中，xxx 可以是标量、向量值或矩阵值，fff 是函数，我们将使用参数化的方法来定义hidden dynamic。Chen et al. (2018) 展示了我们如何通过这样的ODE方程反向传播，并因此将其用作神经网络的基石。

3. Related Work

Neural ODE
\qquad Neural ODE (Chen et al.， 2018)是一种在 hidden representation 上建模连续动态的方法，其中动态通过一个由神经网络参数化的ODE来描述。但是，这些方法只能处理非结构化数据，其中不同的输入是独立的。我们的方法以一种新颖的方式将其扩展到结构化数据的图。
GNNs
\qquad 我们采用 continuous dynamical systems 来建模节点表示的连续动力学。此外，我们的模型不存在over-smothing问题，因为当 t→∞t \to \inftyt→∞ 我们的模型收敛到一个有意义的表示（fixed point）。
\qquad 近期研究一个解决方案是在GCN层前加一个残差连接 residual connection (Avelar et al., 2019) 或者将每一层进行串联 (Wijesinghe and Wang, 2019; Luan et al., 2019; Xu et al., 2018; Dehmamy et al., 2019)。后一种方法不能扩展到非常深的网络，因为表示的规模越来越大。Chen et al. (2018) 将GCN层前的残差连接变为 continuous ODE 引起了很多关注 (Deng et al., 2019; Avelar et al., 2019; Zhuang et al., 2020; Poli et al., 2019)。我们能够为ODE提供一个理论证明，并且节点表示不会随着网络的深度而增长。
\qquad 大量的工作集中在更好地理解GCN和相关架构的理论属性上(Oono and Suzuki, 2020; Dehmamy et al., 2019; NT and Maehara, 2019)。Dehmamy et al. (2019) 指出为了学习到图的拓扑结构一定要研究 graph moments —— 一个 AdjAdjAdj多项式的综合平均值（ensemble average）。他们表明GCN只能学习 specific power 图的 graph moments。为了解决这个问题他们将 feature maps (output) 连接为[h(1),h(2),...,h(n)][h^{(1)},h^{(2)},...,h^{(n)}][h(1),h(2),...,h(n)] .Oono and Suzuki (2020) 表示深层的GCNs以指数级损失表达能力，展示为在极限情况下，当层数趋于无穷大时，节点表示被投影到 nullspace of the Laplacian 中，这意味着在相同连通分量上具有相同度的两个节点将具有相同的表示。与之对应，我们提出了一个连续的动力系统，它不会受到这个问题的困扰、并且当 t→∞t \to \inftyt→∞ 时得以证明。NT和Maehara(2019)致力于解释GCN (Kipf和Welling, 2016)和SGC (Wu et al.， 2019)在公共引文网络方面的假设。我们的工作跟进现有的文献，通过使用Neural ODE框架来提供一个 novel intuition 来解决表达能力的缺失。我们通过提出和分析我们的具体解决方案来做到这一点。
Concurrent work
\qquad 一些类似的工作也有相同的想法；(Poli et al., 2019) 提出了一种将GCN视为连续向量场，并且结合了离散和连续层。其他的工作(Deng et al., 2019; Zhuang et al., 2020)使用了Neural ODE framework 并且使用2层或是3层GNN参数化导数方程，我们开发了一个连续的消息传递层，并没有使用离散的深度神经网络来参数化导数。相反，我们从基于扩散的方法中激活ODE，并从理论上证明我们的方法如何帮助解决 over-smothing 以及节点之间的 long-range connections。

4. Model

\qquad 目标是学习对节点分类任务有用的节点表示 H∈R∣V∣×dH\in\Bbb{R}^{|V|\times d}H∈R∣V∣×d。我们首先使用一个 neural encoder 根据节点的特性将每个节点投影到 latent space 中，即
然后，EEE 就被视为初始值 H(0)H(0)H(0)，一个ODE被设计为用来定义节点表示的连续动力学，其中的节点之间的长时依赖关系可以有效地建模。最后，在结束时刻 t1t_1t1 获得的节点表示 H(t1)H(t_1)H(t1) 可以被用于解码器 D\mathcal{D}D 的下游任务。图1总结了整个模型架构。

\qquad 该框架的关键步骤是设计一个有效的ODE来定义节点表示的continuous dynamics，从而对节点的依赖性进行建模。我们基于现有的基于扩散的图论方法设计了两个这样的ODE模型来增加模型的能力。在第一个ODE中，节点表示的每个特征通道(即维数)独立演化(见第4.1节)，而在第二个ODE中，我们还对不同特征通道的相互作用进行建模。

4.1. Case 1: Independent Feature Channels

\qquad由于图中的不同节点是相互连接的，一个理想的ODE应该考虑到图的结构，并允许信息在不同的节点之间传播。基于现有的基于扩散的图形方法(如PageRank (Page et al.， 1999)和标签传播(Zhou et al.， 2004))，描述传播过程的一种有效方法是使用以下逐步传播方程：

其中 Hn∈R∣V∣×dH_n\in\Bbb{R}^{|V|\times d}Hn∈R∣V∣×d是第nnn步所有节点的表示矩阵，并且 H0=E=E(X)H_0=E=\mathcal{E} (X)H0=E=E(X) 是由编码器 E\mathcal{E}E 计算得到的表示矩阵。直观上，在n+1n+1n+1 阶段每个节点通过 AHnAH_nAHn 从它的邻居学习节点信息，并且记忆了 H0H_0H0 中它自己的 node features。这允许我们在不忘记原始节点特征的情况下学习图的结构。可以推导出式4的显式公式：

\qquad这里我们看到第 nnn 步的表示 HnH_nHn 合并了传播到第 nnn 步的所有信息和初始表示 H0H_0H0。
由于公式(5)中离散传播过程的有效性，我们的目的是通过用连续变量 t∈R0+t\in\Bbb{R}_0^+t∈R0+ 替换 nnn 来扩展这个过程到连续的情况，进一步使用ODE来描述这种 continuous propagation dynamic。直观地，我们将Eq.(5)中的求和看作从时间 0 到时间 t=nt = nt=n 的积分的黎曼和，它允许我们自然地从离散传播过程转换为连续情况，如下命题1所示。

Proposition 1
\qquad公式（5）中的 discrete dynamic ，其中 AAA 进行了特征值分解，是以下ODE的离散化：

初始值为 H(0)=(lnA)−1(A−I)EH(0)=(ln A)^{-1}(A-I)EH(0)=(lnA)−1(A−I)E 其中 E=E(X)E=\mathcal{E} (X)E=E(X)是编码器 E\mathcal{E}E 的输出。

\qquad我们在补充材料中提供了证明。在实践中，Eq.(6)中的 lnAlnAlnA 难以计算，因此我们使用一阶泰勒展开来近似，即 lnA≈(A−I)ln A \approx (A-I)lnA≈(A−I)，这给了我们：

\qquad初始值 H(0)=EH(0)=EH(0)=E。这是我们在CGNN模型中使用的ODE。Eq. 7中定义的ODE直觉上可以从传染病模型的角度来理解。传染病模型的目的是研究种群中的 the dynamics of infection in a population。通常，该模型假设人的感染受到三个因素的影响，即来自邻居的感染、人的自然恢复（natural recovery）和人的自然体质。
\qquad假设我们将 latent vectors H(t)H(t)H(t) 视为 ttt 时刻一个群体的感染条件（infection conditions），然后三种因素可以很自然的使用 3个term表示：AH(t)AH(t)AH(t) 表示来自邻居的影响， −H(t)-H(t)−H(t) 表示自然恢复（natural recovery），EEE 表示自然体质（natural physique）。因此，种群中的感染动态可以用一阶ODE直观地建模，即Eq.(6)，表明我们的ODE在直觉上与传染病模型一致。
\qquad我们使用的ODE在理论上是可以理解的。特别的， ttt时刻矩阵H(t)H(t)H(t)的节点表示存在解析形式，在 Proposition 2 中形式化描述为：

Proposition 2
\qquad式(7)中定义的ODE的解析解为：

我们在补充材料中证明了这个命题。在这个命题中，因为 A−IA-IA−I 的特征值的取值范围为 [-1, 0)，随着 ttt 趋向于 ∞\infty∞ ，指数项 e(A−I)te^{(A-I)t}e(A−I)t 会趋向于0，即 lint→∞e(A−I)t=0lin_{t\to\infty}e^{(A-I)t}=0lint→∞e(A−I)t=0。因此对于足够大的 ttt 我们可以将 H(t)H(t)H(t) 近似为：

\qquad因此，H(t)H(t)H(t) 可以被看作是不同顺序的传播信息的总和（即，{AiE}i=1∞\lbrace A^iE\rbrace ^\infty_{i=1}{AiE}i=1∞）。通过这种方式，我们的方法本质上拥有无限个离散传播层，相比于GNN可以更有效地建模节点间的依赖关系。

实现 Implementation
\qquad在节点分类任务中，我们的计算 node-label matrix Y=D(H(t1))Y=\mathcal{D}(H(t_1))Y=D(H(t1)) 的解码器 D\mathcal{D}D 是一个使用了ReLU激活函数的 softmax 分类器(Nair and Hinton, 2010)。
\qquad注意公式（2）中的参数 α\alphaα 决定了 AAA 的 eigenvalues，从而决定了 AAA 的高阶幂趋近于0的速度。同时，通过指定每个节点的 α\alphaα 我们可以控制每个节点从关注的邻域的大小，因为较小的值意味着一个节点的幂消失的快。在我们最终的模型中我们学习了这些参数 α\alphaα。

4.2. Case 2: Modelling the Interaction of Feature Channels

\qquad 到目前为止，ODE独立地对不同的特征通道(即隐状态表示的维度)建模，其中不同的通道不能相互交互，因此ODE可能无法捕获图的正确动态。为了允许不同功能渠道之间相互作用，我们受到一个成功的GCN线性变体(即简单GCN (Wu et al.， 2019))的启发，并考虑 a more powerful discrete dynamic：

\qquad 其中，KaTeX parse error: Undefined control sequence: \timesd at position 15: W\in\Bbb{R}^{d\̲t̲i̲m̲e̲s̲d̲} 是一个权重矩阵。本质上，利用 WWW，我们可以建模传播过程中不同 feature channels 的相互影响，这增强了模型的能力，并允许我们更有效地学习节点的表示。
\qquad 与上一节类似，我们将Eq.(10)中的离散传播过程扩展到连续情况，将每个 HnH_nHn 看作从时间 0 到时间 t=nt = nt=n 的积分的黎曼和，从而得出以下命题：
Proposition 3
\qquad 假设 A,WA,WA,W 的特征值分解分别为 A=PΛP−1A=P\Lambda P^{-1}A=PΛP−1 和 W=QΦQ−1W=Q\Phi Q^{-1}W=QΦQ−1，然后公式（10）中的 discrete dynamic 可以是一个下列ODE的discretisation：

其中，E=E(X)E=\mathcal{E}(X)E=E(X)是编码器 E\mathcal{E}E 的输出，并且初始值 H(0)=PFQ−1H(0)=PFQ^{-1}H(0)=PFQ−1，其中：

其中，
补充材料中提供了证据。通过一阶泰勒近似消去矩阵对数，进一步得到：

\qquad 初始值为 H(0)=EH(0)=EH(0)=E 。这是我们在带权重的CGNN模型中使用的ODE。Eq.(13)中形式的ODE已经在控制理论文献中进行了一些详细的研究，它们被称为 Sylvester微分方程 (Locatelli, 2001; Behr等人，2019)。直观上，EEE 可以是系统的输入，其目的是让系统 HHH 收敛到期望的状态 H(t)H(t)H(t)。矩阵 A−IA-IA−I 和 W−IW-IW−I 描述了系统的自然演化。Eq.(13)中的ODE也具有吸引人的理论性质。具体地说，H(t)具有如下Proposition 4所示的性质：

Proposition 4
\qquad 假设 A−IA-IA−I、W−IW-IW−I 的特征值分解为 A−I=PΛ′P−1A-I=P\Lambda 'P^{-1}A−I=PΛ′P−1 和 W−I=QΦ′Q−1W-I=Q\Phi' Q^{-1}W−I=QΦ′Q−1，所以公式（13）中ODE的解析解为：

\qquad 其中，F(t)∈R∣V∣×dF(t)\in\Bbb{R}^{|V|\times d}F(t)∈R∣V∣×d 的每个元素定义如下：

\qquad 其中，E~=P−1EQ\tilde{E}=P^{-1}EQE~=P−1EQ。
\qquad 我们在补充材料中证明了这个命题。根据 AAA 的定义和我们对 WWW 的假设，A−IA-IA−I和W−IW-IW−I的特征值在(−1,0)(-1,0)(−1,0)范围内，因此对任意的 iii 有 Λi,i′<0\Lambda'_{i,i}<0Λi,i′<0，对任意的 jjj 有 Φi,i′<0\Phi'_{i,i}<0Φi,i′<0。因此我们增加 ttt 到 ∞\infty∞，指数项会趋近于0，因此当 ttt 足够大时，我们可以近似 H(t)H(t)H(t) 为:

\qquad 由上述结果可知，如果 W=IW = IW=I，则 H(t)H(t)H(t) 将收敛于与Eq.(9)相同的结果，因此Eq.(6)中定义的ODE是Eq.(11)中ODE的特例。

Implementation
\qquad 当 W=IW = IW=I 时，我们使用相同的解码器。

\qquad 在实际应用中，将 WWW 变换为所有特征值都小于1的可对角矩阵，我们将 WWW 参数化为 W=Udiag(M)UTW=U diag(M)U^TW=Udiag(M)UT，其中 U∈Rd×dU \in \Bbb{R}^{d\times d}U∈Rd×d 是一个可学习的正交矩阵，M∈RdM\in\Bbb{R}^dM∈Rd是一个可学习向量，描述W的特征值。
在训练时，我们控制 MMM 的值，保证它们在(0,1)(0,1)(0,1)。为了确保 UUU 是一个正交矩阵，我们遵循之前的工作(Cisse et al.， 2017; Conneau et al.， 2017)，并在培训中每次 main update 后对 UUU 进行 secondary update：

\qquad 其中，β\betaβ是一个超参数， secondary update 使得每次训练步之后 UUU 更接近于 the manifold of orthogonal matrices。最后，为了帮助稳定训练，我们使用了(Dupont et al.， 2019)的思想，只在 continuous propagation process 中为隐藏状态表示添加 auxiliary dimensions。Specifically, we double the latent representation initialising the second half of the initial representation with 0 and throwing the result away after solving the continuous ODE.这虽然能轻微地提高成绩，但重要的是能显著地使得训练过程稳定(参见补充材料)。

5. Discussion

\qquad 与以前的离散GNN(如GCN)相比，我们的连续信息传播模型有几个优点：

对于 over-smothing 的鲁棒性；
学习图上的全局依赖性；
α\alphaα 表示传播常数，可学习；
Weights entangle channels continuously over time;
Insight into the role of the restart distribution H0H_0H0.

6. Experiment

\qquad 在本节中，我们将评估我们提出的方法在半监督节点分类任务上的性能。

6.1. Datasets and Experiment Settings

\qquad 在我们的实验中，我们使用四个基准数据集进行评估，包括Cora、Citeseer、Pubmed和NELL。跟随已有研究(Yang et al.， 2016; Kipf andWelling, 2016;对于Cora、Citeseer和Pubmed，我们使用(Yang et al.， 2016)的标准数据分割，其中每个类的20个节点用于培训，另外500个标记节点用于验证。对于NELL数据集，由于(Yang et al.， 2016)中使用的数据分割不可用，我们创建一个新的分割用于实验。结果如表2所示。我们进一步对表3中相同的数据集进行随机分割实验。数据集的统计结果见表1。准确度作为评价指标。

6.2. Compared Algorithms

Discrete GNNs
\qquad 对于建模节点表示的离散动态的标准图神经网络，我们主要比较图卷积网络(GCN) (Kipf和Welling, 2016)和图注意力网络(GAT) (Veli ckovi c et al.， 2017)，这是最具代表性的方法。
Continuous GNNs
\qquad 最近还有一项相似的工作(Zhuang et al.，2020)，该工作通过建模节点表示的 continuous dynamics 来学习节点表示，其中ODE由图形神经网络参数化。我们与该方法(GODE)进行了比较。
CGNN
\qquad 对于我们所提出的连续图神经网络(CGNN)，我们考虑了几个变体。具体来说，CGNN利用Eq.(7)中的ODE定义节点表示的 continuous dynamics，其中不同的特征通道是独立的。 CGNN with weight 使用Eq.(13)中的ODE，它允许不同的特征通道相互作用。我们还比较了 CGNN discrete ，它使用Eq.(4)中定义的离散传播过程进行节点表示学习(n = 50)。

6.3. Parameter Settings

6.4. Results

1. Comparison with existing methods
表2总结了不同比较算法的主要结果。与标准的离散图神经网络如GCN和GAT相比，我们的方法在大多数情况下取得了显著的效果。原因是我们的方法可以更好地捕捉不同节点的长期依赖关系。此外，我们的方法也优于Cora和Pubmed上的并行工作GODE。这是因为我们的ODE是基于我们对图形中信息传播的先验知识设计的，而GODE直接使用现有的图形神经网络(如GCN或GAT)来参数化ODE，这可能无法有效地学习在图形中传播信息。总的来说，我们的方法在节点分类方面取得了与最先进的图形神经网络相当的结果。
2. Comparison of CGNN and its variants.
CGNN中的ode受到Eq.(4)中的离散传播过程的启发，可以直接用于对节点表示的动态建模。
与离散的CGNN相比，CGNN在所有数据集上都取得了更好的效果，表明连续地对节点进行动态建模对于节点表示学习更加有效。此外，比较有无特征通道(分别为有权的CGNN和CGNN)交互建模的ode，我们可以看到它们的结果很接近。一个可能的原因是实验中使用的数据集非常简单，因此建模特征通道(CGNN)之间的交互并没有带来很大的性能增益。我们预期带有权重的CGNN在更具挑战性的图形上更有效，我们将其留作以后的工作来验证这一点。
3. Performance with respect to time steps.
与现有方法相比，CGNN的一个主要优点是它对过平滑问题具有鲁棒性。接下来，我们通过展示不同方法在不同层数(如GCN和GAT)或结束时间t(如CGNN及其变体)下的性能来系统地证明这一点。
4. Memory Efficiency
最后，我们比较了不同方法在Cora和Pubmed上的记忆效率，如图3所示。对于所有建模离散动态的方法，如GCN、GAT和CGNN离散，存储成本与离散传播层的数量成线性关系。相比之下，通过使用伴随法(Pontryagin, 2018)进行优化，CGNN的内存开销是恒定的，且开销很小，因此可以在大型图上建模长期节点依赖关系。