EvolveGCN：动态图的演化图卷积网络翻译

摘要

由于深度学习广泛用于欧氏数据，图形表示学习作为一种趋势研究学科而兴起，这激发了非欧氏域中神经网络的各种创造性设计，尤其是图形。
随着这些图神经网络（GNN）在静态环境中的成功使用，我们可以处理图在动态发展的其他实际情况。现有的方法通常诉诸于节点嵌入，并使用递归神经网络（广义上说是RNN）来调节嵌入并学习时间动态。这些方法需要了解整个时间范围内的节点（包括训练和测试），并且不适用于频繁更改节点集的情况。在某些极端情况下，不同时间步长的节点集可能会完全不同。为了解决这一挑战，我们提出了EvolveGCN，它沿时间维度适应图卷积网络（GCN）模型，而无需借助节点嵌入。所提出的方法通过使用RNN演化GCN参数来捕获图序列的动态性。
考虑两种架构进行参数演化。
我们评估所提出的方法在任务上的应用，包括链接预测，边缘分类和节点分类。实验结果表明，与相关方法相比，EvolveGCN的性能通常更高。该代码可从https://github.com/IBM/EvolveGCN获得。

1简介

图形是无处不在的数据结构，用于建模实体之间的成对交互。与欧几里得数据（例如图像，视频，语音信号和自然语言）相比，使用图学习面临独特的挑战，包括其组合性质和可伸缩性瓶颈。随着后一种数据类型的深度学习取得了显著成功，人们对图表示法的学习有了新的兴趣（Perozzi，Al-Rfou和Skiena 2014; Tang等人2015; Cao，Lu和Xu 2015; Ou等人等人； 2016年； Grover和Leskovec等人（2016年）在节点和图级上均已通过深度神经网络进行参数化（Bruna等人，2014年； Duvenaud等人，2015年；
Defferrard，Bresson和Vandergheynst，2016年； Li等。 2016; Gilmer等。 2017; Kipf和Welling 2017; 汉密尔顿，应和莱斯科维奇2017; Jin等。 2017; 陈，马，肖2018; Velic̆ković等。 2018; Gao and Ji 2019）。
这些神经网络模型通常集中于给定的静态图。但是，在实际应用中，经常会遇到动态变化的图形。例如，社交网络的用户会随着时间的推移发展友谊。因此，应相应更新用户的矢量表示，以反映其社会关系的时间演变。类似地，由于频繁引用新技术来发表现有技术，因此科学论文的引文网络不断丰富。因此，文章的影响力，甚至有时是分类，都随时间变化。
需要更新节点嵌入以反映此变化。在金融网络中，交易自然会附带时间戳。用户帐户的性质可能会因所涉及交易的特性而发生变化（例如，帐户参与洗钱或用户成为信用卡欺诈的受害者）。尽早发现这种变化对于提高执法效率和减少金融机构的损失至关重要。这些示例敦促开发动态图方法，该方法对关系数据的时间演变进行编码。
建立在图神经网络（GNN）用于静态图的最新成功的基础上，在这项工作中，我们通过引入递归机制更新网络参数以捕获图的动态性，将它们扩展到动态设置。大量的GNN通过递归聚集来自一跳邻域的节点嵌入来执行信息融合。网络的大部分参数是每层中节点嵌入的线性变换。由于其简单性和有效性，我们特别关注图卷积网络（GCN）（Kipf和Welling 2017）。然后，我们建议使用递归神经网络（RNN）将动力注入到GCN的参数中，从而形成一个不断发展的序列。
沿着类似方向开展的工作包括（Seo等人2016; Manessia，Rozza和Manzo 2017; Narayan和Roe 2018）等，这些方法基于GNN（通常是GCN）和RNN（通常是LSTM）的组合。这些方法ods使用GNN作为特征提取器，并使用RNN从提取的特征（节点嵌入）中学习序列。结果，为时间轴上的所有图学习了一个单一的GNN模型。这些方法的局限性在于它们需要整个时间范围内的节点知识，并且几乎无法保证将来在新节点上的性能。
在实践中，除了训练后新节点可能出现的可能性外，节点还可能频繁出现和消失，这使节点嵌入方法成为问题，因为RNN学习这些不规则行为具有挑战性。为了解决这些挑战，我们建议在每个时间步使用RNN来调节GCN模型（即网络参数）。这种方法有效地执行了模型调整，该调整着重于模型本身而不是节点嵌入。
因此，节点的改变没有限制。此外，对于具有新节点且没有历史信息的未来图，演进的GCN仍然对他们有意义。
注意，在提出的方法中，不再训练GCN参数。它们是从RNN计算得出的，因此仅训练RNN参数。以这种方式，参数的数量（模型大小）不会随时间步长的增长而增加，并且该模型像典型的RNN一样易于管理。

2相关工作

动态图的相关方法通常是对静态图的扩展，并特别关注时间维和更新方案。例如，在基于矩阵分解的方法（Roweis和Saul 2000； Belkin和Niyogi 2002）中，节点嵌入来自图拉普拉斯矩阵的（广义）特征向量。
因此，DANE（Li et al.2017）根据先前的特征向量有效地更新特征向量，而不是从头开始为每个新图计算特征向量。这种方法的主要优势是计算效率。
对于基于随机游走的方法（Perozzi，Al-Rfou和Skiena 2014； Grover和Leskovec 2016），将以历史为条件的转移概率建模为相应节点嵌入的标准化内积。这些方法使采样的随机游走的概率最大化。 CTDANE（Nguyen et al.2018）通过要求步行遵守时间顺序来扩展这个想法。 NetWalk（Yu et al.2018）的另一项工作没有使用概率作为目标函数; 相反，它观察到，如果图形没有发生实质性的变化，则只需在连续的时间步长中对几个行走进行重新采样。因此，该方法通过热启动来逐步重新训练模型，从而大大降低了计算成本。
步骤用于在接下来的时间初始化训练。
动态图方法的一种流行类别是时间连续的点过程。 KnowEvolve（Trivedi et al.2017）和DyRep（Trivedi et al.2017。
2018）将边的出现作为点过程进行建模，并使用神经网络以节点嵌入作为输入来对强度函数进行参数化。 DynamicTriad（Zhou et al.2018）使用点过程来建模更复杂的现象-三重闭合-将具有三个节点的三合会从一个开放的节点（一对未连接的节点）发展为一个闭合的节点（所有三个节点）两对已连接）。 HTNE（Zuo et al.2018）类似地通过使用Hawkes流程对动态模型进行建模，并附加了一种关注机制来确定历史邻居对节点当前邻居的影响。由于过程的连续性质，这些方法对于事件时间预测是有利的。
与这项工作最相关的一组方法是GNN和递归架构（例如LSTM）的组合，其中前者摘要图形信息，而后者处理动态性。在这种情况下，探索最多的GNN具有卷积样式，我们按照相关工作的术语将其称为图卷积网络（GCN），尽管在其他情况下，GCN特别指代（Kipf and Welling 2017）提出的架构。 GCRN（Seo et al.2016）提供了两种组合。
第一个使用GCN获得节点嵌入，然后将其嵌入学习动态性的LSTM中。第二种是修改后的LSTM，它以节点特征为输入，但通过图卷积代替了其中的完全连接层。在WD-GCN / CD-GCN（Manessia，Rozza和Manzo 2017）和RgCNN（Narayan and Roe 2018）中类似地探索了第一个想法。 WD-GCN / CD-GCN修改图形卷积层，最显着的是通过添加跳过连接。除了这种简单的组合之外，STGCN（Yu，Yin和Zhu 2018）提出了一种复杂的架构，该架构由所谓的ST-Conv块组成。
在此模型中，节点特征必须随时间演变，因为在每个ST-Conv块内部，首先沿时间维执行节点特征的1D卷积，然后是图形卷积和另一个1D卷积。演示了此架构用于时空交通数据（因此命名为STGCN和ST-Conv），其中空间信息是通过使用图卷积来处理的。

3方法

在本节中，我们提出了一种新颖的方法，即进化进化图卷积网络（EvolveGCN），该方法通过使用递归模型来演化GCN参数来捕获图序列背后的动态性。在整个过程中，我们将使用下标t表示时间索引，并使用上标l表示GCN层索引。为了避免符号混乱，我们假设所有图都具有n个节点。尽管我们重申节点集以及基数可能会随时间变化。然后，在时间步t处，输入数据由（A t∈R n×n，X t∈R n×d）对组成，其中前者是图（加权）邻接矩阵，而后者是图（加权）邻接矩阵。
3.1图卷积网络（GCN）GCN（Kipf and Welling 2017）由多层图卷积组成，类似于感知器，但又具有由谱卷积驱动的邻域聚集步骤。在时间t，第l层将（l）邻接矩阵A t和节点嵌入矩阵H t（l）作为输入，并使用权重矩阵W t将节点（l + 1）嵌入矩阵更新为 H t作为输出。数学上，我们写
公式（1）