点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

论文解读者：北邮 GAMMA Lab 硕士生  刘念

题目：Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

会议：KDD 2021

论文链接：https://arxiv.org/pdf/2105.09111.pdf

异质图中信息众多，语义复杂，谁来做自监督信号？谁与谁做对比？又该如何对比？孤掌难鸣，唯有两者合作、左右互搏， 方能协同优化、实现共赢。

1 介绍

最近，异质图神经网络（HGNNs）在处理异质信息网络（HIN）方面展现了优越的能力。大部分的HGNNs都遵循半监督学习的设定，然而实际应用中标签信息往往很难获得。而自监督学习由于能够自发地从数据本身挖掘监督信号，已经成为无监督设定下很好的选择。作为一种典型的自监督机制，对比学习（contrastive learning）通过从数据中抽取出正负样本，同时最大化正例间的相似度以及最小化负例间相似度，能够学到判别性的表示。尽管对比学习在CV和NLP领域得到了广泛应用，如何将它和HIN结合却尚未解决。

通过认真考虑HIN以及对比学习的特性，我们总结了三个需要解决的本质问题：

1）如何设计异质对比机制 HIN中包含复杂结构，例如元路径（meta-path），需要利用跨视图的对比学习机制来综合刻画。

2）如何在HIN中选择合适的视图 对于视图的基本要求是，能够刻画网络的局部结构和高阶结构。网络模式（network schema）反应了节点间的直接连接情况，捕捉局部结构；元路径通常被用来抽取多跳关系。

3）如何设置困难的对比任务 简单的正负关系很容易被捕获，模型学到的信息有限。增加对比任务的难度，可通过增加两个视图间的差异，或者生成更高质量的负样本来实现。

在本篇文章中，我们提出了一个新的基于协同对比学习的异质图神经网络框架，简称HeCo。HeCo采用跨视图的对比机制，选择网络模式和元路径作为两个视图，结合视图掩盖机制，分别学得两个视图下的节点表示。之后，利用跨视图对比学习，使得两个视图协同监督。此外，我们还提出两个HeCo扩展，通过生成更高质量的负例，提升最终效果。

2 模型介绍

模型整体流程如上图所示。

2.1 节点特征转换

首先，我们需要将不同类型节点的特征映射到同一空间中，如(a)所示。对于类型的节点，利用类型特别的映射矩阵进行投影：

是投影之后i的特征。

2.2 网络模式视图下的编码器

假设节点与种其他类型的节点相连，对于第类型的邻居，利用节点级别的注意力进行融合：

其中注意力的计算公式如下：

是类型的注意力向量。请注意，在构建时我们并没有聚合所有的邻居，而是随机选取个邻居。这样做可以保证每个节点从邻居中吸收同样的信息量，同时增加了节点表示的多样性，使得接下来的对比学习更具挑战性。

在得到每种类型的表示后，我们利用类型级别的注意力机制进行融合，得到网络模式下的节点表示：

2.3 元路径视图下的编码器

给定条预先定义的元路径，对于元路径，我们可以得到节点基于该条元路径的邻居。利用GCN [1] 对进行聚合：

是节点基于的表示。之后，利用语义注意力机制聚合每条元路径，得到元路径视图下的节点表示，公式如下：

2.4 视图掩盖机制

在上述生成过程中，我们隐去了目标类型节点的信息，只吸收不同类型邻居的信息；在生成的过程中，隐去了元路径上其他类型节点的信息，只吸收和目标节点类型相同的节点信息。这样，从两种视图下学到的节点表示，即相关又互补，互相监督彼此的训练，呈现协同优化的趋势。

2.5 协同对比优化

在得到和之后，将它们映射到对比损失计算的空间中：

接下来，我们需要定义HIN中的正负例。不同于CV，由于HIN中存在大量的边，节点间彼此高度相关。为了反映节点的局部结构，我们定义两个节点彼此互为正例，当它们可由许多条元路径相连。对于节点和，定义函数计数它们间的元路径数量：

对于，选择最大的个节点作为正例集合，其余节点作为负例集合。基于此，我们进行跨视图的对比学习：

表示和间的cosine相似度。不同于一般的对比loss，我们同时最大化多个正例对间的相似度；此外，上述公式表明，对于网络模式下的节点表示，我们利用在元路径模式下正负样本的表示来计算相似度，从而达到跨视图对比的目的。得到的方式相同。总的损失函数如下：

2.6 模型扩展

为了得到更高质量的负样本，我们提出了两种扩展模型：

1) HeCo_GAN 该扩展利用GAN的生成对抗思想，通过判别器和生成器间的对抗，使得生成器生成靠近正例分布的逼真的负例。

2) HeCo_MU 该扩展受启发于MixUp [2]、MoCHi [3]等方法，将和目标节点最相似的K个负例进行随机相加，生成更多高质量的负例。

3 实验

3.1 节点分类

3.2 节点聚类

3.3 模型扩展

3.4 协同趋势

由上图可看出，网络模式和元路径两种视图间呈现出协同优化趋势。例如在ACM中，PAP的注意力值更高，相应的A类型邻居的注意力值更高；在AMiner中，PRP的注意力值更高，相应的R类型邻居的注意力值更高。

参考文献

[1] Thomas N. Kipf and Max Welling. 2017. Semi-Supervised Classification with Graph Convolutional Networks. In ICLR.

[2] Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin, and David Lopez-Paz. 2018. mixup: Beyond Empirical Risk Minimization. In ICLR.

[3] Yannis Kalantidis, Mert Bülent Sariyildiz, Noé Pion, Philippe Weinzaepfel, and Diane Larlus. 2020. Hard Negative Mixing for Contrastive Learning. In NeurIPS.

本期责任编辑：杨成

本期编辑：刘佳玮

北邮 GAMMA Lab 公众号

主编：石川

责任编辑：王啸、杨成

编辑：刘佳玮

长按下图并点击“识别图中二维码”

即可关注北邮 GAMMA Lab 公众号

我知道你在看哟

点击“阅读原文”查看更多精彩