©作者 | Dream

单位 | 浙江大学

研究方向 | 图表示学习

本文介绍一下我们自己的工作，该论文是一篇图自监督学习的工作，被 IJCAI 2022 接收。

论文标题：

RoSA: A Robust Self-Aligned Framework for Node-Node Graph Contrastive Learning

论文链接：

https://arxiv.org/abs/2204.13846

代码链接：

https://github.com/ZhuYun97/RoSA

近些年来，图自监督学习进展非常快，从 2020 年该方向的论文就开始井喷式增长。

背景介绍

在介绍该论文前，我们先了解一些名词 node-node contrasting mode（i.e. local-local）, node-graph（subgraph）contrasting level（i.e. local-global）, graph（subgraph）-graph（subgraph）contrasting level（i.e. global-global）[1][2]，以及 aligned 和 non-aligned views。

通过图一我们可以了解到不同 level 对比的方式，通过 GNN encoder 之后我们得到 node-leval representation ，然后通过 readout 函数得到 graph-level representation 。node-level representations 之间进行对比称为 node-node contrasting level (i.e. local-local)，node-level representation 和 graph-level representation 进行对比称为 node-graph contrasting level (i.e. local-global)，global-level representations 之间进行对比称为 graph-graph contrasting level (i.e. global-global)。Table 1 是现有的一些方法的分类。

▲ 图1 [1]：不同level对比

▲ Table 1：图对比学习方法分类

不同的对比模式介绍完了，下面介绍一下 aligned views 和 non-aligned views（这一概念主要针对 node-node contrasting mode）。aligned views 指的是 positive views 中节点 id一一对应（e.g. view1 [1,2,3]，view2 [1,2,3]），non-aligned views 指两个 view 拥有不同的节点集合（e.g. view1 [1,2,3]，view2 [4,1,3]），甚至每个 view 的节点数也可以不一样，如图2。[1]

通过大量实验发现在节点分类数据集上，node-node contrasting 的方法效果是更好的（与下游任务更匹配）。而现有的 node-node contrasting 方法都是在 aligned views 情境下进行的，这可能会阻碍采样的灵活性和多样性，限制了对比学习的表现能力。

此外，在某些情况下 aligned views 是不可用的，比如，在动态图中，随着时间的推移，节点可能出现/消失，以及如果使用随机游走的方式进行采样，得到的两个视图也是 non-aligned 的。与 aligned node-node contrasting 相比，non-aligned 场景下采样方式可以更灵活（可以采样到不同的节点和关系），有助于模型学习更具代表性和鲁棒性的特征。

▲ 图2：黑色加粗的为中心节点；在经过 encode 之后，为了得到 graph-level 的表征还会使用 readout 函数，这一操作会丢失较多信息。N-N 代表 node-node contrasting mode，N-G 代表 node-graph contrasting mode，G-G 代表 graph-graph contrasting mode。

然而，应用 non-aligned node-node contrasting 将面临三个主要的挑战。首先，如何设计采样方法，可以生成 non-aligned views，同时保持语义的一致性？第二，如何对比两个 non-aligned views（两个 views 中的节点的数量和节点之间的对应关系不一致）？第三，如何在提高无监督图对比学习模型性能的同时增强模型的鲁棒性？现有的方法都没有解决这些问题。为解决以上问题，在这篇论文中，我们提出了一个鲁棒的自对齐的 node-node level 图对比学习框架（RoSA）。

首先，我们利用带重启的随机游走针对每个中心节点进行采样（采自同一个节点的子图视为正样本对，否则为负样本）。对于一对视图（views），我们利用 g-EMD 计算将一个视图的分布转换为另一个视图的最小成本，它可以隐式地对齐不同的视图并捕获分布的变化（正样本对的分布变化会尽可能小）。第三，我们引入无监督对抗训练（针对节点特征），以增加样本的多样性并增强我们的模型的鲁棒性。据我们所知，这是第一个填补了 non-aligned node-node 图对比学习空缺的工作。

贡献

我们提出了一个鲁棒的自对齐图对比学习框架，用于 node-node level 图表示学习。该工作是第一个致力于解决 non-aligned node-node level 图对比学习问题的工作。

为了解决非对齐问题，我们引入了一种新的基于图的最优传输算法 g-EMD，该算法不需要显式的节点对应，可以充分利用图的拓扑信息和属性信息进行非对齐节点节点对比。此外，为了弥补 non-aligned 采样可能造成的信息损失，我们提出了一种无监督图对抗训练，以提高采样的多样性，增强模型的鲁棒性。

和现有方法相比，我们的方法在大量数据集上都达到了 SOTA。

方法

算法流程如下所示：

▲ 伪代码

3.1 符号介绍

一个图可以表示为，其中

402 Payment Required

表示 N 个节点的表征（d 维），邻接矩阵表示为。针对子图采样，每一个节点，我们会进行两次随机游走，得到对应子图（通过额外的增强可以得到），它们视为正样本对。

▲ 图3：模型框架

3.2 非对齐子图采样

针对正样本对，我需要得到语义相似的两个节点集合，基于这个假设，我们利用带重启的随机游走针对每个中心节点采样得到 unaligned views，之后可以附加一些额外的增强方式（e.g. node masking, edge dropping [3]）。当然我们也可以选取其他的一些采样方式。

3.3 g-EMD: A Self-aligned Contrastive Objective

之前计算对比损失的时候通常使用 cosine similarity 作为节点对相关性的度量函数，默认节点是一一对应的，但是在 unaligned views 的情况下，我们需要重新定义一个能够衡量两个 unaligned views 的对比损失，对此我们结合 earth mover's distance（EMD）提出一个针对图上用来衡量 unaligned views 相似度的方法 g-EMD，这部分详细内容参见原论文。

最后的 loss 可以表示为：

其中为 g-EMD-based similarity。

3.4 Unsupervised Adversarial Training

对抗训练可以认为是一种增强方式，它可以增加模型的鲁棒性。[4] 通过实验证明了有监督情况下在节点特征上进行对抗训练可以进一步提升模型精度，我们将其引入到图对比学习中，公式如下：

结合了无监督图对抗训练，我们可以实现更鲁棒的对齐任务，在 max-process 中，能量期望在不同类别的节点之间传递，而 min-process 可以弥补这种糟糕的情况，使 alignment 更加鲁棒。这样，对抗训练既增加了样本的多样性，有进一步提高了模型的鲁棒性。

实验

我们在 10+5 个节点分类数据集上进行了实验（包含同配图，异配图以及动态图，以及不同 setting 的实验：transductive setting 和 inductive setting），在无监督训练下，我们的方法均达到了 SOTA。

4.1 Transductive setting

同配图节点分类

▲ Table 2: Summary of classification accuracy of node classificationtasks on homophilous graphs. The second column representsthe contrasting mode of methods, N-G stands for node-graph level,and N-N stands for node-node level.

除了上面四个比较经典的引文数据集，我们还在一些相对更大的数据集上进行了实验（这部分实验由于篇幅限制，放在了 Appendix 中），可以发现，我们的方法在这些数据集上都达到了 SOTA。

▲ Table 3: （由于篇幅限制，这部分实验在 Appendix 中）

异配图节点分类

▲ Table 3: Heterophilous node classification using GCN (left) andMLP (right).

4.2 Inductive setting

▲ Table 4: Result for inductive learning on large-scale datasets.

4.3 动态图

▲ Table 5: Node classification using GraphSAGE on dynamic graphs.

4.4 消融实验

▲ 图4：消融实验

总结

在本文中，我们提出了一个鲁棒的 node-node level 图对比学习的自对齐框架，其中我们设计并利用基于图的 EMD（g-EMD）作为对比损失中的相似性度量，以避免对比视图之间的显式对齐。其次，我们将无监督对抗训练引入到 graph domain，进一步提高了模型的鲁棒性。

在同质、非同质和动态图数据集上的大量实验结果表明，我们的模型可以有效地应用于非对齐情况，并优于其他竞争对手。此外，我们在本工作中采用了简单带重启的随机游走作为子采样技术，如果在未来的工作中配备更强大的采样方法，RoSA 可能会取得更好的性能。

参考文献

[1] abZhu Y, Xu Y, Liu Q, et al. An Empirical Study of Graph Contrastive Learning[C]//Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2). 2021. https://openreview.net/forum?id=UuUbIYnHKO

[2] Wu L, Lin H, Gao Z, et al. Self-supervised on graphs: Contrastive, generative, or predictive[J]. arXiv e-prints, 2021: arXiv: 2105.07342. https://arxiv.org/abs/2105.07342

[3] Zhu Y, Xu Y, Yu F, et al. Deep graph contrastive representation learning[J]. arXiv preprint arXiv:2006.04131, 2020. https://arxiv.org/abs/2006.04131

[4] Kong K, Li G, Ding M, et al. Flag: Adversarial data augmentation for graph neural networks[J]. arXiv preprint arXiv:2010.09891, 2020. https://arxiv.org/abs/2010.09891

更多阅读

#投稿通道#

让你的文字被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

IJCAI 2022 | 鲁棒的Node-Node Level自对齐图对比学习相关推荐

#今日论文推荐# IJCAI 2022 | 求同存异：多行为推荐的自监督图神经网络
#今日论文推荐# IJCAI 2022 | 求同存异:多行为推荐的自监督图神经网络个性化推荐系统在现在的网络平台(或应用)中已经得到了广泛的应用,已解决它们面对的信息过载的问题.大多数推荐模型都是基 ...
NeurIPS 2022｜探明图对比学习的“游戏规则”：谱图理论视角
©作者 | 刘念, 王啸单位 | 北邮 GAMMA Lab 研究方向 | 图神经网络论文标题: Revisiting Graph Contrastive Learning from the Per ...
NeurIPS 2022｜图对比学习的结构公平性初探
©作者 | 王睿嘉单位 | 北邮 GAMMA Lab 研究方向 | 图神经网络论文标题: Uncovering the Structural Fairness in Graph Contrasti ...
东北大学 | 一种适用于大规模公路环境的鲁棒激光惯性里程计和建图系统
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达标题: A Robust Laser-Inertial Odometry and Mapping Me ...
NAACL 2022 | 字节和加州大学提出ConST模型，探讨对比学习如何助力语音翻译？
原文链接:https://www.techbeat.net/article-info?id=3692 作者:叶蓉前言全球化下应用最广泛的 AI 技术是什么?机器翻译必然是其中之一.除了纯文本信息的 ...
【鲁棒优化笔记】以Coding入门鲁棒优化：以一个例子引入（二）-错误版
[鲁棒优化笔记]以Coding入门鲁棒优化:以一个例子引入(二) 投资组合的例子鲁棒优化模型的reformulation: 利用对偶进行reformulation 利用对偶进行reformulati ...
有监督回归：鲁棒学习
1.前言虽然最小二乘学习法是非常实用的机器学习方法,但是当训练样本中包含异常值的时候,学习效果非常易于受到影响.下图展示的是对于线性模型: 以10个训练样本进行最小二乘学习的例子.测试结果如下图所示 ...
2017CVPR NID-SLAM:基于归一化信息距离的鲁棒单目SLAM系统
原作:Geoffrey Pascoe 翻译:Frank 转载请注明出处水平有限,错误请指出 NID-SLAM:基于归一化信息距离的鲁棒单目SLAM系统摘要本文提出了一种基于归一化信息距离(NID ...
Cplex求解考虑风光燃储综合能源系统鲁棒优化调度
鲁棒优化的目的是求得这样一个解,对于可能出现的所有情况,约束条件均满足,并且使得最坏情况下的目标函数的函数值最优.综合能源系统鲁棒调度优化,以燃气轮机为核心,融合储能单元.考虑负荷侧需求以及风光出力侧 ...

IJCAI 2022 | 鲁棒的Node-Node Level自对齐图对比学习