Title

《SAIL: Self Augmented Graph Contrastive Learning》

——AAAI2022

Author: Lu Yu

总结

文章通过理论分析证明了GNN的性能取决于节点特征的平滑程度和图结构的局部性，为平滑图拓扑结构生成的节点表征和节点特征间的差异，提出了SAIL算法。通过构造两个互补的自蒸馏正则化模块，来实现无监督背景下的自增强。模型结构如下图所示：

1 问题定义

给出图G=(V,E,X)，其中V是节点集，E是边集，X是节点特征集。GNN目的在于聚合节点的多阶邻域信息来生成节点表征，即：

其中A为邻接矩阵，D为对角矩阵，即对节点的多阶邻域做抽取和加权。

在此，文章通过理论证明，指出GNN的性能取决于节点特征的平滑程度和图结构的局部性。

在上式中，h_i和h_j的相似度上界主要取决于三个部分，即局部特征的平滑性、非邻居节点的信息、结构相似性。非邻居节点信息是无法优化的，因此GNN的性能上界与另外两个部分相关。在下文中，文章分别针对这两部分构造自蒸馏的正则化项，来优化该问题。

2 内部蒸馏(Intra-distilling module)

文章指出，GNN的多层堆叠会由于结合的高阶邻域信息过多而过平滑，因此文章试图用浅层GNN来捕捉特征信息，并通过内部蒸馏保证节点表征与特征间的平滑性。

首先文章给出了基于GNN的经典损失函数，即最大化节点与其邻居节点的交互概率，并通过内部蒸馏和外部蒸馏作为正则化项加以约束：

具体而言，即取某一节点为中心点，根据其邻居结构进行采样得到子图。在该子图上，文章要求GNN通过浅层堆叠生成的节点表征分布与原始的节点特征分布尽可能相似，即：

由于蒸馏操作中往往有学生和教师的概念，是大模型教师将知识传递给小模型学生。在此，文章定义学习到的节点表征为教师，即t，原始的节点特征为学生，即s。那么内部蒸馏的损失函数为：

其中Si即两者的CrossEntropy结果。

3 外部蒸馏(Inter-distilling Module)

对于教师和学生模型，本质上都是GNN模型，在生成学生模型时，首先复制教师模型的参数，并引入噪声，在几轮迭代后会出现性能退化的现象，即形成了学生模型。该部分的损失函数定义为：

前一部分是约束了学生模型的节点特征与教师模型一致，后一部分约束的是节点表征。在此，文章通过对KL散度等经典相似度衡量公式进行推导（在此不再赘述），得到了KD的最终公式为：

综上，整个模型的最终损失函数为：

文献阅读（73）AAAI2022-SAIL: Self Augmented Graph Contrastive Learning相关推荐

文献阅读（24）KDD2020-GCC：Graph Contrastive Coding for Graph Neural Network Pre-Training
本文是对<Graph Contrastive Coding for Graph Neural Network Pre-Training>一文的浅显翻译与理解,如有侵权即刻删除. 朋友们,我 ...
论文阅读：Graph Contrastive Learning with Augmentations
Abstract 图结构数据上的广义.可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战.与用于图像数据的卷积神经网络(CNNs)不同,对gnn的自我监督学习和预训练的探索较少.在本文 ...
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning 1. 摘要主流图对比学习(GCL)方法以两种方式进行图增 ...
[2021] Spatio-Temporal Graph Contrastive Learning
21-Spatio-Temporal Graph Contrastive Learning 郑宇.梁玉轩 1 摘要深度学习模型是时空图(STG)预测的现代工具.尽管它们很有效,但它们需要大规模的数据 ...
【论文阅读｜浅读】GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
目录前言简介 ABSTRACT 1 INTRODUCTION 2 RELATED WORK 2.1 Vertex Similarity 2.2 Contrastive Learning 2.3 G ...
GraphCL: Graph Contrastive Learning with Augmentations笔记
NeurIPS 2020- Graph Contrastive Learning with Augmentations contrastive learning algorithm pretraini ...
文献阅读总结（3）Neural Graph Collaborative Filtering
1.Introduction 左图u1,右图从左图的u1开始展开图反应的信息: 1.从路径u1->i2->u2,可以反映出u1和u2的相似性: 2.u1和i4之间有两条路径,而u1和i5 ...
【论文阅读】MLGCL：Multi-Level Graph Contrastive Learning
目录摘要 1 引言 2 准备工作 3 MLGCL框架 3.1 图数据增强 3.2 编码器 3.3 多级损失函数 4 实验摘要在本文中,我们提出了一个多层次图对比学习(MLGCL)框架,通过对比图 ...
文献阅读(part1)--A Survey of Clustering With Deep Learning From the Perspective of Network Architecture
论文学习文章目录摘要介绍前言 NEURAL NETWORK ARCHITECTURE FOR DEEP CLUSTERING LOSS FUNCTIONS RELATED TO CLUSTER ...

文献阅读（73）AAAI2022-SAIL: Self Augmented Graph Contrastive Learning

文章目录

Title

总结

1 问题定义

2 内部蒸馏(Intra-distilling module)

3 外部蒸馏(Inter-distilling Module)

文献阅读（73）AAAI2022-SAIL: Self Augmented Graph Contrastive Learning相关推荐

最新文章

热门文章