1. 摘要

图对比学习（GCL）是通过扩充图来学习节点表示的一种学习方法，近年来受到了广泛的关注。尽管各种图形增强策略层出不穷，但一些基本问题仍然不清楚：GCL学习到的表示中基本上编码了什么信息？在不同的扩充之后，是否有一些通用的图形扩充规则？如果是，它们是什么？它们能带来什么见解？在本文中，我们通过建立GCL和图谱之间的联系来回答这些问题。通过对谱域的实验研究，我们首先发现GCL的广义图增广（GAME）规则，即两个增广图之间的高频部分的差异应该大于低频部分的差异。这条规则揭示了重新审视当前图形扩充并设计新的有效图形扩充的基本原理。然后，我们从理论上证明了GCL能够通过对比不变性定理和我们的GAME规则学习不变性信息，首次揭示了GCL学习的表示本质上是对低频信息的编码，这解释了GCL的工作原理。在这个规则的指导下，我们提出了一个光谱图对比学习模块（SpCo1），它是一个通用的GCL友好插件。我们将其与不同的现有GCL模型相结合，大量实验表明，它可以进一步提高各种不同GCL方法的性能。

2. 动机以及贡献

基本的增强机制不清晰，存在以下问题

应该在增广图中保留或者丢弃哪些信息？
不同的图增强策略之间是否有一些一般规则？
如何使用这些一般规则来验证和改进当前的GCL方法？

主要贡献

提出一个通用的图增强规则（GAME）：两张对比图中高频振幅的差异应该大于低频振幅的差异（如图1(b)所示）。
提出对比不变性，首次从理论上证明了GCL可以从两个对比图中学习不变性信息。同时，如1(b)所示，由于最低频率信息的振幅差远小于高频信息的振幅，因此最低频率信息将是两个图V1V_1V1和V2V_2V2之间的近似不变模式，由此可以得出结论，GCL所学习的信息主要是低频信息。
提出新的通用图对比学习框架（SpCo），通过优化对比对来改进现有的GCL方法，即使其高频振幅提升，同时保持低频与原始结构相同。

3. 符号定义

仅含图谱相关符号定义

L^\hat{L}L^是对称归一化的Laplacian矩阵，其特征分解为UΛU⊤U \Lambda U^\topUΛU⊤，其中Λ=diag(λ1,...,λN)\Lambda = diag(\lambda_1,...,\lambda_N)Λ=diag(λ1,...,λN)和U=[u1⊤,...,uN⊤]∈RN×NU=[u_1^\top,...,u_N^\top]\in R^{N\times N}U=[u1⊤,...,uN⊤]∈RN×N分别是L^\hat{L}L^的特征值和特征向量。在不损失一般性的情况下，假设0≤λ1≤...≤λN<2（λN≈2）0\leq \lambda_1 \leq ...\leq \lambda_N < 2 （\lambda_N \approx 2）0≤λ1≤...≤λN<2（λN≈2）。用FL={λ1,...,λ⌊N/2⌋}F_L=\{\lambda_1,...,\lambda_{\lfloor N/2 \rfloor}\}FL={λ1,...,λ⌊N/2⌋}表示低频分量的振幅，用FH={λN,...,λ⌊N/2⌋+1}F_H=\{\lambda_N,...,\lambda_{\lfloor N/2 \rfloor + 1}\}FH={λN,...,λ⌊N/2⌋+1}表示高频分量的振幅。图谱定义为不同频率分量的振幅，表示为ϕ(λ)\phi(\lambda)ϕ(λ)，表示频率的哪些部分增强或者减弱。另外重写L^=λ1⋅u1u1⊤+...+λN⋅uNuN⊤\hat{L}=\lambda_1·u_1u_1^\top+...+\lambda_N·u_Nu_N^\topL^=λ1⋅u1u1⊤+...+λN⋅uNuN⊤，其中uiui⊤∈RN×Nu_iu_i^\top \in R^{N \times N}uiui⊤∈RN×N为与λi\lambda_iλi相关的特征空间，表示为SiS_iSi。

4. 图形增强的影响：一项实验研究

如图2所示，设计一个简单的GCL框架，输入为AAA和（VVV为AAA的增强），利用一个共享的GCN编码为HAH_AHA和HVH_VHV，并利用InfoNCE损失训练。

生成增强VVV

为了分析不同信息的影响，从原始图中提取不同频率的信息来构造图增广，过程如图3所示。具体来说，将LLL的特征值分为FLF_LFL和FHF_HFH，分别进行增强。
以FLF_LFL的增强为例，将高频部分保持为u⌊N/2⌋+1u⌊N/2⌋+1⊤+...+uNuN⊤u_{\lfloor N/2 \rfloor +1}u_{\lfloor N/2 \rfloor +1}^\top+...+u_Nu_N^\topu⌊N/2⌋+1u⌊N/2⌋+1⊤+...+uNuN⊤。然后从最低频率开始，逐步将FLF_LFL的特征空间加回来，速率为[20%,40%,60%,80%]。FLF_LFL中20%增强的VVV为u1u1⊤+...+u0.1∗⌊N/2⌋u0.1∗⌊N/2⌋⊤+u⌊N/2⌋+1u⌊N/2⌋+1⊤+...+uNuN⊤u_1u_1^\top+...+u_{0.1*\lfloor N/2 \rfloor}u_{0.1*\lfloor N/2 \rfloor}^\top +u_{\lfloor N/2 \rfloor+1}u_{\lfloor N/2 \rfloor+1}^\top +...+u_Nu_N^\topu1u1⊤+...+u0.1∗⌊N/2⌋u0.1∗⌊N/2⌋⊤+u⌊N/2⌋+1u⌊N/2⌋+1⊤+...+uNuN⊤。相似地，FHF_HFH中20%增强的VVV为u1u1⊤+...+u⌊N/2⌋u⌊N/2⌋⊤+u⌊N/2⌋+1u⌊N/2⌋+1⊤+...+u0.6∗Nu0.6∗N⊤u_1u_1^\top+...+u_{\lfloor N/2 \rfloor}u_{\lfloor N/2 \rfloor}^\top +u_{\lfloor N/2 \rfloor+1}u_{\lfloor N/2 \rfloor+1}^\top +...+u_{0.6*N}u_{0.6*N}^\topu1u1⊤+...+u⌊N/2⌋u⌊N/2⌋⊤+u⌊N/2⌋+1u⌊N/2⌋+1⊤+...+u0.6∗Nu0.6∗N⊤。

结果和分析

结果： 对于每个数据集，在生成的VVV中，（1）当保持频率的最低部分时，获得最佳性能；（2）当FHF_HFH中涉及更多频率时，性能通常会提高。

分析： （1）当保持频率的最低部分时，AAA和VVV之间的振幅差，即图谱，在FLF_LFL中变小；（2）当FHF_HFH中涉及更多频率时，FHF_HFH在AAA和VVV之间的裕度变大。

GAME规则

给定两个随机增强V1V_1V1和V2V_2V2，它们的图谱为ϕ1(λ)\phi_1(\lambda)ϕ1(λ)和ϕ2(λ)\phi_2(\lambda)ϕ2(λ)。然后，∀λm∈[1,2]∀ λ_m∈ [1,2]∀λm∈[1,2]和λn∈[0,1]λ_n∈ [0,1]λn∈[0,1]，如果满足以下条件就说明V1V_1V1和V2V_2V2是一对有效的图增强，定义为最佳对比对。
∣ϕ1(λm)−ϕ2(λm)∣>∣ϕ1(λn)−ϕ2(λn)∣|\phi_1(\lambda_m)-\phi_2(\lambda_m)|>|\phi_1(\lambda_n)-\phi_2(\lambda_n)| ∣ϕ1(λm)−ϕ2(λm)∣>∣ϕ1(λn)−ϕ2(λn)∣

5. 通用图增强规则分析

实验分析

将MVGRL、GCA和GraphCL中提出的增强替换成VVV。（MVGRL提出了PPR矩阵、热扩散矩阵、成对距离矩阵；GCA主要基于度、特征向量和PageRank然后随机丢弃边；GraphCL采用随机丢弃节点、边缘扰动和子图采样。）
采用矩阵微扰理论准确描述在λi\lambda_iλi增加后振幅的变化（特征值分解无序无法直接匹配）：

λi′\lambda_i'λi′是变化后的特征值，∆A=A′−A∆A=A'− A∆A=A′−A表示增强后边缘的修改，∆D∆D∆D是度矩阵中的相应变化。图谱绘制如图6所示，采用前文中的GCL框架分别对比邻接矩阵与增强的结果如表1。

理论分析

理论1 对比不变性 给定邻接矩阵AAA和生成的增量VVV，AAA和VVV的第iii频率振幅分别为λi\lambda_iλi和γi\gamma_iγi。通过优化InfoNCE损失LInfoNCEL_{InfoNCE}LInfoNCE，可以建立以下上限（θi\theta_iθi是第iii项的自适应权重）：

因此，较大的θiθ_iθi将分配给较小的(λi−γi)2(λ_i− γ_i)^2(λi−γi)2或λi≈γiλ_i≈γ_iλi≈γi。同时，如果λi≈γiλ_i≈γ_iλi≈γi，这两个对比增强被认为在第iii频率上具有相同的不变性。因此，通过对比学习，编码器将强调来自频谱域的两个对比增强之间的不变性。
GAME规则表明FLF_LFL中的两个增强之间的差异较小。因此，在GAME规则的指导下，GCL试图捕获两个增强的共同低频信息，从而指出了一种通用的增强策略来操纵编码器以捕获低频信息，获得更好的性能。

6. 图谱对比学习

基于GAME规则，需要学习一个转换∆A∆_A∆A将邻接矩阵AAA转换为增强AAA_其中AAA和AAA_必须是最佳对比对，然后将它们输入现有的GCL方法。如图7所示。
首先将∆A∆_A∆A分为∆A=∆A+−∆A−∆_A=∆_{A_+}-∆_{A_-}∆A=∆A+−∆A−，∆A+∆_{A_+}∆A+和∆A−∆_{A_-}∆A−分别指添加和删除的边。以∆A+∆_{A_+}∆A+为例，以下优化目标应该最大化：

总共包含三个部分：

匹配项： ∀P,Q∈RN×N，<P,Q>=∑ijPijQij∀ P,Q∈ R^{N×N}，<P,Q>=\sum_{ij}P_{ij}Q_{ij}∀P,Q∈RN×N，<P,Q>=∑ijPijQij，C=Ug(λ)U⊤C=Ug(\lambda)U^\topC=Ug(λ)U⊤，UUU和g(λ)g(\lambda)g(λ)分别代表特征向量矩阵和AAA的特征值相关函数。根据GAME规则，ϕ∆（λ）=∣ϕA(λ)−ϕA−(λ)∣\phi_∆（λ） =|\phi_A(λ)− \phi_{A-}(λ)|ϕ∆（λ）=∣ϕA(λ)−ϕA−(λ)∣应该单调递增，因此g(λ)g(\lambda)g(λ)同样应该单调递增，而拉普拉斯LLL的图谱满足要求，设C=θLC=\theta LC=θL，θ\thetaθ为训练中更新的参数。
熵正则化： H(P)=−∑ijPij(log(Pij−1))H(P)=-\sum_{ij}P_{ij}(log(P_{ij}-1))H(P)=−∑ijPij(log(Pij−1))，其中ϵ\epsilonϵ为该部分权重。该部分目的在于增加不确定性，鼓励更多边加入优化。
拉格朗日约束条件： f∈RN×1,g∈RN×1f\in R^{N\times 1},g\in R^{N \times 1}f∈RN×1,g∈RN×1是拉格朗日乘子，a∈RN×1,b∈RN×1a\in R^{N\times 1}, b\in R^{N\times 1}a∈RN×1,b∈RN×1是分布，该部分限制∆A+∆_{A_+}∆A+的行列数在一定范围内。

Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum相关推荐

论文阅读：Graph Contrastive Learning with Augmentations
Abstract 图结构数据上的广义.可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战.与用于图像数据的卷积神经网络(CNNs)不同,对gnn的自我监督学习和预训练的探索较少.在本文 ...
文献阅读（73）AAAI2022-SAIL: Self Augmented Graph Contrastive Learning
本文是对<SAIL: Self Augmented Graph Contrastive Learning>一文的总结,如有侵权即刻删除. 朋友们,我们在github创建了一个图学习笔记库, ...
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning 1. 摘要主流图对比学习(GCL)方法以两种方式进行图增 ...
[2021] Spatio-Temporal Graph Contrastive Learning
21-Spatio-Temporal Graph Contrastive Learning 郑宇.梁玉轩 1 摘要深度学习模型是时空图(STG)预测的现代工具.尽管它们很有效,但它们需要大规模的数据 ...
GraphCL: Graph Contrastive Learning with Augmentations笔记
NeurIPS 2020- Graph Contrastive Learning with Augmentations contrastive learning algorithm pretraini ...
【论文阅读】MLGCL：Multi-Level Graph Contrastive Learning
目录摘要 1 引言 2 准备工作 3 MLGCL框架 3.1 图数据增强 3.2 编码器 3.3 多级损失函数 4 实验摘要在本文中,我们提出了一个多层次图对比学习(MLGCL)框架,通过对比图 ...
Graph Contrastive Learning with Adaptive Augmentation
摘要对比学习在无监督图表示学习中取得了很好的效果,大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性.其中,图上的增强方式是非常重要的部分鲜有人探索.我们认为数据增强模 ...
22KDD ： COSTA Covariance-Preserving Feature Augmentation for Graph Contrastive Learning
作者知乎讲解这篇文章就是对 encoder学到的表征再进行降维,在进行对比. 文章开始讲的是进入encoder之前的视图增强导致了一些问题,但是自己还是也先试图增强后在用了COST ...
Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation
补充:特征对齐.均匀分布 Embedding里能够保留更多个性化的信息,这又代表什么呢?举个例子,比如有两张图片,都是关于狗的,但是一张是在草地上跑的黑狗,一张是在水里游泳的白狗.如果在投影成Embe ...
【论文阅读】AD-GCL：Adversarial Graph Augmentation to Improve Graph Contrastive Learning
目录摘要 1 引言 2 准备工作 2.1 学习图表示 2.2 GNNs 2.3 互信息最大化 3 对抗性图对比学习 3.1 AD-GCL的理论动机及制定 3.2 通过可学习的边缘扰动实例化AD-GC ...

Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum