1. 摘要

图神经网络(GNN)是一种强大的基于图的推荐系统学习方法。最近，结合对比学习的gnn在处理高度稀疏数据时，在数据增强方案的推荐方面表现出了优异的性能。尽管它们取得了成功，但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如，节点/边缘扰动)，要么依赖基于启发式的增强技术(例如，用户聚类)来生成对比视图。我们认为，这些方法不能很好地保持语义的内在结构，并且容易受到噪声扰动的影响。在本文中，我们提出了一个简单而有效的图对比学习范式LightGCL，以缓解这些影响基于cl的推荐器的通用性和鲁棒性的问题。该模型专门利用奇异值分解进行对比增强，实现了全局协同关系建模下的无约束结构精化。在几个基准数据集上进行的实验表明，我们的模型在性能上有了显著的改进。进一步的分析证明了LightGCL对数据稀疏性和流行度偏差的鲁棒性的优越性。

2. 动机以及贡献

存在的问题

随机扰动的图增强可能会丢失有用的结构信息，这将误导表示学习；
启发式引导表示对比方案的成功很大程度上建立在视图生成器的基础上，这限制了模型的通用性，并且容易受到用户行为噪声的影响；
目前大多数基于gnn的对比推荐器都受到过度平滑问题的限制，这导致了难以区分的表示。

贡献

设计了一个轻量级和健壮的图对比学习框架来增强推荐系统，以解决与此任务相关的关键挑战；
提出了一种有效且高效的对比学习范式LightGCL用于图增强。通过注入全局协作关系，我们的模型可以缓解不准确的对比信号带来的问题；
与现有的基于gcl的方法相比，提高了训练效率；
在几个真实数据集上的大量实验证明了LightGCL的性能优势。深入分析证明了LightGCL的合理性和鲁棒性。

3. 方法

3.1 局部图依赖关系建模

每个用户uiu_iui和商品vjv_jvj的嵌入向量为ei(u),ej(v)∈Rde_i^{(u)},e_j^{(v)}\in R^dei(u),ej(v)∈Rd。所有用户和商品嵌入的集合定义为E(u)∈RI×d，E(v)∈RJ×dE^{(u)}\in R^{I×d}，E^{(v)}\in R^{J×d}E(u)∈RI×d，E(v)∈RJ×d，其中I,JI,JI,J分别表示用户和商品的数量。在LightGCL中采用两层GCN来聚合每个邻居节点的信息。在第lll层中，聚合过程表示为：

其中zi,l(u),zj,l(v)z^{(u)}_{i,l},z^{(v)}_{j,l}zi,l(u),zj,l(v)表示用户和商品在第lll层的聚合嵌入，σ(⋅)σ(·)σ(⋅)表示负斜率为0.5的LeakyReLU，A~\tilde AA~是归一化邻接矩阵，p(⋅)p(·)p(⋅)是边dropout。在每一层中还加入残差连接以保留节点的原始信息，如下所示：

一个节点的最终嵌入值是它在所有层中的嵌入值之和，用户uiu_iui的最终嵌入值与项目vjv_jvj之间的内积预测了uiu_iui对vjv_jvj的偏好：

3.2 高效的全局协作关系学习

采用SVD使LightGCL能够从全局视角提取协作信号。首先对邻接矩阵A进行SVD，即A+USV⊤A+USV^⊤A+USV⊤，U/VU/VU/V为I×I/J×JI×I/J×JI×I/J×J的正交矩阵，列为A的行-行/列-列相关矩阵的特征向量。S是存储A的奇异值的I×JI×JI×J对角矩阵，最大奇异值通常与矩阵的主成分有关。因此，我们截断奇异值列表以保留最大的q值，用截断后的矩阵重构邻接矩阵为：A^=UqSqVq⊤\hat A=U_qS_qV_q^⊤A^=UqSqVq⊤，其中Uq∈RI×qU_q∈R^{I×q}Uq∈RI×q, Vq∈RJ×qV_q∈R^{J×q}Vq∈RJ×q分别包含U和V的前q列。Sq∈Rq×qS_q∈R^{q×q}Sq∈Rq×q是q个最大奇异值的对角矩阵。
给定三元关系式，在每一层重构的用户-商品关系图上进行消息传播：

由于在大型矩阵上执行精确的SVD成本太高，采用随机SVD算法，其关键思想是先用一个低秩的标准正交矩阵近似输入矩阵的范围，然后对这个更小的矩阵进行SVD。

其中q为分解后的矩阵所需的秩，带 ^\hat {}^ 的均为近似版本。于是重写等式4：

其中Gl(u)G^{(u)}_lGl(u)和Gl(v)G^{(v)}_lGl(v)是新生成的图结构视图中编码的用户和项目嵌入的集合。

3.3 简化局部全局对比学习

传统的GCL方法，如SGL和SimGCL，通过构造两个额外的视图来对比节点嵌入，而从原始图(主视图)生成的嵌入并不直接涉及InfoNCE损失。采用这种笨重的三视图范式的原因可能是用于增强图的随机扰动可能会对主视图嵌入提供误导信号。在LightGCL中增强图视图是用全局协作关系创建的，可以增强主视图表示。因此，通过直接对比svd增强视图嵌入gi,l(u)g^{(u) }_{i,l}gi,l(u)与InfoNCE损失中的主视图嵌入zi,l(u)z^{(u)}_{i,l}zi,l(u)来简化CL框架：

4. 实验

Simple Yet Effective Graph Contrastive Learning for Recommendation相关推荐

Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation
补充:特征对齐.均匀分布 Embedding里能够保留更多个性化的信息,这又代表什么呢?举个例子,比如有两张图片,都是关于狗的,但是一张是在草地上跑的黑狗,一张是在水里游泳的白狗.如果在投影成Embe ...
论文阅读：Graph Contrastive Learning with Augmentations
Abstract 图结构数据上的广义.可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战.与用于图像数据的卷积神经网络(CNNs)不同,对gnn的自我监督学习和预训练的探索较少.在本文 ...
文献阅读（73）AAAI2022-SAIL: Self Augmented Graph Contrastive Learning
本文是对<SAIL: Self Augmented Graph Contrastive Learning>一文的总结,如有侵权即刻删除. 朋友们,我们在github创建了一个图学习笔记库, ...
论文阅读《Multi-view Multi-behavior Contrastive Learning in Recommendation》
多行为推荐(MBR)旨在联合考虑多种行为以提高目标行为的推荐效果.我们认为 MBR 模型应该:(1)对用户不同行为之间的粗粒度共性进行建模,(2)在多行为建模中同时考虑局部的序列视图和全局图视图,以及 ...
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
Let Invariant Rationale Discovery Inspire Graph Contrastive Learning 1. 摘要主流图对比学习(GCL)方法以两种方式进行图增 ...
[2021] Spatio-Temporal Graph Contrastive Learning
21-Spatio-Temporal Graph Contrastive Learning 郑宇.梁玉轩 1 摘要深度学习模型是时空图(STG)预测的现代工具.尽管它们很有效,但它们需要大规模的数据 ...
GraphCL: Graph Contrastive Learning with Augmentations笔记
NeurIPS 2020- Graph Contrastive Learning with Augmentations contrastive learning algorithm pretraini ...
【论文阅读】MLGCL：Multi-Level Graph Contrastive Learning
目录摘要 1 引言 2 准备工作 3 MLGCL框架 3.1 图数据增强 3.2 编码器 3.3 多级损失函数 4 实验摘要在本文中,我们提出了一个多层次图对比学习(MLGCL)框架,通过对比图 ...
Graph Contrastive Learning with Adaptive Augmentation
摘要对比学习在无监督图表示学习中取得了很好的效果,大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性.其中,图上的增强方式是非常重要的部分鲜有人探索.我们认为数据增强模 ...

Simple Yet Effective Graph Contrastive Learning for Recommendation