Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

补充：特征对齐、均匀分布

Embedding里能够保留更多个性化的信息，这又代表什么呢？举个例子，比如有两张图片，都是关于狗的，但是一张是在草地上跑的黑狗，一张是在水里游泳的白狗。如果在投影成Embedding后，模型能各自保留各自的个性化信息，那么两张图片在投影空间里面是有一定距离的，以此表示两者的不同。而这就代表了分布的均匀性，指的是在投影球面上比较均匀，而不会说因为都是关于狗的图片，而聚到球面的同一个点中去，那就会忽略掉很多个性化的信息。这就是说为什么Uniformity分布均匀代表了编码和投影函数f保留了更多的个性化信息。

一个好的对比学习系统，要兼顾这两者。既要考虑Alignment，相似实例在投影空间里距离越近越好。也要考虑Uniformity，也就是不同实例在投影空间里面分布要均匀一些，让实例映射成embedding之后尽可能多的保留自己的个性化信息。

摘要

对比学习(CL)最近在推荐领域激发了富有成效的研究，因为它从原始数据中提取自监督信号的能力与推荐系统解决数据稀疏性问题的需求非常一致。基于CL的推荐模型的一个经典途径是首先用结构扰动去进行增强用户-项目二部图，然后最大化不同图增强之间的节点表示一致性。尽管这种模式被证明是有效的，但性能提高的根本原因仍然是一个谜。在本文中，我们首先通过实验揭示，在基于CL的推荐模型中，CL通过学习更均匀的用户/项目表示，这隐式地减轻了流行度偏差。同时，我们揭示了图增强操作，过去它被认为是必要的，但只是发挥一个微不足道的作用。在此基础上，我们提出了一种简单的CL方法，它不再使用图的增强，而是在嵌入空间中添加均匀的噪声，以创建对比视图。对三个基准数据集的综合实验研究表明，该方法虽然看起来非常简单，但可以平稳地调整学习表示的均匀性，并且在推荐精度和训练效率方面比基于图增强的方法具有明显的优势。该代码已在https://github.com/Coder-Yu/QRec网站上发布。

1 介绍

近年来，对比学习(CL)[12,13,17]在深度表示学习中得到了复兴。由于CL能够从大量未标记数据中提取总体特征并以自监督的方式规范表示，CL在多个研究领域[5,7,29,36]取得了重大进展。由于CL中不需要数据标注，因此它是推荐系统[9,23]中数据稀疏性问题的解决方法。最近越来越多的研究表明，[29,33,39,41,45,46]试图利用CL来提高推荐性能，并显示出了显著的成果。[29]将CL应用于推荐的一种经典方法是，首先使用结构扰动（例如，随机边/节点dropout）来增强用户-项目二部图，然后最大化通过图编码器学习的不同视图下的表示的一致性。在此设置中，CL任务作为辅助任务，并与推荐任务进行联合优化（图1）。

然而，尽管CL取得了好的性能，但性能增长的根本原因仍不清楚。直观地说，我们假设通过随机边/节点dropout可以随机去除冗余和杂质，对比不同的图增强可以捕获原始用户-项目交互中存在的本质信息。出乎意料的是，[15,39,47]最新的一些工作报告认为，即使是在CL中非常稀疏的图增强（边dropout为0.9）也可以带来性能提高。这种现象是相当难以捉摸和违反直觉的，因为一个大的dropout率将导致原始信息的巨大损失和一个高度倾斜的图结构。这自然提出了一个有意义的问题：当将CL与推荐集成时，我们真的需要图增强吗？

为了回答这个问题，我们首先分别进行了有和没有图增强的实验，以进行性能比较。结果表明，当没有图增强时，其性能也可以与具有图增强的相进行比较。通过可视化表示的分布与它们的性能关联起来，我们发现对推荐性能真正重要的是CL的损失，而不是图的增强。无论是否使用图增强，优化对比损失InfoNCE[19]学习更均匀的用户/项目表示，这都在减少流行度偏差[4]方面发挥了隐性作用。尽管不像预期的那么有效，但图的增强并不是完全没用的，因为原始图的适当扰动有助于学习对干扰因子[1,5]不变的表示。然而，生成指定的图增强需要在训练过程中不断地重建图的邻接矩阵，这是相当耗时的。此外，删除一个临界边/节点（例如，一条边）可能会将一个连接图分割成几个断开的部分，这可能会使增强图和原始图共享很少的可学习不变性。鉴于这些缺陷，接下来就出现了一个后续问题：是否有更有效的增强方法？

在本文中，我们对这个问题作出了肯定的回答。在发现表示分布的均匀性是关键的基础上，我们开发了一种无图增强的CL方法，其中均匀性更可控。从技术上讲，我们遵循图1中所示的图CL框架，但我们放弃了基于dropout的图增强，而是在原始表示中添加随机均匀噪声，以实现表示层的数据增强。施加不同的随机噪声会在对比视图之间产生差异，而可学习的不变性仍然保持不变。与图增强相比，噪声版本直接将嵌入空间正则化，使其分布更均匀，易于实现，且效率更高。

本文的主要贡献总结如下：

我们通过实验阐明了为什么CL可以提高推荐性能，并说明了InfoNCE的损失是决定性的因素，而不是图的增强。
我们提出了一种简单而有效的无图增强CL推荐方法，可以平滑地调节均匀性。它可以作为繁琐的基于图增强的CL方法的理想替代方法。
我们对三个基准数据集进行了全面的实验研究，结果表明，该方法在推荐精度和模型训练效率方面比基于图增强的方法具有明显的优势。

2 推荐中的图对比学习的研究

2.1 推荐中的图对比学习

CL通常用一组特定的表示不变性来进行数据增强的方式用在推荐中。在本文中，我们回顾了图[29,36]上最常用的基于dropout的增强，它假设对部分结构进行扰动后的表示是不变的。对一种最先进的基于CL的推荐模型SGL[29]进行了研究，该模型执行节点和边dropout来增强原始图，并采用InfoNCE[19]来实现CL。在SGL中的联合学习方案被正式定义为：

其中包括两个损失：推荐损失L