Socially-Aware Self-Supervised Tri-Training for Recommendation

摘要

自监督学习(SSL)可以从原始数据中自动生成真实样本，在改进推荐系统方面具有巨大的潜力。现有的基于ssl的方法通过节点/边dropout干扰原始数据图，生成新的数据视图，然后对不同视图进行基于对比学习的自识别，学习通用的表示。 在该模式下，只在两个不同视图的节点之间建立一个双射映射，说明忽略了来自其他节点的自监督信号。由于在推荐系统中被广泛观察到的同质性，我们认为来自其他节点的监督信号也很有可能有利于推荐的表示学习。为了捕获这些信号，本文提出了一种集成 tri-training的通用社交感知SSL框架。从技术上讲，我们的框架首先通过用户的社交信息来增强用户的数据视图。然后在多视图编码的tri-training机制下，该框架在增强视图上构建三个图编码器（只有一个编码器用于推荐），并利用其他两个编码器生成的其他用户的自监督信号对每个编码器进行迭代更新。由于tri-training是在自监督信号的相同数据源的增强视图上进行的，因此我们将其命名为 self-supervised tri-training。在多个真实数据集上进行的大量实验一致地验证了self-supervised tri-training框架改进推荐的有效性。代码： https://github.com/Coder-Yu/QRec.

1 介绍

自监督学习(SSL)是一种不需要人工标注标签的新型学习范式，最近在许多领域受到了相当广泛的关注。由于SSL的基本思想是从原始数据中学习自动生成的监督信号，可以解决推荐系统中的数据稀疏性问题，因此SSL在提高推荐性能方面具有巨大的潜力。自监督图表示学习的最新进展已经证明是一种有效的基于图的任务训练模式。也就是说，通过使用节点/边dropout或随机特征变换/掩蔽原始图来执行随机增强，以创建补充视图，然后最大化同一节点但从不同视图学习的表示之间的一致性，这称为图对比学习。受其有效性的启发，一些研究遵循这个训练模式，并致力于将其移植到推荐中。

通过这些研究的努力，自监督推荐领域最近已经被证明了一些有潜力的结果，表明从随机增强中挖掘监督信号是可取的。然而，与其他基于图的任务相比，推荐是截然不同的，因为在用户和商品之间有广泛观察到的同质性。大多数现有的基于ssl的方法是对增广视图进行基于自识别的对比学习，以学习针对原始数据的通用表示。在该方案下，在两个不同视图中的节点之间建立一个双射，一个给定的节点可以在另一个视图中从它本身挖掘信息。同时，将在潜在空间中的其他节点视为与给定节点被推开远离的负节点。一些节点是假负样本，由于同质性，它们与给定的节点相似，如果它们被识别为正样本，那么在推荐下，实际上可以有利于表示学习。相反，把它们粗略地归入负样本可能会导致性能下降。

为了解决这一问题，本文提出了一种将 tri-training（多视图共同训练）与SSL相结合的社交感知SSL框架。补充的视图可以捕获用户之间的同质性，从另一个隐式反映用户偏好的数据源中捕捉社交关系。由于在过去的十年中社交平台的流行，社交关系现在在许多推荐系统中都很容易获得。我们利用用户-用户和用户-项目交互中的三元结构来增强两个补充数据视图，并分别将其解释为用户在扩展社交圈的兴趣和向朋友分享项目的兴趣。考虑到用户-项目视图包含了用户的历史购买，我们有三个视图从不同的角度描述用户的偏好，并提供一个场景来融合 tri-training和SSL。

tri-training是一种流行的半监督学习算法，它使用三种分类器利用无标签数据。在本工作中，我们利用它来挖掘具有多视图编码的推荐系统中其他用户的自监督信号。从技术上讲，我们首先在三个视图上构建了三个非对称图编码器，其中两个仅用于学习用户表示和给出伪标签，另一个针对用户-项目视图完成生成推荐的任务。然后，我们动态地扰乱社交网络和用户-项目交互图，创建一个无标签的样本集。在tri-training机制下，在每轮期间，其他两个视图上的编码器预测当前视图中每个用户的无标签的样本集中最可能的语义正样本。然后，该框架通过所提出的基于邻居识别的对比学习细化用户表示，即最大化当前视图中有标签与无标签数据集的用户表示之间的一致性来细化用户表示。随着所有编码器在这个过程中不断改进，生成的伪标签也变得更丰富，这反过来又递归地使编码器再次受益。因此，与仅通过自识别SSL方案增强的推荐编码器相比，用户-项目视图上的推荐编码器变得更强。由于tri-training是基于同一数据源的补充视图来学习自监督信号，因此我们将其命名为自监督tri-training。

这篇论文主要的贡献总结如下：

我们提出了一个通用的社交意识自监督tri-training推荐框架。通过在此框架下统一推荐任务和SSL任务，推荐性能可以取得显著的改进。
我们提出从其他用户中挖掘积极自监督信号，并开发一种基于邻居识别的对比学习方法。
我们在多个真实数据集上进行了广泛的实验，以证明所提出的SSL框架的优势，并通过全面的消融研究来研究该框架中每个模块的有效性。

本文的其余部分的结构如下。第二节总结了推荐和SSL的相关工作。第3节介绍了所提出的框架。实验结果报告见第4节。最后，第5节总结了本文的结论。

2 相关工作

2.1 图神经推荐模型

近年来，图神经网络(GNNs)因其在解决图相关推荐任务的有效性而在推荐系统领域受到了广泛的关注。特别是，GCN，作为GNNs的普遍公式，即谱图卷积的一阶近似，已经驱动了大量的图神经推荐模型，如GCMC，NGCF和LightGCN。这些基于GCN的模型的基本思想是通过聚合邻居的嵌入来利用用户-项目图中的高阶嵌入来细化目标节点的嵌入。除了这些通用模型之外，GNNs也被使用到其他针对特定图的推荐方法中，如基于会话的图SR-GNN和DHCN，以及社交网络上的DiffNet和MHCN。值得一提的是，GNN经常被用于社交计算，因为GNN可以很好地捕获社交网络中的信息传播。这就是为什么我们利用社交网络由图神经编码器生成自监督信号的原因。

2.2 在社交推荐中的自监督学习
自监督学习(SSL)是一种新兴的范式，可以通过自动从原始数据中生成的真实样本进行学习。它首先被用于视觉表示学习和语言建模进行模型预训练。SSL的最新进展试图利用这种灵活的学习范式来进行图表示学习。图上的SSL模型主要是利用图的结构来挖掘自监督信号。这一研究方向的主要机制是图对比学习，它对比了同一个图的多个视图，其中不一样的视图是通过对原始图进行随机增强来建立的。常见的随机增强类型包括但不限于节点/边dropout、随机特征/属性变换和使用随机游走的子图采样。

受图对比学习成功的启发，最近有一些工作将同样的想法移植到推荐的场景中。Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization通过随机屏蔽项目的属性、跳过给定序列的项目和子序列来设计辅助的自监督目标，用于预训练顺序推荐模型。姚等人。[37]提出了一种具有统一特征掩蔽和退出的双塔DNN架构，用于自我监督的项目推荐。马氏等人。[19]通过观察长远的未来，挖掘额外的信号进行监控，重建未来的自我监控序列，本质上采用了特征掩蔽。吴等人。[29]总结了图上所有的随机增强，并将其统一为一个一般的自监督图学习框架进行推荐。此外，还有一些研究在集合间的互信息最大化来细化用户表示。

3 提出的框架

在本节中，我们将介绍我们的SElf-suPervised Tri-training 框架，称为SEPT。SEPT的模型如图1所示。

3.1 准备工作

3.1.1 符号

本文使用两个图作为数据源，包括用户-项目交互图 G