论文《Contrastive Learning for Sequential Recommendation》

论文地址：https://arxiv.org/abs/2010.14395

摘要

序列推荐经常因为数据稀疏性问题，导致很难学习到高质量的用户向量表示。论文引入对比学习，提出Contrastive Learning for Sequential Recommendation(CL4SRec).，不仅有下一个序列预测的优势，还利用对比学习框架从原始用户行为序列中获取自监督信号。另外论文提出3种构造自监督信号的数据增强方法，在4个公开数据集上面大量实验表明得到的用户表示更好。

简介

序列推荐任务能捕捉用户动态的兴趣，序列推荐的基本问题是从用户历史交互中学习到高质量的用户表示，因此主要研究工作都是通过更强大的序列模型来得到更好的用户表示。像RNN，Self-Attention能从用户行为中捕获更复杂的用户模式，还有GNN，能从用户序列中探索更复杂的物料转换模式。这些方法的尽管都是用序列预测方式，很容易遇到数据稀疏性问题。

最近自监督学习在表示学习领域有巨大突破，在CV、NLP，直接从未标记数据中抽取数据相关性。一个直接的做法是采用强大的序列模型像GPT，但是在推荐系统中不合适，2点原因

推荐系统通常没有大量的原料库用作预训练，推荐系统各个不同的任务并不共享相同的知识，这会限制预训练的应用
预测式的自监督学习的目标函数和序列推荐的目标函数几乎相同，在相同的数据上应用另外一个目标函数无法帮助用户进行表示学习

基于上述问题，自监督在推荐系统的研究较少。最近的研究试图从原始特征数据的内在结构中提取自监督信号，来增强特征表示。这些研究集中在提升物料表示的水平，如何提升用户表示的研究较少。

我们打算通过用户行为的自监督信号学习更好的用户表示，哪怕只有序列ID信息。模型包括传统的序列预测目标函数和对比学习目标函数。在对比学习的loss约束下，通过在用户序列上面进行不同视角的数据增强，最大化相同序列的不同视角在向量空间的一致性，来编码用户行为表示。此外还提出3种不同的数据增强方式来讲用户行为序列映射成行为序列的不同视角。总结如下：

提出新模型Contrastive Learning for Sequential Recommendation (CL4SRec),第一次将对比学习引入到序列推荐
提出3种不同的数据增强方法，包括裁剪（cropping），遮蔽（masking），重排序（reordering），构造用户行为序列的不同视角
与所有的baseline相比，提升巨大，在7.37%-11.02%

CL4SREC

符号标记和问题陈述

论文中向量用户小写加粗（e.g. $u,v\mathbf{u,v}$ ），矩阵用大写加粗表示（e.g. $R\mathbf{R}$ ）,矩阵 $R\mathbf{R}$ 的第j行表示为 $RjT\mathbf{R}_j^T$ ，使用花体字母表示集合（e.g. $U,V,A\mathcal{U,V,A}$ ），使用 $U\mathcal{U}$ 和 $V\mathcal V$ 表示用户和物料的集合， $∣U∣\vert \mathcal{U} \vert$ 和 $∣V∣\vert \mathcal{V} \vert$ 表示用户和物料的数量，一个用户或者一个物料表示为 $\in \mathcal{U}, v \in \mathcal{V}$ ，用户序列一般是按照时间顺序，因此表示一个用户序列为 $su=[v1(u),v2(u),...,v∣su∣(u)]s_u = [v_1^{(u)}, v_2^{(u)}, ..., v_{\vert s_u \vert}^{(u)}]$ ，其中 $v_t^{(u)}$ 表示用户 $u$ 在时刻 $t$ 交互的行为物料， $s_u \vert$ 表示用户 $u$ 的行为序列长度， $s_{u,t} = [v_1^{(u)}, v_2^{(u)}, ..., v_{t}^{(u)}]$ 表示用户在时刻 $t + 1$ 之前的用户行为子序列。 $A\mathcal A$ 表示增强（augmentations）集合。序列推荐任务就是预测在时刻 $∣su∣+1\vert s_u \vert + 1$ 用户最可能交互的行为物料，表示如下
$vu∗=argmaxvi∈VP(v∣su∣+1(u)=vi∣su)(1)v_u^* = \underset {v_i \in \mathcal V} {argmax} P(v_{\vert s_u \vert + 1}^{(u)} = v_i \vert s_u) \ \ \ \ \ \ \ \ \ \ (1)$

对比学习框架

数据增强模块

每个数据样本应用一个随机的数据增强方法，产生2个相关的新数据样本。如果两个新样本由同一个样本产生，被视为正样本对，如果是