2021-08-27 BERT4Rec简介

1. BERT4Rec简介

根据用户历史的行为，对用户动态的偏好进行建模，对于推荐系统来说是有挑战的和重要的。之前的算法使用序列神经网络从左向右地编码用户的历史交互信息为隐含表示，进而进行推荐，因此只利用了单向的信息进行建模。尽管它们是有效的，但由于存在以下限制，我们认为这种从左到右的单向模型是次优的：

单向结构限制了用户行为序列中隐藏表示的能力；
之前的序列神经网络经常采用严格有序的序列，这并不总是可行的；

为了解决这些限制，我们提出了一个称为BERT4Rec的序列推荐模型，该模型采用深层的双向自注意力来对用户行为序列进行建模。为了避免信息泄漏并有效地训练双向模型，我们采用Cloze目标进行序列推荐，通过联合item左右的上下文来预测序列中随机masked item。用这种方式，我们学习了双向表示模型，允许用户历史行为中的每个item融合左右两侧的信息来作出推荐。在四个基准数据集上进行的大量实验表明，我们的模型始终优于各种最新的序列模型。

2. 背景

精确地捕捉用户的兴趣，是推荐系统的核心问题。在许多实际应用中，用户当前的兴趣本质上是动态变化的，受其历史行为的影响。例如，尽管在正常情况下不会购买游戏机配件，但在购买Nintendo Switch之后，你可能会很快购买配件（例如Joy-Con控制器）。

为了捕捉用户的偏好的动态变化，提出了许多根据用户历史交互信息的序列推荐算法，最早使用马尔科夫对用户序列进行建模，其中一些方法的强假设破坏了推荐系统的准确性。近期，一些序列神经网络在序列推荐问题中取得了不俗的效果。最基本的思想就是将用户的历史序列自左向右编码成一个向量，然后基于这个向量进行推荐。

尽管它们具有普遍性和有效性，但我们认为这样从左到右的单向模型不足以学习用户行为序列的最佳表示。主要因为这种单向模型限制了历史序列中items的隐藏表示的功能，其中每个item只能编码来自先前item的信息。另一个限制是，先前的单向模型最初是针对具有自然顺序的序列数据（例如，文本和时间序列数据）引入的。他们经常对数据采用严格的顺序排列，这对于现实应用程序中的用户行为并不总是正确的。实际上，由于各种不可观察的外部因素，用户的历史交互中的item选择可能不会遵循严格的顺序假设。在这种情况下，至关重要的是将两个方向的上下文合并到用户行为序列建模中。

为了解决上述限制，本篇文章的创新点：

提出了一种基于双向self-attention和Cloze task的用户行为序列建模方法。据我们所知，这是第一个将深度序列模型和Cloze task引入推荐系统的研究。
将我们的模型与最先进的方法进行了比较，并通过对四个基准数据集的定量分析，证明了本文算法的有效性。
我们进行了一项消融分析，分析了模型中关键部件的贡献。

3. BERT4Rec模型介绍

3.1 问题定义

定义，为用户集合， $V = \left\{ v_{1}, v_{2},...,v_{|V|} \right\}$ 为物品集合， $S_{u} = \left[ v_{1}^{(u)}, ... ,v_{t}^{(u)}, ..., v_{n_{u}}^{(u)}\right]$ 为用户历史行为序列。我们的目标是预测下一时刻用户与每个候选物品交互的概率：

3.2 模型结构

如下图（b）所示，含有L层的Transformer，每一层利用前一层所有的信息。相比于图（d）基于RNN的推荐模型，self-attention可以捕获任意位置的信息。相比于基于CNN的推荐模型，可以捕获整个field的信息。相比于图（c）和图（d）的模型（都是left-to-right的单向模型），本文提出的双向模型可以解决现有模型的问题。