推荐系统行为序列建模-GRU4Rec

2024-06-17 13:59:42

推荐系统行为序列建模-GRU4Rec

1.模型结构
2.优化
- 2.1 SESSION-PARALLEL MINI-BATCHES
- 2.2 SAMPLING ON THE OUTPUT
3.Loss

《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》论文基于单次会话session进行推荐。

1.模型结构

整体结构比较简单，通过RNN的堆叠来抽取序列信息

input：单次会话的点击序列 $x_1, x_2,...x_n]$
output：时间节点i之后的下一个被点击item $x_{i+1}$

初始embedding是对会话点击序列的编码，通过最后一层GRU后，获得对当前会话序列的整体建模 $w_1$ ，之后可以视为与候选item编码构成的矩阵 $w_2$ 作用得到对各候选item的推荐倾向

2.优化

为了加速训练，作者提出了两个trick：

2.1 SESSION-PARALLEL MINI-BATCHES

GRU4Rec聚焦于单个Session的演变，碎片化Session没有意义

为了保证Session内的连续性和Session间的独立性：

同一Mini-batch并行运算，不同的按序串行
切换Session时，重置GRU隐变量(如 $i_{1,3}$ 到 $i_{5,1}$ 时)

2.2 SAMPLING ON THE OUTPUT

item数量太多负采样困难，选取了同一个batch 中其他 Session 下一个点击的 item 作为负样本，局部负采样

3.Loss

BPR： $−1Ns∑j=1Nslog(σ(r^s,j>r^s,i))-\frac{1}{N_{s}}\sum_{j=1}^{N_{s}}log(\sigma(\hat{r}_{s,j} > \hat{r}_{s,i}))$
TOP1: $−1Ns∑j=1Nsσ(r^s,j>r^s,i)+σ(r^s,j2)-\frac{1}{N_{s}}\sum_{j=1}^{N_{s}}\sigma(\hat{r}_{s,j} > \hat{r}_{s,i}) + \sigma(\hat{r}_{s,j}^2)$

推荐系统行为序列建模-GRU4Rec相关推荐

推荐系统遇上深度学习(八十七)-[阿里]基于搜索的用户终身行为序列建模
本文介绍的论文是<Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Thr ...
从顶会论文看2022年推荐系统序列建模的趋势
©作者 | 猫的薛定谔最近看了 22 年几篇顶会的序列建模的文章,模型无不复杂高深,但细细看后,发现这些文章本质上均是输入的变化,模型只为了配合输入.看看最近的顶会是怎么玩的吧. 背景序列建模的目 ...
CIKM 2022｜FwSeqBlock: 一种在序列建模中增强行为表征的方法
©作者 | 钱浩单位 | 北邮 GAMMA Lab 研究方向 | 图神经网络论文标题: Uncovering the Structural Fairness in Graph Contrastiv ...
Recsys'21 | 基于Transformers的行为序列建模
第一篇,推荐系统在NLP的肩膀上前进. 第二篇,基于Transformers的行为序列建模. 第三篇,业界基于Transformers的序列推荐建模调研. 本文提出了一整套序列推荐建模的pipelin ...
独家 | 一文读懂序列建模（deeplearning.ai）
作者:Pulkit Sharma,2019年1月21日翻译:陈之炎校对:丁楠雅本文约11000字,建议阅读10+分钟. 本文为你详细介绍序列模型,并分析其在不同的真实场景中的应用. 简介如何预 ...
AI技术内参021-SIGIR2018论文精读：如何对搜索页面上的点击行为进行序列建模？
021 | SIGIR 2018论文精读:如何对搜索页面上的点击行为进行序列建模? 今天我们将继续来精读SIGIR 2018的论文. 我们已经分享了SIGIR 2018的最佳论文,介绍了如何对推荐系统 ...
【序列建模】DIN深度兴趣网络
[序列建模]DIN深度兴趣网络通过用户的历史行为序列刻画用户兴趣的广泛性,是推荐系统比较大的一个难点,用户历史行为序列建模的研究经历了从Pooling.RNN到attention.capsule再到 ...
求序列中第k小的数_推荐算法序列建模现状
本篇文章主要是自己记录的相关序列建模.用户行为embedding向量的调研现状. 目录一.序言二.序列编码 (a)RNN (b)CNN (c)Attention 三.相关文献 1.attentio ...
序列建模：时间卷积网络取代RNN（An Empirical Evaluation of Generic Convolutional and Recurrent）论文 pdf
下载地址:https://u20150046.ctfile.com/fs/20150046-376633283 作者:Shaojie Bai, J. Zico Kolter, Vladlen Kolt ...

最新文章

热门文章