DIEN——biji

是 DIN 的升级版，共分为三层，用户行为层，用户兴趣抽取层，用户兴趣演化层.

用户行为层

用户兴趣抽取层

为了将用户兴趣学习的更加充分，加入了额外 loss，h(t)和e(t+1),e(t+1)`，构建正负样本，类似于多目标的学习。

用户兴趣演化层

为了学习用户和候选item的关系，加入了 attention 机制，Attention + GRU的实现这里给了三种方法：

GRU with attentional input(AIGRU):

$i^`_t=h_t*a_t$
将抽取层的 h_t 与 weight 相乘直接作为演化层 GRU 的输入

Attention based GRU(AGRU):

用 attention weight 替代 GRU的更新门，直接修改 hidden 层为

AGRU 弱化不相关的兴趣

GRU with attentional input(AIGRU):

虽然 AGRU 将 attention score 用于控制 hidden 层的更新，但是用一个数值替换一个向量，会忽略很多信息，这里将attention score 作用到控制 hidden 层更新的 GRU 更新门上。

DIEN——biji相关推荐

CTR深度学习模型之 DIEN(Deep Interest Evolution Network) 的理解与示例
本文介绍阿里提出的兴趣进化网络(Deep Interest Evolution Network,以下简称DIEN. 前一篇文章介绍的 DIN 模型如下图所示: DIN 直接把用户的某个行为作为用户的兴 ...
DIN+DIEN，机器学习唯一指定涨点技Attention
文 | 水哥源 | 知乎 Saying 1. 如果你面对一个全新的机器学习任务,让你来涨点.你可能第一个想到的往往是attention,第一个实现的是attention,第一个真的涨点了的技术也是a ...
注意力机制在推荐模型中的应用——AFM、DIN、DIEN
"注意力机制"来源于人类最自然的选择性注意的习惯.最典型的例子是用户在浏览网页时,会选择性地注意页面的特定区域,忽视其他区域.正是基于这样的现象,在建模过程中考虑注意力机制对预测结 ...
推荐系统（十二）阿里深度兴趣网络（二）：DIEN模型（Deep Interest Evolution Network）
推荐系统(十二)阿里深度兴趣网络(二):DIEN模型(Deep Interest Evolution Network) 推荐系统系列博客: 推荐系统(一)推荐系统整体概览推荐系统(二)GBDT+LR ...
推荐系统之深度兴趣进化网络DIEN
深度兴趣进化网络DIEN 深度兴趣进化网络(Deep Interest Evolution Network,DIEN)是阿里妈妈广告团队发表在AAAI 2019上的工作,是深度兴趣网络DIN模型的升级 ...
CTR --- DIEN论文阅读笔记，及tf2复现
文章目录前言 DIN和DIEN的总体思路 DIN对兴趣建模的缺点 DIEN对兴趣建模的思路结构行为序列层(Behavior Layer) 兴趣抽取层(Interest Extractor Lay ...
【论文导读】2019阿里CTR预估模型---DIEN（深度兴趣演化网络）
前言今天分享一篇阿里2019发表在AAAI上的CTR预估的论文<Deep Interest Evolution Network for Click-Through Rate Predictio ...
【DNN】DIEN算法原理
在阿里的DIN之后,随后推出了DIEN,发表于2018年,论文地址点击这里 . 重点: DIEN相比之前的DIN,主要的trick在于对于用户的长期兴趣和短期兴趣的刻画,引入了有监督的AUGRU网络, ...
注意力机制用于推荐系统问题(DIN，DIEN，BERT4Rec，PRM)
当注意力机制都已经变成很tasteless的手法的时候,使用/魔改注意力机制一定要专注讲好自己的故事-即为什么要用Attention,为什么要魔改Attention. 现阶段从传统的CF,FM等方法到 ...

DIEN——biji

用户行为层

用户兴趣抽取层

用户兴趣演化层

GRU with attentional input(AIGRU):

Attention based GRU(AGRU):

GRU with attentional input(AIGRU):

DIEN——biji相关推荐

最新文章

热门文章