DKN: Deep Knowledge-Aware Network for News Recommendation

Hongwei Wang, Fuzheng Zhang, Xing Xie, Minyi Guo

Shanghai Jiao Tong University, Microsoft Research Asia

http://cn.arxiv.org/pdf/1801.08284v2

在线新闻推荐系统旨在解决新闻的信息爆炸问题，并且给用户推荐个性化的新闻。一般而言，新闻语言高度精简，充满知识实体和常识。

但是，现有方法无法感知这种外界知识，无法完全发现新闻之间潜在的知识层面的联系。这就会造成给用户推荐的新闻局限于简单的模式，无法合理扩展。

为了解决上述问题，这篇文章提出一种深度知识感知网络，DKN，将知识图表示融入到新闻推荐中。DKN是一种基于内容的用于点击率预估的深度推荐框架。DKN的主要部分是一个多通道、单词实体对齐的知识感知卷积神经网络，KCNN，其中融入了新闻在语意层面和知识层面的表示。KCNN将单词和实体作为多通道，在卷积过程中明确保留他们之间的对齐关系。

为了解决用户兴趣多样性，作者们设计了一种注意力模块，用于自适应聚合用户对当前候选新闻的历史行为。在真实在线新闻平台上的大量实验表明，DKN的效果优于STOA深度推荐模型。

现有方法具有一定的缺陷，比如

新闻关联图示如下

知识图嵌入的基础及简介如下

几种转换方法及目标函数简介如下

卷积神经网络用于句子表示的简介如下

对应的图示如下

问题描述如下

DKN整体框架图示如下

基于知识图谱的知识蒸馏图示如下

实体的上下文定义如下

知识图谱中实体的上下文图示如下

下面是知识感知的卷积神经网络介绍

这种方法具有一定的局限性，比如

为了缓解以上局限性，作者们提出了多通道单词实体对齐卷积神经网络，KCNN，简介如下

后续操作还有一些max-over-time pooling和变化的窗口大小。

利用注意力网络提取用户兴趣的方法简介如下

数据集信息描述如下

统计信息描述如下

详细分布如下

参与对比的方法有以下几种

实验参数设置如下

几种模型效果对比如下

结果显示，DKN效果比较稳定

DKN及其变体效果对比如下

一个用户的数据示例如下

注意力可视化图示如下

参数设置对模型效果影响如下

---

我是分割线

---

您可能感兴趣

ADKDD2017|深度交叉网络DCN在广告点击预估中的应用

WWW2018|FwFM加权域分解机在CTR预估中的应用

WSDM2020|InterHAt分层注意力可解释CTR预估(已开源)

CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)

CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)

WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)

CIKM2013|深层结构语意模型DSSM在web搜索中的应用

WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)

SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)

WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)

WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)

KDD2019|个性化注意力在新闻推荐中的应用

SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)

WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用

IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)

KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)

WWW2019|图神经网络在社交推荐中的应用

AAAI2019|自注意力度量学习在下一个商品推荐中的应用

WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用

WWW2015|深度学习在推荐系统跨域用户建模中的应用

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)