推荐系统炼丹笔记：阿里DMIN多重兴趣网络

作  者：一元
公众号：炼丹笔记

背景

许多现有的建模开始基于用户的历史行为序列进行建模并且取得了相当不错的效果,为了捕获用户动态和变化的兴趣, 我们观测到用户经常在某个时间点拥有大量的兴趣, 与此同时, 潜在的主导兴趣是通过行为表现出来的。潜在主导兴趣的切换会导致最终的行为变化。因此,建模和跟踪潜在的多重兴趣将是有益的。本篇文章,我们提出了一种新的方法DMIN(Deep Multi-Interest Network),通过建模用户潜在的对于CTR任务的多兴趣,来提升模型的效果。

模型

本文的核心框架如下：

和其它文章不一样的地方在于,DMIN有两大核心的组成成份, Behavior Refiner Layer以及Multi-Interest Extractor Layer。

Embedding Layer

此处共存在四组特征:用户的Profile信息,用户的历史行为,上下文信息以及目标商品信息。

用户Profile信息：例如用户的id, 国家等信息;
目标商品(Target Item)：带有特定特征的候选商品,例如item id,类别id,统计的ctr等信息;
用户历史行为: 用户历史点击/加购/购买的商品；
上下文信息: 包括时间,匹配类型,trigger id等;

Behavior Refiner Layer

我们对用户的行为序列使用multi-head self-attention来微调商品的表示。

1. 辅助Loss

在获得提炼的商品表示之后,我们需要从提炼的商品表示中抽取大量的兴趣。我们使用另外一个multi-head self-attention来获取这些兴趣。

最后我们使用attention单元来捕捉每个输出的head和目标商品的相关性,此外,我们加入位置的embedding来引入位置信息,因为,第h个用户的兴趣可以被表示为：

最终的Loss

实验

Wide & Deep和手工设计的特征表现不佳。
PNN是一个自动学习特征间交互的表，它比Wide & Deep要好。
DIN表示用户对目标项的兴趣，结果优于Wide&Deep和PNN。
DIEN使用一个特别设计的GRU结构来捕捉用户兴趣的变化，这有助于获得比DIN更好的兴趣表示。
DMIN在三个数据集中的AUC得分最高，显示了对用户潜在的多重兴趣进行建模和跟踪的有效性。
辅助损失函数和位置嵌入的使用带来了非常大的增益

小结

针对CTR预测任务，本文提出了一种新的用户潜在多重兴趣网络(DMIN)建模方法。具体地说，我们设计了一个行为提炼(Refined)层，使用多头自我注意来捕捉更好的用户历史商品表示。然后应用多兴趣提取层提取多用户兴趣。实验结果也验证该方案的优势。

参考文献

Deep Multi-Interest Network for Click-through Rate Prediction:https://dl.acm.org/doi/pdf/10.1145/3340531.3412092