2021-09-03DIEN分成两步去抓取用户的兴趣演化：1兴趣抽取层去抽取基于用户行为序列的兴趣序列2兴趣演化层跟target item相关

DIEN分成两步去抓取用户的兴趣演化：

1兴趣抽取层去抽取基于用户行为序列的兴趣序列

2兴趣演化层跟target item相关

然后把最终的兴趣表示和 ad, user profile, context 的嵌入表示concat一下，再输入MLP中。

2.1 兴趣抽取层

如上图所示，淡黄色的部分其实就是兴趣抽取层。这一层是将用户的时间序列嵌入向量e(t)给输入该层。

这层的输入数据规模是 N*T, N是用户数量，T是序列长度，如上图所示。根据论文所说，他们制作了N个行为序列对，这个对（pair）是一个正负序列样本对，每个序列长度为T。

正负样本序列的抽取方式我有点好奇，是 concat（正样本序列，负样本序列），还是mix（正样本序列，负样本序列）

每个特征类别包括多个特征域(feature field)，例如，用户画像特征包括性别，年龄段等；用户行为特征，包括用户点击过的商品，商品的类别，以及所属的商铺等。有一些特征域是单值特征，不同的特征值之间是互斥的，例如，性别只可能属于男或者女，可以转化为one-hot表示；有一些特征域是多值特征，例如用户行为特征，用户可能点击过多个商品，构成一个商品点击序列，只能用multi-hot编码表示。对于单值特征处理比较简单，对于多值特征的处理稍微麻烦些。图1中关于特征域的类型都有标注。展示广告中最重要的特征就是用户的点击序列，属于多值特征，是我们后文介绍的重点。

DIEND主要的改动点就是在通用的行为序列网络中新加了两层网络：

1. 兴趣抽取层（Interest Extractor Layer）: 主要用来从历史行为序列中捕获用户的短期兴趣点，同时新加辅助损失函数，用来监督学习每一步的兴趣点抽取。

2. 兴趣演进层(Interest Evolving Layer): 主要用来捕获用户的兴趣的演进过程。兴趣的演进主要是和点击的目标物品相关。兴趣点（当然是embeding之后的值）特征在这一层会根据点击目标的不同而进行权重的修正（根据不同的目标，对有用的行为进行加强，反之减弱）

在公开数据及工业数据中，DIEN都表现出最牛的成果。尤其在淘宝的展现广告系统中），CTR提升了20.7%.

一般来说，做attention的时候，需要对所有的分数通过softmax做归一化，这样做有两个好处，一是保证权重非负，二是保证权重之和为1。但是在DIN的论文中强调，不对点击序列的attention分数做归一化，直接将分数与对应商品的embedding向量做加权和，目的在于保留用户的兴趣强度。例如，用户的点击序列中90%是衣服，10%是电子产品，有一件T恤和一部手机需要预测CTR，那么T恤会激活大部分的用户行为，使得根据T恤计算出来的用户行为向量在数值上更大，相对手机而言。

DIN的论文中还提出了两个小的改进点。一个是对L2正则化的改进，在进行SGD优化的时候，每个mini-batch都只会输入部分训练数据，反向传播只针对部分非零特征参数进行训练，添加上L2之后，需要对整个网络的参数包括所有特征的embedding向量进行训练，这个计算量非常大且不可接受。论文中提出，在每个mini-batch中只对该batch的特征embedding参数进行L2正则化。第二个是提出了一个激活函数Dice。对于Relu或者PRelu来说，rectified point(梯度发生变化的点)都在0值，Dice对每个特征以mini-batch为单位计算均值和方差，然后将rectified point调整到均值位置。