attention方式的算法

二、attention方式的用户序列建模

1. Deep Interest Network

1.1 简介

《Deep Interest Network for Click-Through Rate Prediction》；在这篇文章提出来的时候，大部分的基于DNN的CTR预估算法都采用如下的套路：a. 首先，将稀疏的高维用户/item特征映射到低维稠密的embedding，然后分组把这些embedding 映射到一组定长的表征向量，然后把这些向量concat起来，然后经过多层的NN，来学习各类特征的交叉特征得到用户的兴趣表征。
然而，这个定长的表征（fixed-length）这一步被作者诟病，认为现有的分组的方式本质上都是池化方式，然后这种方式不能有效的从变化丰富的用户序列行为中提取特征，成了用户兴趣捕获的瓶颈（ps. 听听听听，我和你们讲，我从来都认为NLP和RecSys不分家，但是有些人就是觉得。。。这是不同，你看，这个吐槽fix-length的然后提出自己要引入attention（本质上还是pooling，但是weighted sum pooling），是不是就和以前吐槽seq2seq 的 fix-length 提出attention一个套路，所以我跟你们讲，天底下没有新鲜事儿，所谓创新都是深挖之后的故事会）
当然，在百万/千万级别的稀疏特征上去训练一个网络是一个很大的挑战，当我们使用基于随机梯度的这些优化时候，每个mini-batch只会更新一小部分参数，然而，一般来说为了防止过拟合，我们都需要在loss加上 $L_2$ 或者 $L_1$ 正则项，注意，这两种正则项都是针对参数而非input的，这就会导致对于某些出现次数很少的特征（即在训练样本中少而导致没有足够的学习），本来人家就拿不到多少相关的更新梯度，还被你们无差别搞了一波。这是邪恶的。

2. 1 DIN的创新点

一种基于注意力机制的可以有效考虑序列中用户不同行为对用户兴趣表征的贡献的用户兴趣表征机制。注意：这是它最主要的贡献
两种训练方式
- Mini-batch Aware Regularization：这个主要的生效在于正则项的添加，大致的意思就是，训练中，在网络中，embedding 层的参数最多（进而对 $L_2$ 贡献最多，哦？），所以呢，提出了一种方式来加正则，基本上只有在这个mini-batch里出现的feature的参数才会施加正则惩罚，emmm，比较公正而温柔的正则方式。看下面 $I(xj≠0)nj\frac{I(x_j \neq 0)}{n_j}$ 就代表了特征 $j$ 是不是出现在这个mini-batch 以及出现的占比（占总比）
  $L2(W)=∑j=0N个参数∣∣w∣∣22=∑(X,y∈Bm)∑j=1KI(xj≠0)nj∣∣w∣∣22L_2(W)=\sum_{j=0}^{N个参数}||w||_2^2= \sum_{(X,y \in Bm)}\sum_{j=1}^K\frac{I(x_j \neq 0)}{n_j}||w||_2^2$
- $D i c e$ 激活函数，文章主要是和参数化 $R e L u$ 进行对比。我们知道，relu类（实际上大部分的激活函数）它的跃迁点都是 $x = 0$ 这个点，且对于所有的输入都一致，但是呢，随着训练的进行，很可能出现内部**协变量偏移（interal covariate shift）**这么个玩意儿，这会导致什么大家都知道（不知道的google下batch normlization）。而 $D i c e$ 其实也就用了BN的解决办法。公式大概如下：
$\frac{1}{1+ e^{\frac{s - E(s)}{sqrt(Var(s)+e)}}}$
$f (s) = p (s) * s + (1 - p (s)) * a * s$

2. Deep Interest evolvation