深度学习-自然语言处理中的近似训练

自然语言处理中的近似训练

跳字模型的核心在于使用softmax运算得到给定中心词wcw_cwc来生成背景词wow_owo的条件概率

P(wo∣wc)=exp(uo⊤vc)∑i∈Vexp(ui⊤vc).P(w_o \mid w_c) = \frac{\text{exp}(\boldsymbol{u}_o^\top \boldsymbol{v}_c)}{ \sum_{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}.P(wo∣wc)=∑i∈Vexp(ui⊤vc)exp(uo⊤vc).

该条件概率相应的对数损失

−log⁡P(wo∣wc)=−uo⊤vc+log⁡(∑i∈Vexp(ui⊤vc)).-\log P(w_o \mid w_c) = -\boldsymbol{u}_o^\top \boldsymbol{v}_c + \log\left(\sum_{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)\right).−logP(wo∣wc)=−uo⊤vc+log(i∈V∑exp(ui⊤vc)).

由于softmax运算考虑了背景词可能是词典V\mathcal{V}V中的任一词，以上损失包含了词典大小数目的项的累加。不论是跳字模型还是连续词袋模型，由于条件概率使用了softmax运算，每一步的梯度计算都包含词典大小数目的项的累加。

对于含几十万或上百万词的较大词典，每次的梯度计算开销可能过大。为了降低该计算复杂度，我们可以使用两种近似训练方法，即负采样（negative sampling）或层序softmax（hierarchical softmax）。由于跳字模型和连续词袋模型类似，本节仅以跳字模型为例介绍这两种方法。

负采样（negative sampling）

负采样修改了原来的目标函数。给定中心词wcw_cwc的一个背景窗口，我们把背景词wow_owo出现在该背景窗口看作一个事件，并将该事件的概率计算为

P(D=1∣wc,wo)=σ(uo⊤vc)P(D=1\mid w_c, w_o) = \sigma(\boldsymbol{u}_o^\top \boldsymbol{v}_c)P(D=1∣wc,wo)=σ(uo⊤vc)

其中的σ\sigmaσ函数与sigmoid激活函数的定义相同：

σ(x)=11+exp⁡(−x).\sigma(x) = \frac{1}{1+\exp(-x)}.σ(x)=1+exp(−x)1.

我们先考虑最大化文本序列中所有该事件的联合概率来训练词向量。具体来说，给定一个长度为TTT的文本序列，设时间步ttt的词为w(t)w^{(t)}w(t)且背景窗口大小为mmm，考虑最大化联合概率

∏t=1T∏−m≤j≤m,j≠0P(D=1∣w(t),w(t+j)).\prod_{t=1}^{T} \prod_{-m \leq j \leq m,\ j \neq 0} P(D=1\mid w^{(t)}, w^{(t+j)}).t=1∏T−m≤j≤m, j=0∏P(D=1∣w(t),w(t+j)).

然而，以上模型中包含的事件仅考虑了正类样本。这导致当所有词向量相等且值为无穷大时，以上的联合概率才被最大化为1。很明显，这样的词向量毫无意义。

负采样通过采样并添加负类样本使目标函数更有意义。设背景词wow_owo出现在中心词wcw_cwc的一个背景窗口为事件PPP，我们根据分布P(w)P(w)P(w)采样KKK个未出现在该背景窗口中的词，即噪声词。设噪声词wkw_kwk（k=1,…,Kk=1, \ldots, Kk=1,…,K）不出现在中心词wcw_cwc的该背景窗口为事件NkN_kNk。假设同时含有正类样本和负类样本的事件P,N1,…,NKP, N_1, \ldots, N_KP,N1,…,NK相互独立，负采样将以上需要最大化的仅考虑正类样本的联合概率改写为

∏t=1T∏−m≤j≤m,j≠0P(w(t+j)∣w(t)),\prod_{t=1}^{T} \prod_{-m \leq j \leq m,\ j \neq 0} P(w^{(t+j)} \mid w^{(t)}),t=1∏T−m≤j≤m, j=0∏P(w(t+j)∣w(t)),

其中条件概率被近似表示为 P(w(t+j)∣w(t))=P(D=1∣w(t),w(t+j))∏k=1,wk∼P(w)KP(D=0∣w(t),wk).P(w^{(t+j)} \mid w^{(t)}) =P(D=1\mid w^{(t)}, w^{(t+j)})\prod_{k=1,\ w_k \sim P(w)}^K P(D=0\mid w^{(t)}, w_k).P(w(t+j)∣w(t))=P(D=1∣w(t),w(t+j))k=1, wk∼P(w)∏KP(D=0∣w(t),wk).

设文本序列中时间步ttt的词w(t)w^{(t)}w(t)在词典中的索引为iti_tit，噪声词wkw_kwk在词典中的索引为hkh_khk。有关以上条件概率的对数损失为

−log⁡P(w(t+j)∣w(t))=−log⁡P(D=1∣w(t),w(t+j))−∑k=1,wk∼P(w)Klog⁡P(D=0∣w(t),wk)=−log⁡σ(uit+j⊤vit)−∑k=1,wk∼P(w)Klog⁡(1−σ(uhk⊤vit))=−log⁡σ(uit+j⊤vit)−∑k=1,wk∼P(w)Klog⁡σ(−uhk⊤vit).\begin{aligned} -\log P(w^{(t+j)} \mid w^{(t)}) =& -\log P(D=1\mid w^{(t)}, w^{(t+j)}) - \sum_{k=1,\ w_k \sim P(w)}^K \log P(D=0\mid w^{(t)}, w_k)\ \\ =&- \log \sigma\left(\boldsymbol{u}_{i_{t+j}}^\top \boldsymbol{v}_{i_t}\right) - \sum{k=1,\ w_k \sim P(w)}^K \log\left(1-\sigma\left(\boldsymbol{u}_{h_k}^\top \boldsymbol{v}_{i_t}\right)\right)\\\ =&- \log \sigma\left(\boldsymbol{u}_{i_{t+j}}^\top \boldsymbol{v}_{i_t}\right) - \sum{k=1,\ w_k \sim P(w)}^K \log\sigma\left(-\boldsymbol{u}_{h_k}^\top \boldsymbol{v}_{i_t}\right). \end{aligned} −logP(w(t+j)∣w(t))== =−logP(D=1∣w(t),w(t+j))−k=1, wk∼P(w)∑KlogP(D=0∣w(t),wk) −logσ(uit+j⊤vit)−∑k=1, wk∼P(w)Klog(1−σ(uhk⊤vit))−logσ(uit+j⊤vit)−∑k=1, wk∼P(w)Klogσ(−uhk⊤vit).

现在，训练中每一步的梯度计算开销不再与词典大小相关，而与KKK线性相关。当KKK取较小的常数时，负采样在每一步的梯度计算开销较小。