Gibbs采样算法求解LDA

1. Gibbs采样算法求解LDA的思路

首先，回顾LDA的模型图如下：

在Gibbs采样算法求解LDA的方法中，我们的α,η是已知的先验输入,我们的目标是得到各个 $z_{dn}$ , $w_{kn}$ 对应的整体 $\vec{z}$ , $\vec{w}$ 的概率分布，即文档主题的分布和主题词的分布。由于我们是采用Gibbs采样法，则对于要求的目标分布，我们需要得到对应分布各个特征维度的条件概率分布。

　　具体到问题，我们的所有文档联合起来形成的词向量 $\vec{w}$ 是已知的数据，不知道的是语料库主题 $\vec{z}$ 的分布。假如我们可以先求出w,z的联合分布p( $\vec{w}$ , $\vec{z}$ )，进而可以求出某一个词 $w_{i}$ 对应主题特征 $z_{i}$ 的条件概率分布p( $z_{i}$ =k| $w_{i}$ , $\vec{}z_{\rightharpoondown i}$ )。其中， $\vec{}z_{\rightharpoondown i}$ 代表去掉下标为i的词对应的主题后的主题分布。有了条件概率分布 p( $z_{i}$ =k| $w_{i}$ , $\vec{}z_{\rightharpoondown i}$ )，我们就可以进行Gibbs采样，最终在Gibbs采样收敛后得到第i个词的主题。

如果我们通过采样得到了所有词的主题,那么通过统计所有词的主题计数，就可以得到各个主题的词分布。接着统计各个文档对应词的主题计数，就可以得到各个文档的主题分布。

　　以上就是Gibbs采样算法求解LDA的思路。

2. 主题和词的联合分布与条件分布的求解

要使用Gibbs采样求解LDA，关键是得到条件概率 p( $z_{i}$ =k| $w_{i}$ , $\vec{}z_{\rightharpoondown i}$ )的表达式。那么这一节我们的目标就是求出这个表达式供Gibbs采样使用。

首先我们简化下Dirichlet分布的表达式,其中△(α)是归一化参数：

现在我们先计算下第d个文档的主题的条件分布p( $\vec{z_{d}}$ |α)，在上一篇中我们讲到α→ $\theta _{d}$ → $\vec{z}$ 组成了Dirichlet-multi共轭,利用这组分布，计算 p( $\vec{z_{d}}$ |α)如下：

其中在第d个文档中，第k个主题的词的个数表示为： $n_{d}^{(k)}$ , 对应的多项分布的计数可以表示为:

$\vec{n_{d}}$ =( $n_{d}^{(1)}$ , $n_{d}^{(2)}$ , $n_{d}^{(3)}$ ,... $n_{d}^{(k)}$ )

有了单一一个文档的主题条件分布，则可以得到所有文档的主题条件分布为：

同样的方法，可以得到，所有主题对应的词的条件分布p( $\vec{w}$ | $\vec{z}$ , $\vec{\eta }$ )为：

其中，第k个主题中，第v个词的个数表示为： $n_{k}^{(v)}$ , 对应的多项分布的计数可以表示为

$\vec{n_{k}}$ =( $n_{k}^{(1)}$ , $n_{k}^{(2)}$ , $n_{k}^{(3)}$ ,... $n_{k}^{(v)}$ ） $\vec{w_{d}}$

最终我们得到主题和词的联合分布p( $\vec{w}$ , $\vec{z}$ | $\vec{\alpha }$ , $\vec{\eta }$ )如下：

有了联合分布，现在我们就可以求Gibbs采样需要的条件分布 p( $z_{i}$ =k| $w_{i}$ , $\vec{}z_{\rightharpoondown i}$ )了。

对于下标i,由于它对应的词 $w_{i}$ 是可以观察到的，因此我们有：

对于 $z_{i}$ =k, $w_{i}$ =t它只涉及到第d篇文档和第k个主题两个Dirichlet-multi共轭，即：

$\vec{\alpha }$ → $\vec{\theta _{d}}$ → $\vec{z_{d}}$

$\vec{\eta }$ → $\vec{\beta _{k}}$ → $\vec{w_{d}}$

其余的M+K−2个Dirichlet-multi共轭和它们这两个共轭是独立的。如果我们在语料库中去掉 $z_{i}$ , $w_{i}$ 并不会改变之前的M+K个Dirichlet-multi共轭结构，只是向量的某些位置的计数会减少，因此对于 $\vec{\theta }$ , $\vec{\beta }$ ,对应的后验分布为：

现在开始计算Gibbs采样需要的条件概率:

在上一篇LDA基础里我们讲到了Dirichlet分布的期望公式，因此我们有：

最终我们得到每个词对应主题的Gibbs采样的条件概率公式为：

有了这个公式，我们就可以用Gibbs采样去采样所有词的主题，当Gibbs采样收敛后，即得到所有词的采样主题。

　　利用所有采样得到的词和主题的对应关系，我们就可以得到每个文档词主题的分布 $\theta _{d}$ 和每个主题中所有词的分布 $\beta _{k}$ 。