框架

这里通过直接对联合分布进行近似的方式，简明快捷地给出了 VAE 的理论框架。

直面联合分布

出发点依然没变，这里再重述一下。首先我们有一批数据样本 {x1,…,xn}，其整体用 x 来描述，我们希望借助隐变量 z 描述 x 的分布 p(x)：

这样（理论上）我们既描述了 p(x)，又得到了生成模型 p(x|z)，一举两得。

接下来就是利用 KL 散度进行近似。但我一直搞不明白的是，为什么从原作 Auto-Encoding Variational Bayes 开始，VAE 的教程就聚焦于后验分布 p(z|x) 的描述？

也许是受了 EM 算法的影响，这个问题上不能应用 EM 算法，就是因为后验分布 p(z|x) 难以计算，所以 VAE 的作者就聚焦于 p(z|x) 的推导。 

但事实上，直接来对 p(x,z) 进行近似是最为干脆的。具体来说，我们设想用一个新的联合概率分布 q(x,z) 来逼近 p(x,z)，那么我们用 KL 散度来看它们的距离：

KL 散度是我们的终极目标，因为我们希望两个分布越接近越好，所以 KL 散度越小越好。由于我们手头上只有 x 的样本，因此利用 p(x,z)=p(x)p(z|x) 对上式进行改写：

这样一来利用 (4) 式，把各个 xi 代入就可以进行计算了，这个式子还可以进一步简化，因为：

而：

注意这里的 p(x) 是根据样本 x1,x2,…,xn 确定的关于 x 的先验分布（更常见的写法是 p̃(x)），尽管我们不一定能准确写出它的形式，但它是确定的、存在的，因此这一项只是一个常数，所以可以写出：

目前最小化 KL(p(x,z)‖q(x,z)) 也就等价于最小化 L。注意减去的常数一般是负数（概率小于 1，取对数就小于 0），而 KL 散度本来就非负，非负数减去一个负数，结果会是一个正数，所以 L 恒大于一个某个正数。

你的VAE已经送达

到这里，我们回顾初衷——为了得到生成模型，所以我们把 q(x,z) 写成 q(x|z)q(z)，于是就有：

再简明一点，那就是：

看，括号内的不就是 VAE 的损失函数吗？只不过我们换了个符号而已。我们就是要想办法找到适当的 q(x|z) 和 q(z) 使得 L 最小化。

再回顾一下整个过程，我们几乎都没做什么“让人难以想到”的形式变换，但 VAE 就出来了。所以，没有必要去对后验分布进行分析，直面联合分布，我们能更快捷地到达终点。

不能搞分裂

鉴于 (13) 式的特点，我们也许会将 L 分开为两部分看：?z∼p(z|x)[−lnq(x|z)] 的期望和 KL(p(z|x)‖q(z)) 的期望，并且认为问题变成了两个 loss 的分别最小化。

然而这种看法是不妥的，我们前面已经分析了，L 会大于一个正数，这就意味着 ?z∼p(z|x)[−lnq(x|z)] 和 KL(p(z|x)‖q(z)) 两部分的 loss 不可能同时为零——尽管它们每一个都有可能为 0。这也表明这两部分的 loss 其实是相互拮抗的。

所以，L 不能割裂来看，而是要整体来看，整个的 L 越小模型就越接近收敛，而不能只单独观察某一部分的 loss。

事实上，这正是 GAN 模型中梦寐以求的——有一个总指标能够指示生成模型的训练进程，在 VAE 模型中天然就具备了这种能力了，而 GAN 中要到 WGAN 才有这么一个指标。

实验

截止到上面的内容，其实我们已经完成了 VAE 整体的理论构建。但为了要将它付诸于实验，还需要做一些工作。事实上原论文 Auto-Encoding Variational Bayes 也在这部分做了比较充分的展开，但遗憾的是，网上很多 VAE 教程都只是推导到 (13) 式就没有细说了。

后验分布近似

现在 q(z)，q(x|z)，p(z|x) 全都是未知的，连形式都还没确定，而为了实验，就得把 (13) 式的每一项都明确写出来。

首先，为了便于采样，我们假设 z∼N(0,I)，即标准的多元正态分布，这就解决了 q(z)。那 q(x|z)，p(z|x) 呢？一股脑用神经网络拟合吧。

注：本来如果已知 q(x|z) 和 q(z)，那么 p(z|x) 最合理的估计应该是：

这其实就是 EM 算法中的后验概率估计的步骤，具体可以参考从最大似然到EM算法：一致的理解方式。但事实上，分母的积分几乎不可能完成，因此这是行不通的。所以干脆用一般的网络去近似它，这样不一定能达到最优，但终究是一个可用的近似。

具体来说，我们假设 p(z|x) 也是（各分量独立的）正态分布，其均值和方差由 x 来决定，这个“决定”，就是一个神经网络：

这里的 μ(x)，σ^2(x) 是输入为 x、输出分别为均值和方差的神经网络，其中 μ(x) 就起到了类似 encoder 的作用。既然假定了高斯分布，那么 (13) 式中的 KL 散度这一项就可以先算出来：

也就是我们所说的 KL loss，这在上一篇文章已经给出。

生成模型近似

现在只剩生成模型部分 q(x|z) 了，该选什么分布呢？论文 Auto-Encoding Variational Bayes 给出了两种候选方案：伯努利分布或正态分布。

什么？又是正态分布？是不是太过简化了？然而并没有办法，因为我们要构造一个分布，而不是任意一个函数，既然是分布就得满足归一化的要求，而要满足归一化，又要容易算，我们还真没多少选择。

伯努利分布模型

首先来看伯努利分布，众所周知它其实就是一个二元分布：

所以伯努利分布只适用于 x 是一个多元的二值向量的情况，比如 x 是二值图像时（mnist 可以看成是这种情况）。这种情况下，我们用神经网络 ρ(z) 来算参数 ρ，从而得到：

这时候可以算出：

这表明 ρ(z) 要压缩到 0～1 之间（比如用 sigmoid 激活），然后用交叉熵作为损失函数，这里 ρ(z) 就起到了类似 decoder 的作用。

正态分布模型

然后是正态分布，这跟 p(z|x) 是一样的，只不过 x，z 交换了位置：

这里的 μ(z)，σ^2(z) 是输入为 z、输出分别为均值和方差的神经网络，μ(z) 就起到了 decoder 的作用。于是：

很多时候我们会固定方差为一个常数 σ^2，这时候：

这就出现了 MSE 损失函数。

所以现在就清楚了，对于二值数据，我们可以对 decoder 用 sigmoid 函数激活，然后用交叉熵作为损失函数，这对应于 q(x|z) 为伯努利分布；而对于一般数据，我们用 MSE 作为损失函数，这对应于 q(x|z) 为固定方差的正态分布。

采样计算技巧

前一节做了那么多的事情，无非是希望能将 (13) 式明确地写下来。当我们假设 p(z|x) 和 q(z) 都是正态分布时，(13) 式的 KL 散度部分就已经算出来了，结果是 (16) 式；当我们假设 q(x|z) 是伯努利分布或者高斯分布时，−lnq(x|z) 也能算出来了。

现在缺什么呢？ 采样！

p(z|x) 的作用分两部分，一部分是用来算 KL(p(z|x)‖q(z))，另一部分是用来算 ?z∼p(z|x)[−lnq(x|z)] 的，而 ?z∼p(z|x)[−lnq(x|z)] 就意味着：

我们已经假定了 p(z|x) 是正态分布，均值和方差由模型来算，这样一来，借助“重参数技巧”就可以完成采样。

但是采样多少个才适合呢？标准的 VAE 非常直接了当：一个！所以这时候 (13) 式就变得非常简单了：

该式中的每一项，可以在把 (16)，(19)，(21)，(22) 式找到。这因为标准的 VAE 只采样了一个，所以这时候它就跟普通的 AE 对应起来了。

那么最后的问题就是采样一个究竟够了吗？事实上我们会运行多个 epoch，每次的隐变量都是随机生成的，因此当 epoch 数足够多时，事实上是可以保证采样的充分性的。我也实验过采样多个的情形，感觉生成的样本并没有明显变化。

致敬

这篇文章从贝叶斯理论的角度出发，对 VAE 的整体流程做了一个梳理。用这种角度考察的时候，我们心里需要紧抓住两个点：“分布”和“采样”——写出分布形式，并且通过采样来简化过程。

简单来说，由于直接描述复杂分布是难以做到的，所以我们通过引入隐变量来将它变成条件分布的叠加。而这时候我们对隐变量的分布和条件分布都可以做适当的简化（比如都假设为正态分布），并且在条件分布的参数可以跟深度学习模型结合起来（用深度学习来算隐变量的参数），至此，“深度概率图模型”就可见一斑了。

让我们一起致敬贝叶斯大神，以及众多研究概率图模型的大牛，他们都是真正的勇者。

点击以下标题查看相关内容：

• 变分自编码器VAE：原来是这么一回事

• PaperWeekly 第二十七期 | VAE for NLP

• End-to-End任务驱动对话与数据库的衔接

#作 者 招 募#

让你的文字被很多很多人看到，喜欢我们不如加入我们

我是彩蛋

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 进入作者博客