深度学习之自编码器（4）变分自编码器

1. VAE原理

基本的自编码器本质上是学习输入 x\boldsymbol xx和隐藏变量 z\boldsymbol zz之间映射关系，它是一个 判别模型（Discriminative model）， 并不是生成模型（Generative model）。那么能不能将自编码器调整为生成模型，方便地生成样本呢？

给定隐藏变量的分布 P(z)\text{P}(\boldsymbol z)P(z)，如果可以学习到条件概率分布 P(x∣z)\text{P}(\boldsymbol x|\boldsymbol z)P(x∣z)，则通过对联合概率分布 P(x,z)=P(x∣z)P(z)\text{P}(\boldsymbol x,\boldsymbol z)=\text{P}(\boldsymbol x|\boldsymbol z)\text{P}(\boldsymbol z)P(x,z)=P(x∣z)P(z)进行采样，生成不同的样本。 变分自编码器（Variational Auto-Encoders，简称VAE）就可以实现此目的，如下图所示：

VAE模型结构

如果从神经网络的角度来理解的话，VAE和前面的自编码器一样，非常直观好理解；但是VAE的理论推导稍复杂，接下来我们先从神经网络的角度取阐述VAE，再从概率角度去推导VAE。

从神经网络的角度来看，VAE相对于自编码器模型，同样具有编码器和解码器两个子网络。解码器接受输入x\boldsymbol xx，输出为隐变量z\boldsymbol zz；解码器负责将隐变量z解码为重建的xˉ\bar\boldsymbol xxˉ。不同的是，VAE模型对隐变量z\boldsymbol zz的分布有显式地约束，希望隐变量z\boldsymbol zz符合预设的先验分布P(z)\text{P}(\boldsymbol z)P(z)。因此，在损失函数的设计上，除了原有的重建误差项，还添加了隐变量z\boldsymbol zz分布的约束项。

1. VAE原理

从概率的角度，我们假设任何数据集都采样自某个分布p(x∣z)p(\boldsymbol x|\boldsymbol z)p(x∣z)，z\boldsymbol zz是隐藏变量，代表了某种内部特征，比如手写数字的图片x\boldsymbol xx，z\boldsymbol zz可以表示字体的大小、书写风格、加粗、斜体等设定，它符合某个先验分布p(z)p(\boldsymbol z)p(z)，在给定具体隐藏变量z\boldsymbol zz的情况下，我们可以从学到了分布p(x∣z)p(\boldsymbol x|\boldsymbol z)p(x∣z)中采样一些列的生成样本，这些样本都具有z\boldsymbol zz所表示的共性。

深度学习之自编码器（4）变分自编码器相关推荐

【阿里云课程】深度生成模型基础，自编码器与变分自编码器
大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第11课中两节,介绍如下: 第1节:生成模型基础本次课程是阿里天池联合有三AI推出的深度学习系列课程第11期,深度生成模型 ...
【深度学习】一个用于styleGAN图像处理的编码器
小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章内容感兴趣的读者,一定要 ...
自编码器，变分自编码器和生成对抗网络异同
一. AE(AutoEncoder) 参考AutoEncoder 1.1 自编码器简单模型介绍自编码器可以理解为一个试图去还原其原始输入的系统. 自动编码模型主要由编码器和解码器组成,其主要目的是 ...
机器学习-自编码器，变分自编码器及其变种的基本原理（一）
本篇从自编码器(Auto-Encoder)入手,进行扩展,论述了监督学习和无监督学习的相关知识.接着讲解了自编码器的各种变种,以及比较难以理解的变分自编码器(Variational Auto-Enco ...
深度学习（五十一）变分贝叶斯自编码器(上)
PyTorch 深度学习:35分钟快速入门——变分自动编码器
变分编码器是自动编码器的升级版本,其结构跟自动编码器是类似的,也由编码器和解码器构成. 回忆一下,自动编码器有个问题,就是并不能任意生成图片,因为我们没有办法自己去构造隐藏向量,需要通过一张图片输入编 ...
深度学习基础（八）—— 稀疏自编码器
自编码器神经网络尝试学习一个: hW,b(x)≈x h_{W,b}(x)\approx x 的函数,换句话说,它尝试逼近一个恒等函数(identity function,或叫证同函数),使得输出 x^ ...
深度学习基础（十一）—— 稀疏自编码器（二）
损失函数无约束时网络的损失函数表达式如下: J(W,b)==1m[∑i=1mJ(W,b;x(i),y(i))]+λ2∑ℓ∑i=1s1∑j=1s2(W(ℓ)ji)21m[∑i=1m∥∥hW,b(x(i ...
torch实现自编码器_Pytorch-自编码器与变分自编码器
提前导包: 1 importtorch2 from torch importnn, optim3 from torch.utils.data importDataLoader4 from torchv ...
大佬原创 | 深度学习60讲453页pdf下载
关注公众号后台回复深度学习即可下载深度学习60讲作者简介机器学习实验室的号主作为一名统计专业的硕士毕业生,一路从数据分析师进阶到深度学习算法工程师.现于杭州一家AI初创公司担任深度学习算法工 ...

深度学习之自编码器（4）变分自编码器

深度学习之自编码器（4）变分自编码器

1. VAE原理

深度学习之自编码器（4）变分自编码器相关推荐

最新文章

热门文章