自编码器(Auto-encoder) (上)

auto-cencoder简单介绍

why auto-cencoder ?

what's benefit is change high-dimension to low-dimension ?

De-noising Auo-Encoder

auto-cencoder简单介绍

Encoder就是把高维的转为低维的向量（所以这个低维的向量叫做bottleneck），我感觉VAE与UNet以及Cycle GAN类似

why auto-cencoder ?

what's benefit is change high-dimension to low-dimension ?

为什么缩减了dimension的vector可以还原为原来大dimension的图片呢？

对于影像来说，并不是所有 3×3 的矩阵都是图片，图片的变化其实是有限的，你随便 Sample 一个 Random 的 Noise，随便 Sample 一个矩阵，出来它通常都不是你会看到的图片，或举例来说，假设图片是 3×3 的，那它的变化，虽然表面上应该要有 3×3 个数值，才能够描述 3×3 的图片，但是也许它的变化实际上是有限的，也许你把图片搜集起来发现说，它只有这样子的类型，跟这样子的类型，其他类型根本就不是，你一般在训练的时候会看到的状况，就是因为说图片的变化还是有限的，所以你在做这个 Encoder 的时候，Encoder 可以说，我就只用两个维度就可以描述一张图片，虽然图片是 3×3，应该用 9 个数值才能够储存，但是实际上它的变化也许只有两种类型，那你就可以说看到这种类型就可以表示一张图片，我就左边这个维度是 1 右边是 0，看到这种类型就左边这个维度是 0，右边这个维度是 1，

所以对应到刚才这个樊一翁的例子，就是这个胡子是图片复杂的状态，是原来的图片，而 Encoder 做的事情就是化繁为简，本来比较复杂的东西，它只是表面上比较复杂，事实上它的变化其实是有限的，你只要找出它有限的变化，你就可以把本来复杂的东西，把它变得用比较简单的方法来表示它，如果我们可以把复杂的图片，用比较简单的方法来表示它，那我们就只需要比较少的训练资料，在下游的任务里面，我们可能就只需要比较少的训练资料，就可以让机器学到我们本来要它学的事情，这个就是 Auto-Encoder 的概念，

De-noising Auo-Encoder

通过添加杂讯（噪声），然后使Auo-Encoder除了具有原声的Auo-Encoder的能力外还要具有去除杂讯的功能，

BERT与De-noising Auo-Encoder相似，BERT的decoder不一定非得是Linear

https://www.youtube.com/watch?v=3oHlf8-J3Nc&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J&index=22&t=232s