自编码器（Auto-encoder）的概念和应用

文章目录

1. 基本概念
2. 应用
- 2.1 de-noising auto-encoder
- 2.2 feature disentangle
- 2.3 discrete representation
- 2.4 text as representation
- 2.5 Tree as representation
- 2.6 generator
- 2.7 compression
- 2.8 anomaly detection

1. 基本概念

Auto-encoder包含一个encoder和一个decoder，encoder将原始图片转化为一个低维度的vector，并且期望vector能够尽可能地保留输入图片的特征，这样decoder可以将Vector还原为原始图像，和输入图像越接近越好。

为什么vector可以还原为原始图像呢？假设原始图像为 3 × 3 3\times3 3×3大小，在有些情况下，输入图像可能只包含下图所示的两种类型，那么就可以用2维的向量表示原始图像。这样一来，就可以降低维度，减少运算量。

2. 应用

2.1 de-noising auto-encoder

de-noising auto-encoder为auto-encoder的一种用法，利用auto-encoder去除噪声。

2.2 feature disentangle

因为auto-encoder得到的向量具有原始输入信号的一些信息（图像的纹理、颜色；音频的内容、银色等），feature disentangle利用auto-encoder的向量中的这些信息提取出来，用于下游任务。

例如，如果想要做变声器，就可以将提取的向量中代表音色的维度替换，代表内容的维度保留。

2.3 discrete representation

discrete representation希望通过对vector进行一些限制，使得其可以解决特定的任务。例如生成的vector是one-hot向量，那么就可以使得其传递的信息是分类的结果。

2.4 text as representation

text as representation将原本的输入和输出从向量变成文字，encoder和decoder用seq2se1代替，通过这样的方式得到摘要。

但是由于机器生成的“摘要”不满足正常的文本（无法阅读），因此需要添加额外的discriminator来进行鉴别。生成的摘要要尽量骗过discriminator。

2.5 Tree as representation

2.6 generator

Auto-encoder的decoder部分可以用作generator

2.7 compression

Auto-encoder还可以用作压缩。

2.8 anomaly detection

auto-encoder还可以用作异常检测，如果输入和输出相差较大，则认为输入是异常的，是训练的时候没有见过的图片。

课程链接