Auto Encoder再学习

一：AutoEncoder基本概念

将输入的比较高维度信息，不管是语音，文字，图像经过encoder转成一个中间状态的向量（也叫做latent code），这是一个低维度的数据，再通过decoder 还原重建成原来的信息的过程。
中间这个向量啊，就是某一种形式的embeeding表示，它最基本的用法就是可以用做其他下游任务的输入。

为什么这种方式是可以的呢？
我们虽然输入的图像的表象很多，但是其样式种类可能不是很多哈，比如颜色和纹理等特征，而且维度之间很多冗余和相关的信息，因此很有可能只使用少量的维度数据就可以表示和编码这个高维数据了。

它有一个常见的变形，就是De-nosing Auto-Endocoder，就是给原始信息加上噪声，这个时候decoder需要学习到去掉噪声后的信息。

当然除了做下游任务以外，还可以有有一些其他好玩的方向。

二：Feature Disentanglement（特征分解）
当图像输入到encoder，latent code包含了图像的物体信息，颜色信息，和纹理信息等。
当语音输入到encoder，latent code包含了语音的内容信息，音频信息，和语者信息等。
当文字输入到encoder，latent code包含了文本的语法信息，和语义信息等。

但是这些信息都是杂糅在一个向量一起的，我们有没办法知道哪些维度是代表了什么资讯呢？要搞清楚哪些维度代表了什么信息，这个技术就是Feature Disentanglement。
代表的论文如图所示：

这个有什么用处呢？比如可以做语音转换。简单来来说呢就是能一个人的语音latentcode按照自己想要的部分和另一个人的语音latentcode的其他部分结合起来，或者多个混杂随便组合，就能产生出不一样的信息出来。

三：Dicrete Latent Repesentation
到目前为止，我们可能印象就是latentcode是一串浮点数啊啥的。现在也许latentcode会是被强制成为二进制的序列，也或者是one-hot向量哦。
二进制序列的好处就是，某一个维度可能就是明确代表了某个特征的有无，简单明了。
one-hot向量就是明确这个物体的种类，可以做到非监督的分类，比如文字数字识别的分类。

四：其他更多的运用场景
latentcode还可以是文字，比如做文章的摘要提取，如下结构所示。

一个autoencoder在训练出来后，除了得到encoder，还有一个就是decoder。它就是GAN里面的generator的功能啊。

除了以上，还可以做压缩的功能，不过呢会是有损压缩。

还可以做异常检测，我们通常只能获得正常的信息，异常的信息很少或者几乎获取不到，且千奇百怪，怎么能运用AE来做异常检测呢？在机器学习的部分我们学习到的是通过比较信息维度的相似度，各种方法啊，比如建立正常信息高斯分布，求新信息的分布概率。
那么AE所能做的就是将高维特征压缩到低维度的latentcode，通过比较latentcode的相似度来做异常点检测了。

这个要比监督学习的二元分类要好的地方就是，不用通过获得异常点的数据即可。

Auto Encoder再学习相关推荐

【深度学习】李宏毅2021/2022春深度学习课程笔记 - Auto Encoder 自编码器 + PyTorch实战
文章目录一.Basic Idea of Auto Encoder 1.1 Auto Encoder 结构 1.2 Auto Encoder 降维 1.3 Why Auto Encoder 1.4 D ...
Auto Encoder用于异常检测
对基于深度神经网络的Auto Encoder用于异常检测的一些思考 from:https://my.oschina.net/u/1778239/blog/1861724 一.前言现实中,大部分数据都 ...
堆叠降噪自动编码器 Stacked Denoising Auto Encoder（SDAE）
原文链接自动编码器(Auto-Encoder,AE) 自动编码器(Auto-Encoder,AE)自编码器(autoencoder)是神经网络的一种,经过训练后能尝试将输入复制到输出.自编码器内部有 ...
Auto Encoder(AE)，Denoising Auto Encoder(DAE), Variational Auto Encoder(VAE) 区别
文章主要内容参考李宏毅老师的机器学习课程:https://www.bilibili.com/video/BV1Wv411h7kN?p=70 Auto Encoder: 是什么?有什么用? Auto E ...
【人工智能概论】变分自编码器（Variational Auto Encoder , VAE）
[人工智能概论] 变分自编码器(Variational Auto Encoder , VAE) 文章目录 [人工智能概论] 变分自编码器(Variational Auto Encoder , VAE) ...
自编码器(Auto Encoder)原理及其python实现
目录一.原理二.为什么要使用自编码器三.代码实现 1.原始自编码器 2.多层(堆叠)自编码器 3.卷积自编码器 4.正则自编码器 4.1稀疏自编码器四.降噪自编码器五. 逐层贪婪训练堆叠自编 ...
C语言再学习--关键字
如需转载请注明出处:https://blog.csdn.net/qq_29350001/article/details/53021879 C语言一共有32个关键字,如下表所示: 关键字说明 auto ...
FFmpeg再学习 -- Windows下安装说明
看了半晌雷霄骅的 ffmpeg 的视频.待续稍后总结. 一.FFmpeg 简介 FFmpeg 是一个开源免费跨平台的视频和音频流方案,属于自由软件,采用 LGPL 或GPL 许可证(依据你选择的组 ...
UNIX再学习 -- 守护进程（转）
参看:守护进程一.什么是守护进程守护进程(Daemon Process),也就是通常说的 Daemon 进程(精灵进程),是 Linux 中的后台服务进程.它是一个生存期较长的进程,通常独立于控制 ...

Auto Encoder再学习

Auto Encoder再学习相关推荐

最新文章

热门文章