1 autoencoder 介绍

这是一个无监督学习问题，旨在从原始数据x中学习一个低维的特征向量（没有任何标签）

encoder 最早是用线性函数+非线性单元构成（比如Linear+nonlinearity），之后的模型有使用多层全连接、Relu+CNN进行encoder操作的。

那么，我们怎么从原始数据中学习特征向量z呢？

核心思路就是使用一个decoder

这里的tconv就是机器学习笔记： Upsampling, U-Net, Pyramid Scene Parsing Net_UQI-LIUWJ的博客-CSDN博客中所介绍的“up convolution”

在训练完毕之后，丢弃decoder，使用encoder来进行后续的任务

2 特征向量z的维度

z的维度需要比输入x的维度小——>这样才能压缩数据

如果z的维度比输入x的维度大或者等于输入x的维度的话——>模型没有学习新特征的“动力”——>直接将x复制到z，多出来的维度补0即可

3 auto-encoder变体

3.1 de-noising autoencoder

在输入中假如噪声，但是学习的特征希望能还原成没有噪声的版本

——>可以更好地学习特征表示

——>避免直接复制——>所以每一个epoch加在输入上的噪声是不一样的

3.2 stacked auto-encoder（SAE）

多层auto-encoder，训练完毕后也是去掉所有的decoder

4 AE作为生成模型

4.1 context encoder

抹去图像的某一块，通过auto-encoder，看看能不能还原成整张图片/判断抹去的这一块学到的特征和实际这一块之间的区别

4.1.1 不同的遮法

4.2 temporal context encoder

对于图像来说，我们的可以遮去一些像素点，然后通过auto-encoder的方式来学习这些遮掉的像素点。那么对于视频来说，我们也可以遮去一些视频中的“像素点”，也即遮掉某几帧，然后同样用auto-encoder来进行学习

5 auto-encoder应用：半监督学习

当我们有很多的图像，但是只有很少的label的时候，我们可以先对不适用标签，对图像使用auto-encoder。训练完毕之后，我们丢弃decoder，然后再encoder后面接入分类器，学习标签y'，将其和真实特征y进行比对

机器学习笔记：auto encoder相关推荐

2021李宏毅机器学习课程笔记——Auto Encoder
注:这个是笔者用于期末复习的一个简单笔记,因此难以做到全面详细,有疑问欢迎大家在评论区讨论 https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-d ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Auto Encoder 自编码器 + PyTorch实战
文章目录一.Basic Idea of Auto Encoder 1.1 Auto Encoder 结构 1.2 Auto Encoder 降维 1.3 Why Auto Encoder 1.4 D ...
Python机器学习笔记：sklearn库的学习
自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了,scikit-learn简称sklearn,支持包括分类,回归,降维和聚类四大机器学习算法.还包括了特征提取,数据 ...
机器学习笔记：ＶＡＥ
1 VAE 介绍在机器学习笔记:auto encoder_UQI-LIUWJ的博客-CSDN博客中,我们知道了auto-encoder.但是auto-encoder有一个不足之处,就是因为auto ...
Auto Encoder用于异常检测
对基于深度神经网络的Auto Encoder用于异常检测的一些思考 from:https://my.oschina.net/u/1778239/blog/1861724 一.前言现实中,大部分数据都 ...
机器学习笔记：Transformer
1 传统Seq2Seq的不足传统seq2seq 使用 bi-direction RNN,那么生成每个b的时候,对于输入的整个序列,模型都需要看过一遍. 问题在于,这样的用bi-direction R ...
机器学习笔记(3) 随机森林
random forest 和 extra-trees是对decison tree做ensemble而得到最终模型的两种算法. 阅读本文前需要先了解一下机器学习笔记1:决策树机器学习笔记2:集成学 ...
Auto Encoder(AE)，Denoising Auto Encoder(DAE), Variational Auto Encoder(VAE) 区别
文章主要内容参考李宏毅老师的机器学习课程:https://www.bilibili.com/video/BV1Wv411h7kN?p=70 Auto Encoder: 是什么?有什么用? Auto E ...
李弘毅机器学习笔记：第十六章—无监督学习
李弘毅机器学习笔记:第十六章-无监督学习 1-of-N Encoding 词嵌入基于计数的词嵌入基于预测的词嵌入具体步骤共享参数训练 Various Architectures 多语言嵌入 ...

机器学习笔记：auto encoder