深度学习：什么是自编码器（Autoencoder）
任何关于算法、编程、AI行业知识或博客内容的问题，可以随时扫码关注公众号「图灵的猫」，加入”学习小组“，沙雕博主在线答疑~此外，公众号内还有更多AI、算法、编程和大数据知识分享，以及免费的SSR节点和学习资料。其他平台（知乎/B站）也是同名「图灵的猫」，不要迷路哦~
Autoencoder
autoencoder是一种无监督的学习算法，主要用于数据的降维或者特征的抽取，在深度学习中，autoencoder可用于在训练阶段开始前，确定权重矩阵WW的初始值。
神经网络中的权重矩阵WW可看作是对输入的数据进行特征转换，即先将数据编码为另一种形式，然后在此基础上进行一系列学习。然而，在对权重初始化时，我们并不知道初始的权重值在训练时会起到怎样的作用，也不知道在训练过程中权重会怎样的变化。因此一种较好的思路是，利用初始化生成的权重矩阵进行编码时，我们希望编码后的数据能够较好的保留原始数据的主要特征。那么，如何衡量码后的数据是否保留了较完整的信息呢？答案是：如果编码后的数据能够较为容易地通过解码恢复成原始数据，我们则认为WW较好的保留了数据信息。
例如下图所示，将手写数字图片进行编码，编码后生成的 ϕ1ϕ1, ϕ2ϕ2, ϕ3ϕ3, ϕ4ϕ4, ϕ5ϕ5, ϕ6ϕ6 较完整的保留了原始图像的典型特征，因此可较容易地通过解码恢复出原始图像。
autoencoder通过神经网络进行预训练，从而确定WW的初始值。其目标是让输入值等于输出值。如下图所示：首先用WW对输入进行编码，经过激活函数后，再用WTWT进行解码，从而使得h(x)≈xh(x)≈x。该过程可以看作是对输入数据的压缩编码，将高维的原始数据用低维的向量表示，使压缩后的低维向量能保留输入数据的典型特征，从而能够较为方便的恢复原始数据。需要注意的是：这里增加了一个约束条件，即在对数据进行编码和解码时，使用的是同一个参数矩阵WW。该约束可看作是一种regularization，用于减少参数的个数，控制模型的复杂度。
对于多层神经网络的参数初始化问题，我们可以依次对每一层进行autoencoder。如下图所示，具体做法是首先按照上述方法确定第一层的权重参数，然后固定第一层的参数，对第二层的参数进行训练，以此类推，直到得到所有权重值。
深度学习：什么是自编码器（Autoencoder）相关推荐
- 深度学习之seq2seq、编码器解码器、注意力机制、Transformer
深度学习之seq2seq.编码器解码器(Encoder-Decoder).注意力机制(Attention).变换器(Transformer) 目录
- 深入理解深度学习——Transformer：整合编码器（Encoder）和解码器Decoder）
分类目录:<深入理解深度学习>总目录 相关文章: ·注意力机制(Attention Mechanism):基础知识 ·注意力机制(Attention Mechanism):注意力汇聚与Na ...
- 深度学习入门 ---稀疏自编码器
在学习稀疏自编码器之前,需要读者有BP神经网络的基础 1. 为什么要用稀疏自编码器 对于没有带类别标签的数据,由于为其增加类别标记是一个非常麻烦的过程,因此我们希望机器能够自己学习到样本中的一些重 ...
- 深度学习《变分自编码器》
一个模型总是从简单到复杂,由粗糙到精致不断演化. 本文学习自:李宏毅机器学习视频(https://www.bilibili.com/video/av10590361/?p=29) 很多截图也都是来自于 ...
- Deep Learning 9_深度学习UFLDL教程：linear decoder_exercise（斯坦福大学深度学习教程）...
前言 实验内容:Exercise:Learning color features with Sparse Autoencoders.即:利用线性解码器,从100000张8*8的RGB图像块中提取颜色特 ...
- 深度学习——人工神经网络再掀研究热潮
人工神经网络起源于上世纪40年代,到今天已经70年历史了.就像人的一生,经历了起起落落,有过辉煌,有过黯淡,有过嘈杂,有过冷清.总体说来,过去的20年中人工神经网络的研究不温不火,直到最近三五年,随着 ...
- 用于表检测和结构识别的深度学习：综述
摘要 表格无处不在,从科学期刊.论文.网站和报纸,到我们在超市购买的物品.因此,检测它们对于自动理解文档内容至关重要.由于深度学习网络的快速发展,表格检测的性能显著提高.本次总结的目的是深入了解表格检 ...
- 三大深度学习生成模型：VAE、GAN及其变种
本章将为读者介绍基于深度学习的生成模型.前面几章主要介绍了机器学习中的判别式模型,这种模型的形式主要是根据原始图像推测图像具备的一些性质,例如根据数字图像推测数字的名称,根据自然场景图像推测物体的边界 ...
- 一文读懂深度学习模型近年来重要进展（附梳理图）
作者:丁铭,唐杰 来源:微博"唐杰THU" 本文共2200字,建议阅读5分钟. 本文为大家梳理深度学习模型近年来的重要进展,文末附梳理图~ 唐杰老师学生帮忙整理的Deep Lear ...
- 简述深度学习预训练和正则化
AI有道 一个有情怀的公众号 1 Deep Neural Network 总的来说,根据神经网络模型的层数.神经元个数.模型复杂度不同,大致可分为两类:Shallow Neural Networks和 ...
最新文章
- android处理服务器的集合,android集合SSH搭建服务器客户端请求
- springboot-vue项目前台1
- 摄像头拼接技术-远超海康大华
- putty如何登陆oracle,利用putty的SSH tunnel连接Oracle
- python包含html5么_Python3 集合
- 块级、行内元素水平垂直居中方法
- html5 history解决ajax不能加入历史记录的问题
- Jmeter（五）录制功能
- linux内核源码 进程,详解：Linux内核源代码
- ES6-promise详解
- sh报错segmentation fault
- pci规划的三个原则_LTE小区PCI规划原则
- svn 添加忽略后解除被忽略的文件或文件夹
- 2020年全球权威机器人评选RBR50放榜：中国仅一家公司入选，大疆落榜
- 基于SSM框架的图片分享及评价网站设计与实现毕业设计源码201524
- 涛思 TDengine 表设计及SQL
- linux磁盘配额步骤详细步骤,Linux磁盘配额命令及步骤.doc
- Spring7种事务的传播行为
- Scrapy之Crawlspider实例：爬取沪江网校所有课程信息
- 生产环境kubeadm部署k8s（1.23）高可用集群