【深度学习】 自编码器(AutoEncoder)
目录
- RDAE稳健深度自编码
- 自编码器(Auto-Encoder)
- DAE 深度自编码器
RDAE稳健深度自编码
自编码器(Auto-Encoder)
- AE算法的原理
Auto-Encoder,中文称作自编码器,是一种无监督式学习模型。它基于反向传播算法与最优化方法(如梯度下降法),利用输入数据 XXX 本身作为监督,来指导神经网络尝试学习一个映射关系,从而得到一个重构输出 XRX^RXR 。在时间序列异常检测场景下,异常对于正常来说是少数,所以我们认为,如果使用自编码器重构出来的输出 XRX^RXR 跟原始输入的差异超出一定阈值(threshold)的话,原始时间序列即存在了异常。
通过算法模型包含两个主要的部分:Encoder(编码器)和Decoder(解码器)。
编码器的作用是把高维输入 XXX 编码成低维的隐变量 hhh 从而强迫神经网络学习最有信息量的特征;解码器的作用是把隐藏层的隐变量 hhh 还原到初始维度,最好的状态就是解码器的输出能够完美地或者近似恢复出原来的输入, 即 XR≈XX^R\approx{X}XR≈X .
这个时候就会有人问自编码有什么作用,训练一个神经网络模型,让它输入是 x,然后输出也近似 x,有毛用?
其实自编码可以实现类似于 PCA 等数据降维、数据压缩的特性。从上面自编码的网络结构图,如果输入层神经元的个数 n 大于隐层神经元个数m,那么我们就相当于把数据从 n 维降到了 m 维;然后我们利用这 m 维的特征向量,进行重构原始的数据。这个跟PCA 降维一模一样,只不过 PCA 是通过求解特征向量,进行降维,是一种线性的降维方式,而自编码是一种非线性降维。
DAE 深度自编码器
深度自编码器被大量应用在图像识别、噪声去除与数据降维领域,并衍生了不同功能的自编码器。它是一种无监督学习算法,模型的期望输入与输出相同
如上图所示,原始数据在瓶颈层的压缩下被提取为紧密的非线性向量,从而达到非线性降维的效果。
此过程在深度学习领域中称为编码阶段。随后的解码阶段将挖掘到的特征输入到解码器以还原数据表示。数据自身的映射过程使深度自编码器可以有效地提取输入数据 XXX 上的复杂分布。
可以利用 DEA 自动学习非线性特征能力取代PCA 的线性降维方法,相对于 PCA, DEA 已经被证明能够得到更好的降维结果。
参考资料
[1] 【深度学习】 自编码器(AutoEncoder)2021.6
【深度学习】 自编码器(AutoEncoder)相关推荐
- 深度学习(三)denoise autoencoder的Python实现
本章主要讲述autoencoder另外一种改进,denoise autoencoder,Python的编写也是在深度学习(一)autoencoder的Python实现(2)基础上,进行改造的,具体的修 ...
- 异常检测:综述(基本都是无监督算法)【时间序列算法:AR/MA/ARMA】【传统机器学习算法:孤独森林、One Class SVM】【深度学习算法:AutoEncoder、LSTM、DeepLog】
一.什么是异常值? 在机器学习中,异常检测和处理是一个比较小的分支,或者说,是机器学习的一个副产物,因为在一般的预测问题中,模型通常是对整体样本数据结构的一种表达方式,这种表达方式通常抓住的是整体样本 ...
- 深度学习--自编码器(AutoEncoder)
自编码器: 自编码器是用于无监督学习,高效编码的神经网络,自动编码器的目的就在于,学习一组数据的编码,通常用于数据的降维,自编码是一种无监督的算法,网络分为:输入层,隐藏层(编码层),解码层,该网络的 ...
- 图解深度学习-自编码器
自编码器是一种基于无监督学习的数据维度压缩和特征表达方法,多层自编码器能够更好地进行压缩和特征表达. 自编码器 自编码器 是一种有效的数据维度压缩算法,主要 应用在以下两个方面 · 1 构建 一种能够 ...
- 基于深度学习的两种信源信道联合编码
本文分享自华为云社区<基于深度学习的信源信道联合编码>,原文作者:技术火炬手 . 信源编码是一个数据压缩的过程,其目的是尽可能地将信源中的冗余度去掉:而信道编码则是一个增加冗余的过程,通过 ...
- 关于使用深度学习进行三维点云几何压缩
文章目录 前言 了解名词 1. 点云 2. 体素 3. 表示学习 4. 损失函数 5. BPP 相关工作 1. 点云表示学习 2. 点云几何压缩 层次自编码(整体解压缩流程) 1. 多尺度特征提取 2 ...
- 《深度学习》书籍阅读
学习基础,就是打牢基础知识部分. 1 <深度学习>简介 2 线性代数 2.1 基本概念:有标量.向量.矩阵.张量 2.2 基本概念:hadmaard乘积.点积. 矩阵有矩阵乘积这种运算 ...
- 深度学习之自编码器AutoEncoder
深度学习之自编码器AutoEncoder 原文:http://blog.csdn.net/marsjhao/article/details/73480859 一.什么是自编码器(Autoencoder ...
- 深度学习笔记一:稀疏自编码器
开始学习深度学习了,既然确定目标就要努力前行!为自己加油!--2015.6.11 Sparse Encoder 1.神经网络 概念:假设我们有训练样本集 (x(^ i),y(^ i)) ,那么神经网络 ...
最新文章
- Save could not be completed. Eclipse国际化的问题解决
- Web开发者用什么编辑器?
- python3 设置函数执行超时 eventlet模块
- 洛谷P1546 最短网络 Agri-Net
- 怎么查看oracle数据库数据量大小?
- i 智慧 | 深度广度并举,AWS容器服务再推利器!
- php文件目录教程,php文件目录操作的开发过程与示例分享
- Windows7与Window2008 64位IIS7上面配置操作Excel
- 运维 xshell 快捷键
- 蓝牙耳机哪个音质好?推荐几款音质好的蓝牙耳机
- Android 项目使用 Jenkins 打包时的异常问题 AAPT: C:\Windows\System32\config\systemprofile\.gradle\caches
- Android自定义华为睡眠,Android自定义View
- 将java封装的实体类数据生成excel供下载
- 苹果iOS11重磅改版App Store,开发者应该了解这些
- can't find compiler executable in your configured search path's for GUN GCC Complier的应对办法
- 【微信红包封面】哆啦A梦 x GUCCI古驰限定版!!
- 怎么批量修改照片的分辨率?照片dpi怎么调?
- JavaWeb开发基础:Cookies/Session学习
- BERT-QE:用于文档Rerank的上下文化查询扩展模型
- 经验分享:移动客户端设计开发经验-流程篇
热门文章
- 科沃斯扫地机器人阿尔法_2019年扫地机器人战争收官之际,谈谈科沃斯的“龙头”逻辑...
- 责任链模式 - Unity
- 幼儿安全教育道路交通安全宣传PPT模板
- 大话西游显示无法连接服务器,大话西游手游服务器连接失败进不去解决办法
- 在IDEA中设置使用鼠标滚轮控制字体大小
- 基于JAVA雷士灯具管理系统计算机毕业设计源码+数据库+lw文档+系统+部署
- CTP程序化交易入门系列之三:获取实时行情及k线合成
- QQ登录时错误码说明及解决办法
- PCA算法详解——化繁为简
- VB的Autoredraw、refresh等等功能分析汇总及“内存作图”