SDAE-stacked denoised autoencoder (堆栈去噪自编码器)

堆栈自编码器 Stacked AutoEncoder_浮生了大白的博客-CSDN博客_堆栈自编码器

为什么稀疏自编码器很少见到多层的？ - 知乎

Based on blog which links were give above.

code explanation for SDAE//That's a nice try

自编码(AutoEncoder)模型及几种扩展之三——SDAE - 知乎

All those materials give a relatively complete infomation about DAE\SDAE\SAE,and in terms the training process of sdae,it's a little bit fuzzy and confusing,here comes my humble understanding.

Training:I'm gonna use a table to interpret this.

SDAE training process

Stacked-DAE Input Hidden_layer Output Loss DAE1 X h1=W1*X X' L(X,X') DAE2 h1 h2=W2*h1 X'' L(h1,X'') DAE3 h2 h3=W3*h2 X''' L(h2,X''') DAE4 h3 h4=W4*h3 X'''' L(h3,X'''')

Downstream-finetuing:SDAE training process

Input x

Hidden_layer:h1

Hidden_layer:h2

Hidden_layer:h3

Hidden_layer:h4

Fine-tuning:Downstream_task:softmax,Dense,...

When you done with training DAE1,you discard output_layer X',you use Hidden_layer h1 as input for DAE2,and the same when you done with training DAE2,you discard the output_layer X'',and you use Hidden_layer h2 as input ...,Alright,that's the process when you train the sub_module for SDAE,and when you done with all the DAEx(x=1,2,3,4),it's time to stack those hidden layer together to inference.

Inference:I'm gonna use a table to interpret this

**SDAE inference process**
Input x
Hidden_layer:h1
Hidden_layer:h2
Hidden_layer:h3
Hidden_layer:h4
Fine-tuning:Downstream_task:softmax,Dense,...

When you done with finetuing on some down-stream task,then you start inference just like any other DNN.

Reference

[自编码器：理论+代码]：自编码器、栈式自编码器、欠完备自编码器、稀疏自编码器、去噪自编码器、卷积自编码器_nana-li的博客-CSDN博客_卷积自编码器原理 //Content is relatively overall,Stacked auto-encoder training-part explanation is little clear.

堆叠式降噪自动编码器（SDA）_Mr_Researcher的博客-CSDN博客_堆叠去噪自动编码器//Explanation is clear

降噪自动编码机（Denoising Autoencoder）_冰涛的博客-CSDN博客_降噪自编码器

自编码(AutoEncoder)模型及几种扩展之三——SDAE - 知乎

https://www.youtube.com/watch?v=d0W_Ab-aZGo

Autoencoder - denoising autoencoder

SDAE-stacked denoised autoencoder (堆栈去噪自编码器)相关推荐

TensorFlow实现去噪自编码器（Denoising Autoencoder）
TensorFlow实现去噪自编码器(Denoising Autoencoder) 去噪自编码器(Denoising Autoencoder, DAE) DAE模型架构 DAE实现数据预处理模型构 ...
论文阅读笔记-Gated relational stacked denoising autoencoder with localized author embedding for
论文题目:Gated relational stacked denoising autoencoder with localized author embedding for global cita ...
【theano-windows】学习笔记十三——去噪自编码器
前言上一章节学习了卷积的写法,主要注意的是其实现在theano.tensor.nnet和theano.sandbox.cuda.dnn中都有对应函数实现, 这一节就进入到无监督或者称为半监督的网络构 ...
【TensorFlow-windows】(二) 实现一个去噪自编码器
主要内容: 1.自编码器的TensorFlow实现代码(详细代码注释) 2.该实现中的函数总结平台: 1.windows 10 64位 2.Anaconda3-4.2.0-Windows-x86_6 ...
[自编码器：理论+代码]：自编码器、栈式自编码器、欠完备自编码器、稀疏自编码器、去噪自编码器、卷积自编码器
写在前面因为时间原因本文有些图片自己没有画,来自网络的图片我尽量注出原链接,但是有的链接已经记不得了,如果有使用到您的图片,请联系我,必注释. 自编码器及其变形很多,本篇博客目前主要基于普通自编码器 ...
正则自编码器之去噪自编码器
图1.自编码器的一般结构传统自编码器通过最小化如下目标: (公式1) 公式1中L是一个损失函数,惩 ...
tensorflow 卷积、反卷积形式的去噪自编码器
tensorflow 卷积.反卷积形式的去噪自编码器对于去噪自编码器,网上好多都是利用全连接神经网络进行构建,我自己写了一个卷积.反卷积形式的去噪自编码器,其中的参数调优如果有兴趣的话,可以自行修改 ...
ICLR 2020：从去噪自编码器到生成模型
作者丨苏剑林单位丨追一科技研究方向丨NLP,神经网络个人主页丨kexue.fm 在我看来,几大顶会之中,ICLR 的论文通常是最有意思的,因为它们的选题和风格基本上都比较轻松活泼.天马行空,让人 ...
基于粒子群优化堆叠去噪自编码器(PSO-SDAE)的时间序列预测
基于粒子群优化堆叠去噪自编码器(PSO-SDAE)的时间序列预测优化参数为学习率,隐藏层节点个数,最大训练次数 matlab代码 ID:69100673407358242

SDAE-stacked denoised autoencoder (堆栈去噪自编码器)

SDAE-stacked denoised autoencoder (堆栈去噪自编码器)相关推荐

最新文章

热门文章