matlab sae模型,深度学习笔记（三）：SAE模型

Stacked Autoencoder(SAE)模型是一个由多层稀疏自编码器组成的深度神经网络模型，其前一层自编码器的输出作为其后一层自编码器的输入，最后一层是个分类器(logistic分类器或者softmax分类器)

(一)sparse autoencoder算法

1.概念：sparse autoencoder是一种非监督学习算法，需要满足以下两种约束：

(1)autoencoder：输入等于输出

(2)sparse：隐层的每个神经元的响应是稀疏的，也就是大部分时间响应为0，也就是平均响应

尽可能小(其中m为训练样本个数)

2.代价函数

其中：

(1)第一项为autoencoder的约束项；

(2)第二项为惩罚项目，防止过拟合；

(3)第三项为稀疏的约束，是一个KL散度的衡量标准：

3.最优化方案：该约束函数是一个非凸函数，采用批量梯度下降算法

其中：

至于梯度可以用backpropagation(BP)算法来求解；

(二)logistic回归模型与softmax回归mox

1.logistic回归模型

(1)适用于二分类；

(2)模型函数：

(3)代价函数(最大似然)：

(4)最优化方案：梯度下降算法；

2.softmax回归模型

(1)适用于多分类；

(2)模型函数：

(3)代价函数：

(4)最优化方案：梯度下降算法；

3.softmax回归分类器适用于k个互斥的类别的分类；k个logistic回归分类器适用k个并不完全互斥的类别的分类；

(三)SAE模型

(1)预训练：利用无标签数据对每一层的参数用sparse autoencoder训练初始化；

(2)微调：利用有标签数据对整个深度神经网络进行微调；

matlab sae模型,深度学习笔记（三）：SAE模型相关推荐

深度学习笔记三：反向传播（backpropagation）算法
接上一篇的最后,我们要训练多层网络的时候,最后关键的部分就是求梯度啦.纯数学方法几乎是不可能的,那么反向传播算法就是用来求梯度的,用了一个很巧妙的方法. 反向传播算法应该是神经网络最基本最需要弄懂的方 ...
python学习模型_python学习笔记（IO模型）
1.IO模型介绍: io模型一般有五种: * blocking IO * nonblocking IO * IO multiplexing * signal driven IO * asynchron ...
深度学习笔记三：Softmax Regression
Softmax回归模型整体理解回归与分类借用网上一个帖子的回复:分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是:给定一个新的模式,根据训练集推断它所对应的输出y( ...
DCF(Discounted Cashflow)模型（学习笔记三）
概述: DCF 现金流折现模型分为两个部分,现金流预测和折现率计算. 现金流预测运用的公式是自由现金流的公式,而一开始我们需要从营业收入入手进行估计.大概流程为:营业收入预测,营业成本预测,营业税金及 ...
深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经 ...
UFLDL深度学习笔记（三）无监督特征学习
UFLDL深度学习笔记 (三)无监督特征学习 1. 主题思路 "UFLDL 无监督特征学习"本节全称为自我学习与无监督特征学习,和前一节softmax回归很类似,所以本篇笔记会比较 ...
吴恩达深度学习之五《序列模型》学习笔记
一.循环序列模型 1.1 为什么选择序列模型如图所示是一些序列数据的例子 1.2 数学符号如图所示,我们用表示一个序列的第 t 个元素,t 从 1 开始 NLP中一个单词就是一个元素(又称时间 ...
深度学习笔记（三）：BatchNorm（BN）层
文章目录一.背景二.提出三.原理四.计算五.Scale and Shift 六.BN层实现学习记录: 深度学习笔记(一):卷积层+激活函数+池化层+全连接层深度学习笔记(二):激 ...
神经网络与深度学习笔记汇总三
神经网络与深度学习笔记汇总三往期回顾将之前掘金写的学习笔记所遇困难搬到这里,方便查看复习遇到问题: 异常值处理学习内容 1..drop() 返回的是一个新对象,原对象不会被改变. 2.遇到问题 ...

matlab sae模型,深度学习笔记（三）：SAE模型

matlab sae模型,深度学习笔记（三）：SAE模型相关推荐

最新文章

热门文章