稀疏自编码器符号一览表

From Ufldl

Jump to: navigation, search

下面是我们在推导sparse autoencoder时使用的符号一览表：

符号	含义
	训练样本的输入特征，.
	输出值/目标值. 这里可以是向量. 在autoencoder中，.
	第个训练样本
	输入为时的假设输出，其中包含参数 . 该输出应当与目标值具有相同的维数.
	连接第层单元和第层单元的参数.
	第层单元的偏置项. 也可以看作是连接第层偏置单元和第层单元的参数.
	参数向量. 可以认为该向量是通过将参数组合展开为一个长的列向量而得到.
	网络中第层单元的激活（输出）值. 另外，由于层是输入层，所以 .
	激活函数. 本文中我们使用 .
	第层单元所有输入的加权和. 因此有 .
	学习率
	第层的单元数目（不包含偏置单元）.
	网络中的层数. 通常层是输入层，层是输出层.
	权重衰减系数.
	对于一个autoencoder，该符号表示其输出值；亦即输入值的重构值. 与含义相同.
	稀疏值，可以用它指定我们所需的稀疏程度
	（sparse autoencoder中）隐藏单元的平均激活值.
	（sparse autoencoder目标函数中）稀疏值惩罚项的权重.

稀疏自编码器符号一览表相关推荐

Stanford UFLDL教程稀疏自编码器符号一览表
稀疏自编码器符号一览表下面是我们在推导sparse autoencoder时使用的符号一览表: 符号含义训练样本的输入特征,. 输出值/目标值. 这里可以是向量. 在autoencoder中, ...
稀疏自编码器及TensorFlow实现
自动编码机更像是一个识别网络,只是简单重构了输入.而重点应是在像素级重构图像,施加的唯一约束是隐藏层单元的数量. 有趣的是,像素级重构并不能保证网络将从数据集中学习抽象特征,但是可以通过添加更多的约束 ...
UFLDL：稀疏自编码器
吴恩达的 CS294A 是一门很好的深度学习入门课程,打算接下来的学习以这个课程的内容为主.UFLDL Tutorial 是 CS294A 课程的 wiki 页,包含了课程讲义和作业.如果你对监督学 ...
深度学习笔记一：稀疏自编码器
开始学习深度学习了,既然确定目标就要努力前行!为自己加油!--2015.6.11 Sparse Encoder 1.神经网络概念:假设我们有训练样本集 (x(^ i),y(^ i)) ,那么神经网络 ...
深度学习入门教程UFLDL学习实验笔记一：稀疏自编码器
深度学习入门教程UFLDL学习实验笔记一:稀疏自编码器 UFLDL即(unsupervised feature learning & deep learning).这是斯坦福网站上的一篇 ...
为什么稀疏自编码器很少见到多层的？
Andrew Ng 的视频和资料也好,还是网上的资料和代码,以及书上的内容,我很少见到稀疏自编码器是多层的结构一般都是{N,m,N}的三层结构(一层是隐层,输入输出各一层)为什么很少见到例如{N,m, ...
稀疏自编码器_自编码(AutoEncoder)模型及几种扩展之二
4. 稀疏自编码假设我们只有一个没有类别标签的训练样本集合{x(1),x(2)...},一个自编码神经网络就是一种非监督学习算法,它使用BP算法,并将目标值设为: y(i)=x(i). 我们的目标是 ...
深度学习入门 ---稀疏自编码器
在学习稀疏自编码器之前,需要读者有BP神经网络的基础 1. 为什么要用稀疏自编码器对于没有带类别标签的数据,由于为其增加类别标记是一个非常麻烦的过程,因此我们希望机器能够自己学习到样本中的一些重 ...
深度学习笔记之稀疏自编码器
深度学习笔记之稀疏自编码器引言引子:题目描述正确答案: A B C D \mathcal A \mathcal B \mathcal C \mathcal D ABCD 题目解析介绍:自编码器 ...

稀疏自编码器符号一览表

稀疏自编码器符号一览表

From Ufldl

稀疏自编码器符号一览表相关推荐

最新文章

热门文章