可视化自编码器训练结果

训练完（稀疏）自编码器，我们还想把这自编码器学到的函数可视化出来，好弄明白它到底学到了什么。我们以在10×10图像（即n=100）上训练自编码器为例。在该自编码器中，每个隐藏单元i对如下关于输入的函数进行计算：

我们将要可视化的函数，就是上面这个以2D图像为输入、并由隐藏单元i计算出来的函数。它是依赖于参数的（暂时忽略偏置项b_i）。需要注意的是，可看作输入的非线性特征。不过还有个问题：什么样的输入图像可让得到最大程度的激励？（通俗一点说，隐藏单元要找个什么样的特征？）。这里我们必须给加约束，否则会得到平凡解。若假设输入有范数约束，则可证（请读者自行推导）令隐藏单元得到最大激励的输入应由下面公式计算的像素给出（共需计算100个像素，j=1,…,100）：

当我们用上式算出各像素的值、把它们组成一幅图像、并将图像呈现在我们面前之时，隐藏单元所追寻特征的真正含义也渐渐明朗起来。

假如我们训练的自编码器有100个隐藏单元，可视化结果就会包含100幅这样的图像——每个隐藏单元都对应一幅图像。审视这100幅图像，我们可以试着体会这些隐藏单元学出来的整体效果是什么样的。

当我们对稀疏自编码器（100个隐藏单元，在10X10像素的输入上训练）进行上述可视化处理之后，结果如下所示：

上图的每个小方块都给出了一个（带有有界范数的）输入图像，它可使这100个隐藏单元中的某一个获得最大激励。我们可以看到，不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。

显而易见，这些特征对物体识别等计算机视觉任务是十分有用的。若将其用于其他输入域（如音频），该算法也可学到对这些输入域有用的表示或特征。

中英文对照

可视化 Visualizing; 自编码器 Autoencoder; 隐藏单元 hidden unit; 非线性特征 non-linear feature; 激励 activate; 平凡解 trivial answer; 范数约束 norm constrained; 稀疏自编码器 sparse autoencoder; 有界范数 norm bounded; 输入域 input domains
from: http://ufldl.stanford.edu/wiki/index.php/%E5%8F%AF%E8%A7%86%E5%8C%96%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8%E8%AE%AD%E7%BB%83%E7%BB%93%E6%9E%9C

Stanford UFLDL教程可视化自编码器训练结果相关推荐

Stanford UFLDL教程稀疏自编码器符号一览表
稀疏自编码器符号一览表下面是我们在推导sparse autoencoder时使用的符号一览表: 符号含义训练样本的输入特征,. 输出值/目标值. 这里可以是向量. 在autoencoder中, ...
Stanford UFLDL教程主成分分析（PCA）
Stanford UFLDL教程主成分分析 Contents [hide] 1 引言 2 实例和数学背景 3 旋转数据 4 数据降维 5 还原近似数据 6 选择主成分个数 7 对图像数据应用PCA算 ...
可视化自编码器训练结果
可视化自编码器训练结果 From Ufldl Jump to: navigation, search 训练完(稀疏)自编码器,我们还想把这自编码器学到的函数可视化出来,好弄明白它到底学到了什么. ...
Stanford UFLDL教程从自我学习到深层网络
从自我学习到深层网络在前一节中,我们利用自编码器来学习输入至 softmax 或 logistic 回归分类器的特征.这些特征仅利用未标注数据学习获得.在本节中,我们描述如何利用已标注数据进行微调, ...
Stanford UFLDL教程数据预处理
数据预处理 Contents [hide] 1概要 2数据归一化 2.1简单缩放 2.2逐样本均值消减 2.3特征标准化 3PCA/ZCA白化 3.1基于重构的模型 3.2基于正交化ICA的模型 4大 ...
Stanford UFLDL教程线性解码器
线性解码器 Contents [hide] 1稀疏自编码重述 2线性解码器 3中英文对照 4中文译者稀疏自编码重述稀疏自编码器包含3层神经元,分别是输入层,隐含层以及输出层.从前面(神经网络)自编 ...
Stanford UFLDL教程栈式自编码算法
栈式自编码算法 Contents [hide] 1概述 2训练 3具体实例 4讨论 5中英文对照 6中文译者概述逐层贪婪训练法依次训练网络的每一层,进而预训练整个深度神经网络.在本节中,我们将会学 ...
Stanford UFLDL教程自我学习
自我学习 Contents [hide] 1综述 2特征学习 3数据预处理 4无监督特征学习的术语 5中英文对照 6中文译者综述如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方 ...
Stanford UFLDL教程自编码算法与稀疏性
自编码算法与稀疏性目前为止,我们已经讨论了神经网络在有监督学习中的应用.在有监督学习中,训练样本是有类别标签的.现在假设我们只有一个没有带类别标签的训练样本集合 ,其中 .自编码神经网络是一种无监督 ...

Stanford UFLDL教程可视化自编码器训练结果

可视化自编码器训练结果

中英文对照

Stanford UFLDL教程可视化自编码器训练结果相关推荐

最新文章

热门文章

Stanford UFLDL教程 可视化自编码器训练结果

可视化自编码器训练结果

中英文对照

Stanford UFLDL教程 可视化自编码器训练结果相关推荐

最新文章

热门文章

Stanford UFLDL教程可视化自编码器训练结果

Stanford UFLDL教程可视化自编码器训练结果相关推荐