DBN训练学习-A fast Learning algorithm for deep belief nets

转载自：http://blog.sciencenet.cn/blog-110554-889016.html

DBN的学习一般都是从Hinton的论文A Fast Learning Algorithm for Deep Belief Nets开始。如果没有相关的背景知识，不知道问题的来由，这篇论文读起来是相当费劲的。

学习过程中主要参考了三篇文献，尤其是其中第二篇文献。这篇论文被我忽视了很久，造成了学习中很大的困惑。

1、A Fast Learning Algorithm for Deep Belief Nets
2、The wake-sleep algorithm for unsupervised neural networks
3、An Introduction to Restricted Boltzmann Machines

文献【1】总体描述了DBN算法的实现。
我认为DBN算法就是Wake-Sleep算法+RBM，文中讨论了Explaining away，complementary prior两个重要概念。讨论了RBM与Infinite directed model with tied weights的等价性。

但是论文对Wake-Sleep算法解释特别少，因此，我对为什么讨论Explaining away，complementary prior两个概念非常不理解，云里雾里。使得我对为什么要用Wake-Sleep算法+RBM来学习多层神经网络非常难以理解。
文献【2】研究了Wake-Sleep算法。

多层神经网络有很好的特征表达能力，但许多学习算法效率不高。
Wake-Sleep算法是一种有效的多层神经网络学习算法。

它使得训练数据的表示最经济，同时能够准确地重构训练数据。
训练数据的表示分布(representation)记为 $Q(\alpha |d)$ ，训练数据的生成分布(generation)记为 $P(\alpha|d)$ 。
学习的目标是：使得描述长度(description length)最小。即:

$C(d)=\sum_{\alpha}(Q(\alpha|d)C(\alpha,d))-(-\sum_{\alpha}(Q(\alpha|d)logQ(\alpha|d)))$
在Wake阶段使得 $P(\alpha|d)$ 逼近 $Q(\alpha |d)$ ，在Sleep阶段使得 $Q(\alpha |d)$ 逼近 $P(\alpha|d)$ 。
但是，由于 $Q(\alpha |d)$ 为因子形式分布(factorial distribution)，很难准确地匹配 $P(\alpha|d)$ 。因为 $P(\alpha|d)$ 的公式为：

$P(\alpha|d)=\frac{exp(-C(\alpha,d))}{\sum_{\beta}exp(-C(\beta,d))}$
在一般情况下是不具备因子形式的分布。因此 $Q(\alpha |d)$ 难以匹配 $P(\alpha|d)$ ，从而加大了学习误差。

为了改善Wake-Sleep算法，需要使得似然分布 $P(d|\alpha)$ 对应的后验分布 $P(\alpha|d)$ 具有因子形式分布。

算法使得高层权值能够影响低层权值。

互补先验分布（Complementary Prior）就能够保证因子形式的似然分布具有因子形式的后验分布。这点在文献【1】的附录中讨论得很清楚。
RBM的作用就是用来生成似然分布的互补先验分布，使得其后验分布具有因子形式。
因此，DBN算法解决了Wake-Sleep算法表示分布难以匹配生成分布的难题，通过RBM使得训练数据的生成分布具有因子形式，从而提高了学习效率。

DBN训练学习-A fast Learning algorithm for deep belief nets相关推荐

转【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)
[面向代码]学习 Deep Learning(二)Deep Belief Nets(DBNs) http://blog.csdn.net/dark_scope/article/details/9447 ...
Deep Belief Network简介——本质上是在做逐层无监督学习，每次学习一层网络结构再逐步加深网络...
from:http://www.cnblogs.com/kemaswill/p/3266026.html 1. 多层神经网络存在的问题常用的神经网络模型, 一般只包含输入层, 输出层和一个隐藏层: ...
深度学习--深度信念网络（Deep Belief Network）
本篇非常简要地介绍了深度信念网络的基本概念.文章先简要介绍了深度信念网络(包括其应用实例).接着分别讲述了:(1) 其基本组成结构--受限玻尔兹曼机的的基本情况,以及,(2) 这个基本结构如何组成深度 ...
无监督特征学习——Unsupervised feature learning and deep learning
无监督学习近年来很热,先后应用于computer vision, audio classification和 NLP等问题,通过机器进行无监督学习feature得到的结果,其accuracy大多明显优 ...
联想记忆计算机网络,模糊联想记忆网络的增强学习算法-An Augmentation Learning Algorithm of Fuzzy Associative Memory...
模糊联想记忆网络的增强学习算法舒桂清,肖平(广东省科技干部学院计算机与电子工程系,广州 510640;华南理工大学电子与通信工程系,广州 510641) 摘要针对 Kosko提出的最大最小模糊联 ...
玻尔兹曼机的学习算法--Hinton论文系列《A learning algorithm for Boltzmann machines》
1 简介本文根据1985年Hinton等人写的<A learning algorithm for Boltzmann machines>翻译总结的.即玻尔兹曼机的学习算法. 连接主义认为 ...
RL之Q Learning：利用强化学习之Q Learning实现走迷宫—训练智能体走到迷宫(复杂迷宫)的宝藏位置
RL之Q Learning:利用强化学习之Q Learning实现走迷宫-训练智能体走到迷宫(复杂迷宫)的宝藏位置目录输出结果设计思路实现代码测试记录全过程输出结果设计思路实现代码 f ...
RL之Q Learning：利用强化学习之Q Learning实现走迷宫—训练智能体走到迷宫(简单迷宫)的宝藏位置
RL之Q Learning:利用强化学习之Q Learning实现走迷宫-训练智能体走到迷宫(简单迷宫)的宝藏位置目录输出结果设计思路实现代码测试记录全过程输出结果设计思路实现代码 f ...
强化学习-把元学习（Meta Learning）一点一点讲给你听
目录 0 Write on the front 1 What is meta learning? 2 Meta Learning 2.1 Define a set of learning algori ...

DBN训练学习-A fast Learning algorithm for deep belief nets

DBN训练学习-A fast Learning algorithm for deep belief nets相关推荐

最新文章

热门文章