根据我的第一篇关于DBM的博文，明白了一个道理，1. v 和h 互相能推测出彼此，表示同一组特征的两种形式，就像时域频域一样。接下来又看了 http://www.cnblogs.com/tianchi/archive/2013/03/14/2959716.html 以热力学分子随机取值变化对整体能量影响的概念理解DBM中能量函数的概念。理解为 2. 整体的能量被各个随机节点以一定的概率朝着某个方向走而带来变化但仍然不理解这个能量函数和训练中似然函数该怎样使用，于是又看了解释能量函数和Gibbs采样的 http://m.blog.csdn.net/article/details?id=7768833

http://www.cnblogs.com/tornadomeet/archive/2013/03/26/2982694.html

随机模拟问题的Gibbs采样上面讲的还不是很清楚，于是参照

http://blog.163.com/lipse_huang/blog/static/191657545201341021645737/

几个可以学习gibbs sampling的方法
1，读Bishop的Pattern Recognition and Machine Learning，讲的很清楚，但是我记得好像没有例子。
2，读artificial Intelligence，2、3版，都有。但是我没读过。
3，最方便的，查wiki，这个说的最清楚。

这里通俗点的解释一下。首先，什么是sampling。sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。。。

问题是我们不知道p(E,T,W)，或者说，不知道三件事的联合分布。当然，如果知道的话，就没有必要用gibbs sampling了。但是，我们知道三件事的conditional distribution。也就是说，p(E|T,W),p(T|E,W),p(W|E,T)。现在要做的就是通过这三个已知的条件分布，再用gibbs sampling的方法，得到joint distribution。

具体方法。首先随便初始化一个组合,i.e. 学习+晚上+刮风，然后依条件概率改变其中的一个变量。具体说，假设我们知道晚上+刮风，我们给E生成一个变量，比如，学习-》吃饭。我们再依条件概率改下一个变量，根据学习+刮风，把晚上变成上午。类似地，把刮风变成刮风（当然可以变成相同的变量）。这样学习+晚上+刮风-》吃饭+上午+刮风。

同样的方法，得到一个序列，每个单元包含三个变量，也就是一个马尔可夫链。然后跳过初始的一定数量的单元（比如100个），然后隔一定的数量取一个单元（比如隔20个取1个）。这样sample到的单元，是逼近联合分布的。

详细：http://en.wikipedia.org/wiki/Gibbs_sampling

相关：1.slicing sampling: http://en.wikipedia.org/wiki/Slice_sampling;

2. Adaptive rejection sampling for Gibbs sampling;http://www.jstor.org/stable/2347565? seq=1#page_scan_tab_contents

3. Markov chain Monte Carlo https://en.wikipedia.org/wiki/Markov_chain_Monte_Carlo

MCMC算法简介，一个很好的“百度贴吧”帖子

Boltzmann Machine 入门(1)相关推荐

Boltzmann Machine 入门(2)
发现RBM 中的能量函数概念需要从Hopfield网络的角度理解,于是找到 http://blog.csdn.net/roger__wong/article/details/43374343 和关于B ...
[转载]Boltzmann Machine 入门
原文链接:https://blog.csdn.net/jyl1999xxxx/article/details/51173724 发现RBM 中的能量函数概念需要从Hopfield网络的角度理解,于是找 ...
受限玻尔兹曼机(Restricted Boltzmann Machine)分析
1.什么是BM? BM是由Hinton和Sejnowski提出的一种随机递归神经网络,可以看做是一种随机生成的Hopfield网络,是能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络 ...
tensorflow玻尔兹曼机_受限玻尔兹曼机(Restricted Boltzmann Machine)
受限玻尔兹曼机(Restricted Boltzmann Machine) 1. 生成模型 2. 参数学习 3. 对比散度学习算法由于受限玻尔兹曼机的特殊结构,因此可以使用一种比吉布斯采样更有效的 ...
【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）
前言: { 最近一直在想要不要去线下的英语学习机构学英语 (本人的英语口语能力实在是低).如果我想完成今年的年度计划,那么今年就没时间学英语了. 这次的内容是之前落下的深度置信网络(deep beli ...
21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机
文章目录 21 RBM(Restricted Boltzmann Machine)--受限玻尔兹曼机 21.1 背景介绍 21.2 RBM模型表示 21.3 Inference问题 21.4 Marg ...
Boltzmann Machine玻尔兹曼机
本文参考Hinton发表于2007年的一篇论文,链接在此但玻尔兹曼机实际上是1985年就被Hinton和Terry Sejnowski发明了. 本渣英语自认并不是特别烂,但最近发现看长篇的英文文献总 ...
28 玻尔兹曼机 Boltzmann Machine
玻尔兹曼机(Boltzmann Machine)在"受限玻尔兹曼机"那一章就有了简单的描述.在那一章我们就较为详细的分析过了,由于Boltzmann machine 中的依赖关系过 ...
29 深度玻尔兹曼机 Deep Boltzmann Machine
1 Introduction 本章介绍的是深度玻尔兹曼机(Deep Boltzmann Machines,DBM),应该算是玻尔兹曼机系列的最后一个模型了.我们前面介绍的三种玻尔兹曼机和今天将要介绍的 ...

Boltzmann Machine 入门(1)

MCMC算法简介，一个很好的“百度贴吧”帖子

Boltzmann Machine 入门(1)相关推荐

最新文章

热门文章