原文地址：http://blog.163.com/lipse_huang/blog/static/191657545201341021645737/

几个可以学习gibbs sampling的方法

1，读Bishop的Pattern Recognition and Machine Learning，讲的很清楚，但是我记得好像没有例子。
2，读artificial Intelligence，2、3版，都有。但是我没读过。
3，最方便的，查wiki，这个说的最清楚。

这里通俗点的解释一下。首先，什么是sampling。sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。。。

问题是我们不知道p(E,T,W)，或者说，不知道三件事的联合分布。当然，如果知道的话，就没有必要用gibbs sampling了。但是，我们知道三件事的conditional distribution。也就是说，p(E|T,W),p(T|E,W),p(W|E,T)。现在要做的就是通过这三个已知的条件分布，再用gibbs sampling的方法，得到joint distribution。

具体方法。首先随便初始化一个组合,i.e. 学习+晚上+刮风，然后依条件概率改变其中的一个变量。具体说，假设我们知道晚上+刮风，我们给E生成一个变量，比如，学习-》吃饭。我们再依条件概率改下一个变量，根据学习+刮风，把晚上变成上午。类似地，把刮风变成刮风（当然可以变成相同的变量）。这样学习+晚上+刮风-》吃饭+上午+刮风。

同样的方法，得到一个序列，每个单元包含三个变量，也就是一个马尔可夫链。然后跳过初始的一定数量的单元（比如100个），然后隔一定的数量取一个单元（比如隔20个取1个）。这样sample到的单元，是逼近联合分布的。

详细：http: //en.wikipedia.org/wiki/Gibbs_sampling

相关：1.slicing sampling: http://en.wikipedia.org/wiki/Slice_sampling;

2. Adaptive rejection sampling for Gibbs sampling;

3. Markov chain Monte Carlo

MCMC算法简介，一个很好的“百度贴吧”帖子

吉布斯采样（Gibbs Sampling)及相关算法相关推荐

随机采样和随机模拟：吉布斯采样Gibbs Sampling实现高斯分布参数推断
http://blog.csdn.net/pipisorry/article/details/51539739 吉布斯采样的实现问题本文主要说明如何通过吉布斯采样来采样截断多维高斯分布的参数(已知一 ...
随机采样和随机模拟：吉布斯采样Gibbs Sampling
2016年05月12日 00:24:21 阅读数:45658 http://blog.csdn.net/pipisorry/article/details/51373090 吉布斯采样算法详解为什么 ...
三步完成吉布斯采样Gibbs sampling
吉布斯采样的具体执行过程只需要三个步骤,非常非常简单好理解,其它相关的背景知识能帮助加深理解. 一.Preliminaries Monte Carlo methods 它是很宽泛的一类计算方法,依赖重 ...
【ML】线性回归的吉布斯采样(Gibbs Sampling)实现(python)
导航 Bayesian Linear Regression Gibbs Sampling Derving a Gibbs sampler Update for β0\beta_0β0 Update ...
使用MATLAB贝叶斯工具箱(BNT)，进行吉布斯采样(Gibbs Sampling)之前需要做的编译工作...
使用BNT(Bayesian Networks Toolbox)进行推断时,内置了吉布斯采样算法(即gibbs_sampling_inf_engine),但是如果调用这个引擎做推断会报错.报错内容大概 ...
Markov Chain Monte Carlo 和 Gibbs Sampling算法
Welcome To My Blog 一.蒙特卡洛模拟蒙特卡洛模拟(Monte Carlo Simulation)是随机模拟的别名,关于随机模拟的一个重要的问题就是:给定一个概率分布p(x),如何生 ...
吉布斯采样（Gibbs Sampling）
吉布斯采样(Gibbs Sampling) 常用于DBM和DBN,吉布斯采样主要用在像LDA和其它模型参数的推断上. 要完成Gibbs抽样,需要知道条件概率.也就是说,gibbs采样是通过条件 ...
Gibbs Sampling（吉布斯采样）
摘要:Gibbs Sampling利用条件概率产生符合分布的样本,用于估计分布的期望,边缘分布:是一种在无法精确计算情况下,用计算机模拟的方法. 什么是Gibbs Sampling Gibbs Sam ...
吉布斯采样的简单描述
几个可以学习gibbs sampling的方法 1,读Bishop的Pattern Recognition and Machine Learning,讲的很清楚,但是我记得好像没有例子. 2,读art ...

吉布斯采样（Gibbs Sampling)及相关算法

MCMC算法简介，一个很好的“百度贴吧”帖子

吉布斯采样（Gibbs Sampling)及相关算法相关推荐

最新文章

热门文章