Gibbs Sampling（吉布斯采样）

摘要：Gibbs Sampling利用条件概率产生符合分布的样本，用于估计分布的期望，边缘分布；是一种在无法精确计算情况下，用计算机模拟的方法。

什么是Gibbs Sampling

Gibbs Sampling是MCMC算法中的一种，用来构造多变量概率分布的随机样本，比如构造两个或多个变量的联合分布，求积分，期望。

为什么需要Gibbs Sampling

这不是废话，肯定是积分，期望或者联合分布很难计算出来，通常情况下当前面三个问题是NP问题时才需要Gibbs Sampling。不然的话，直接计算就可以了嘛，既准确又快速，干嘛还要Gibbs Sampling呢。补充一句Gibbs Sampling只是（也只能）到近似解。

应用场景

a、积分，期望，样本概率很难计算出来；b、条件概率很容易计算。具体一点的例子：受限玻尔兹曼机（RBM）的训练，贝叶斯网络，LDA都用到Gibbs Sampling。

为什么Gibbs Sampling有效

当Gibbs Sapling算法执行多次之后，产生的样本服从真实样本的分布，即相当于直接从联合分布中采样。

Gibbs Sampling 算法

二维Gibbs Sampling的马氏链转移

n维Gibbs Sampling算法

观点:

1. We have a representation of p(x) and f(x), but integration is intractable. It turns out that if correctly sampled, only 10-20 points can be sufficient to estimate the mean and variance of a distribution. Of course, Samples must be independently drawn; Expectation may be dominated by regions of high probability, or high function values.[1]

Reference

[1] Lecture 1: Introduction - CUNY

[2] LDA数学八卦

后记：为什么要写关于Gibbs Sampling的文章呢？首先Gibbs Sampling是有用滴，Gibbs Sampling在机器学习中主要用于学习阶段的推理，比如求期望（平均值）和积分；再者网上的关于Gibbs Sampling的博客写得不好，资料也不多。

from here http://blog.csdn.net/wang_yi_wen 转载请说明

Gibbs Sampling（吉布斯采样）相关推荐

Gibbs Sampling\吉布斯采样（一）
上篇文章认识了马尔科夫蒙特卡洛方法,并简单了解了其中一个重要的方法---GibbsSampling.之前在读论文时多次遇见,未深入了解,现在终于知道它的真面目了... 也是一篇很好的文章,写的较简单易 ...
随机采样和随机模拟：吉布斯采样Gibbs Sampling
2016年05月12日 00:24:21 阅读数:45658 http://blog.csdn.net/pipisorry/article/details/51373090 吉布斯采样算法详解为什么 ...
【ML】线性回归的吉布斯采样(Gibbs Sampling)实现(python)
导航 Bayesian Linear Regression Gibbs Sampling Derving a Gibbs sampler Update for β0\beta_0β0 Update ...
Gibbs sampling
Gibbs sampling(吉布斯采样)(资料集合) 维基百科,自由的百科全书: In statistics, Gibbs sampling or a Gibbs sampler is a Mark ...
Markov Chain Monte Carlo 和 Gibbs Sampling算法
Welcome To My Blog 一.蒙特卡洛模拟蒙特卡洛模拟(Monte Carlo Simulation)是随机模拟的别名,关于随机模拟的一个重要的问题就是:给定一个概率分布p(x),如何生 ...
吉布斯采样——原理及matlab实现
原文来自:https://victorfang.wordpress.com/2014/04/29/mcmc-the-gibbs-sampler-simple-example-w-matlab-code ...
matlab bnt工具箱吉布斯采样,吉布斯采样——原理及matlab实现
原文来自:https://victorfang.wordpress.com/2014/04/29/mcmc-the-gibbs-sampler-simple-example-w-matlab-code ...
吉布斯采样（Gibbs Sampling）
吉布斯采样(Gibbs Sampling) 常用于DBM和DBN,吉布斯采样主要用在像LDA和其它模型参数的推断上. 要完成Gibbs抽样,需要知道条件概率.也就是说,gibbs采样是通过条件 ...
三步完成吉布斯采样Gibbs sampling
吉布斯采样的具体执行过程只需要三个步骤,非常非常简单好理解,其它相关的背景知识能帮助加深理解. 一.Preliminaries Monte Carlo methods 它是很宽泛的一类计算方法,依赖重 ...
随机采样和随机模拟：吉布斯采样Gibbs Sampling实现高斯分布参数推断
http://blog.csdn.net/pipisorry/article/details/51539739 吉布斯采样的实现问题本文主要说明如何通过吉布斯采样来采样截断多维高斯分布的参数(已知一 ...

Gibbs Sampling（吉布斯采样）

Gibbs Sampling（吉布斯采样）相关推荐

最新文章

热门文章