Gibbs sampling [Gibbs采样]
关于Gibbs sampling, 首先看一下Wiki上的解释:Gibbs sampling or Gibbs sampler is an algorithm to generate a sequence of samples from the joint probability distribution of two or more random variables. The purpose of such a sequence is to approximate the joint distribution, or to compute an integral (such as an expected value).
说到Gibbs Sampling 就不得不说markov chain了。
Markov chain 是一组事件的集合,在这个集合中,事件是一个接一个发生的,并且下一个事件的发生,只由当前发生的事件决定。用数学符号表示就是:
A={ a1,a2 … ai, ai+1,… at }
P(ai+1| a1,a2,…ai) = P(ai+1| ai)
这里的ai不一定是一个数字,它有可能是一个向量,或者一个矩阵,例如我们比较感兴趣的问题里ai=(g, u, b)这里g表示基因的效应,u表示环境效应,b表示固定效应,假设我们研究的一个群体,g,u,b的联合分布用π(a)表示。事实上,我们研究QTL,就是要找到π(a),但是有时候π(a)并不是那么好找的,特别是我们要估计的a的参数的个数多于研究的个体数的时候。用一般的least square往往效果不是那么好。
解决方案:
用一种叫Markov chain Monte Carlo (MCMC)的方法产生Markov chain,产生的Markov chain{a1,a2 … ai, ai+1,… at }具有如下性质:当t 很大时,比如10000,那么at ~ π(a),这样的话如果我们产生一个markov chain:{a1,a2 … ai, ai+1,… a10000},那么我们取后面9000个样本的平均
a_hat = (g_hat,u_hat,b_hat) = ∑ai / 9000 (i=1001,1002, … 10000)
这里g_hat, u_hat, b_hat 就是基因效应,环境效应,以及固定效应的估计值
MCMC有很多算法,其中比较流行的是Metropolis-Hastings Algorithm,Gibbs Sampling是Metropolis-Hastings Algorithm的一种特殊情况。MCMC算法的关键是两个函数:
1) q(ai, ai+1),这个函数决定怎么基于ai得到ai+1
2) α(ai, ai+1),这个函数决定得到的ai+1是否保留
目的是使得at的分布收敛于π(a)
Gibbs Sampling的算法:
一般来说我们通常不知道π(a),但我们可以得到p(g | u , b),p(u | g , b), p ( b | g, u )即三个变量的posterior distribution
Step1: 给g, u, b 赋初始值:(g0,u0,b0)
Step2: 利用p (g | u0, b0) 产生g1
Step3: 利用p (u | g1, b0) 产生u1
Step4: 利用p (b | g1, u1) 产生b1
Step5: 重复step2~step5 这样我们就可以得到一个markov chain {a1,a2 … ai, ai+1,… at}
这里的q(ai, ai+1)= p(g | u , b)* p(u | g , b)* p ( b | g, u )
From:link
=============================================
互动百科这么说的:
概率推理的通用方法,是Metropolis-Hastings算法的一个特例,因此也是Markov chain Monte Carlo算法的一种。
虽然它的通用性比较好,但导致了计算代价较高,所以在许多应用里,包括具有不完备信息的应用,都采用其它更为高效的方法。然而,理解这一方法有助于增进对统计推理问题的理解。
中心思想
由一个具有2个或更多变量的联合概率分布P(x1,x2,…,xn),生成一个样本序列{y1,y2,…,ym},用于逼近这一个联合分布,或计算一个积分(例如期望)。
适用于处理不完备信息,当联合分布不明确,而各个变量的条件分布已知的情况。
根据其他变量的当前值,依次对分布的每个变量生成一个实例。
随机过程
对一个随机过程,例如马尔可夫链过程,一般包括一个有限的状态集合 和 一个概率转移矩阵。假设这个过程各个各个状态都是可遍历的(ergodic),即转移矩阵中的元素值都大于0。为此,我们可以选择任意状态为初始态 Q0,计算转化N次后可能到达的状态 Qn 的概率。当N取值足够大时,可以计算得到这一过程最有可能的终态。
假设有一个变量集合X={X1,X2,……,Xn},P(X)为集合X的联合分布,0<1。
我们将这些变量看做一个马尔科夫过程中的状态集,这一过程定义为:S=∏i=1~n
from:http://www.shamoxia.com/html/y2010/1516.html
Gibbs sampling [Gibbs采样]相关推荐
- Gibbs Sampling\吉布斯采样(一)
上篇文章认识了马尔科夫蒙特卡洛方法,并简单了解了其中一个重要的方法---GibbsSampling.之前在读论文时多次遇见,未深入了解,现在终于知道它的真面目了... 也是一篇很好的文章,写的较简单易 ...
- Gibbs Sampling(吉布斯采样)
摘要:Gibbs Sampling利用条件概率产生符合分布的样本,用于估计分布的期望,边缘分布:是一种在无法精确计算情况下,用计算机模拟的方法. 什么是Gibbs Sampling Gibbs Sam ...
- 随机采样和随机模拟:吉布斯采样Gibbs Sampling
2016年05月12日 00:24:21 阅读数:45658 http://blog.csdn.net/pipisorry/article/details/51373090 吉布斯采样算法详解 为什么 ...
- 【ML】线性回归的吉布斯采样(Gibbs Sampling)实现(python)
导航 Bayesian Linear Regression Gibbs Sampling Derving a Gibbs sampler Update for β0\beta_0β0 Update ...
- Gibbs sampling
Gibbs sampling(吉布斯采样)(资料集合) 维基百科,自由的百科全书: In statistics, Gibbs sampling or a Gibbs sampler is a Mark ...
- Markov Chain Monte Carlo 和 Gibbs Sampling算法
Welcome To My Blog 一.蒙特卡洛模拟 蒙特卡洛模拟(Monte Carlo Simulation)是随机模拟的别名,关于随机模拟的一个重要的问题就是:给定一个概率分布p(x),如何生 ...
- 贝叶斯统计学习笔记|Bayesian Statistics|Metropolis-Hastings与Gibbs Sampling
贝叶斯统计学习笔记|Bayesian Statistics|Metropolis-Hastings与Gibbs Sampling (一) Metropolis-Hastings(MH) 现要从目标分布 ...
- (转载)机器学习知识点(十三)吉布斯采样法(Gibbs Sampling)
3.1 随机模拟 随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation).这个方法的发展始于20世纪40年代,和原子弹制造的曼哈顿计划密切相关,当时 ...
- 吉布斯采样(Gibbs Sampling)
吉布斯采样(Gibbs Sampling) 常用于DBM和DBN,吉布斯采样主要用在像LDA和其它模型参数的推断上. 要完成Gibbs抽样,需要知道条件概率.也就是说,gibbs采样是通过条件 ...
最新文章
- switch_to及ret_from_sys_call控制任务的切换与返回
- linux history文件路径,Linux、Unix常用命令(文件和目录相关)
- C#中的样板命令行工具应用程序
- 矩阵论、组合数学基础
- mysql5.6 table cache_MySQL 5.6下table_open_cache参数优化合理配置详解
- 网关支付、银联代扣通道、快捷支付、银行卡支付分别是怎么样进行支付的?
- 西门子g120变频器接线图_西门子G120变频器通过IOP-2面板快速启动
- 冻库正常低压力是多少_零下40度低温低压压力多少算正常?
- 爬虫问题,内容应该如何解码,base64解码技巧,从哪里开始分析
- 梯度下降学习率的设定策略
- Modularity Based Community Detection with Deep Learning 阅读笔记
- MySQL必知必会5
- scope曲线用plot画出、多个scope用plot画出、scop数据保存至工作空间
- linux罗马数字1到10怎么打,罗马数字1到10怎么打
- 射频电路板设计常见的问题分析和解决办法
- 国庆热门专辑------用python制作国庆头像
- 【NVMe-MI 1.2a - 1】NVM Express Management Interface介绍
- 夕阳落山图(js 夕阳下山)
- JavaScript-----JSON和数组对象
- 中国企业实施ERP之难点全攻略