MCMC中的深入论题

目录
3.6 辅助变量采样器
3.6.1 混合蒙特卡洛（详见PRML）
3.6.2 切片采样
3.6.3 模拟回火
3.7 可逆跳跃MCMC

3.6 辅助变量采样器

思路：从增广分布p(x,u)中采样往往比从p(x)中采样更容易，其中u是辅助变量。然后，根据p(x,u)抽样(x(i),u(i))，然后忽略样本u(i)，就可以得到边际样本x(i)。

在这里，我们将重点介绍两个众所周知的辅助变量方法的例子，即混合蒙特卡罗和切片抽样。

3.6.1 混合蒙特卡罗（HMC）

Duane（1987）和尼尔（1996）概述的“跨越【leapfrog】”HMC算法。混合蒙特卡罗（HMC）是一种MCMC算法，包含关于目标分布梯度信息以改善高维混合。

汉密尔顿蒙特卡洛（HMC）采样是一种动力学采样方法，也是现如今最通用的采样方法。由于MH算法与吉布斯采样方法中下一个样本点与当前样本点之间的相关性都不可避免会很强，因为当前样本点是下一个样本点的条件。这样的采样路径是随机游走的，对目标分布的探索效率比较低下。

通过引入 辅助的动量变量，把待采样的变量作为位置变量，把二者纳入一个势能与动能守恒的动力学系统，通过采样点在动力学系统中随机的游走来得到两个

8. An Introduction to MCMC for Machine Learning (4)相关推荐

8. An Introduction to MCMC for Machine Learning (5)
MCMC前沿 4.1 收敛与完美抽样收敛性的诊断确定马尔可夫链的长度是一项困难的任务. 在实践中,人们经常丢弃一组初始样本(预烧),以避免起始点导致偏差. 如果链稳定下来,人们可以应用几个图形和统 ...
8. An Introduction to MCMC for Machine Learning (3)
3. MCMC算法上面说了这么多采样方法,其实最终要突出的就是 MCMC 的过人之处. MCMC的绝妙之处在于:通过稳态的Markov Chain进行转移计算,等效于从 p ( x ) p(x) p ...
8. An Introduction to MCMC for Machine Learning (2)
MCMC的应用: MCMC经常被用来解决高维空间中的积分和优化问题.这两类问题在机器学习.物理.统计.计量经济学和决策分析中起着基础性的作用. 以下只是一些例子: (1)贝叶斯推理与学习:%例:动力学 ...
8. An Introduction to MCMC for Machine Learning (1)
这篇介绍性论文有三个目的: 蒙特卡洛方法,重点是概率机器学习(简单的蒙特卡罗模拟.拒绝抽样和重要性抽样): 回顾马尔可夫链蒙特卡罗模拟MCMC的主要组成部分,提供和介绍了这一特殊问题的相关论文: 新的 ...
机器学习（Machine Learning）入门科普
=======================国外==================== Machine Learning 大家(1):M. I. Jordan (http://www.cs.ber ...
Paper reading (十八)：Machine learning applications in genetics and genomics
论文题目:Machine learning applications in genetics and genomics scholar 引用:528 页数:12 发表时间:2015.05 发表刊物:n ...
Machine Learning for Computer Systems and Networking:A Survey ---综述阅读对于计算机系统和网络的机器学习
摘要: Machine learning (ML) has become the de-facto approach for various scientific domains such as co ...
Introduction to Machine Learning
Introduction to Machine Learning 引言本系列文章是本人对Andrew NG的机器学习课程的一些笔记,如有错误,请读者以课程为准. 在现实生活中,我们每天都可能在不知不 ...
An Introduction to Hashing in the Era of Machine Learning
In December 2017, researchers at Google and MIT published a provocative research paper about their e ...

8. An Introduction to MCMC for Machine Learning (4)

MCMC中的深入论题

3.6 辅助变量采样器

3.6.1 混合蒙特卡罗（HMC）

8. An Introduction to MCMC for Machine Learning (4)相关推荐

最新文章

热门文章