Approximate Inference

1. Approximation
   Probabilistic model 中的一个 central task ：给定一组observation X 后，计算latent variables Z 的后验概率P( Z | X)。以及一些expectation with respect to P(Z| X)。很多情况下P( Z | X)是analytically intractable 的。这就需要有approximation 方法。
   Latent variable ：只要没有观察到的都归为 latent variable ，比如在 Bayesian 中的parameter（它们是random variable ）。在Probablistic Graphica l Model 的观点看，parameter和狭义的latent variable 的不同就是，parameter的个数和观察到的数据的个数无关，但是狭义的latent
variable 则与其相关。
   Approximation 方法：分为deterministic 方法和stochatic 方法。前者包括 Laplace approximation ，variational inference 等；后者包括 MCMC sampling 等。

2. Variational inference
   问题：一个 probablistic model   P( X, Z )，含有observed variables X={x1,x2...} 和latent variable Z={z1,z2...}
   目的：为后验概率 P( Z | X)和model evidence P(X) 找approximation 。
   思路：
   引入一个分布q(Z) ，从而把P(X)分解开来：ln p(x) = L(q) + KL(q||p)。其中

注意，现在要用q(Z) 来近似P( Z | X)。如何衡量二者的相近程度呢？上式中的KL(q||p) 正是一个合适的指标。因此，现在就要找到一个q(Z)，使KL(q||p) 最小化。

然后，P( Z|X)本身就是intractable 的，所以直接难以找到使 KL(q||p) 最小化的 q( Z )。但是如果joint distribution P( X, Z )更容易处理，那么就有了一个思路：由于ln p(X)的值跟q( Z )的选取无关，所以最小化KL(q||p) ，等价于最大化 L(q) 。

假设：q( Z )的范围是极其大的，为了便于求出最大化L(q) 的解，需要给q( Z )一些限制。给予限制的原则是兼顾tractable 与flexible 。常用的限制/ 假设是：

即分解性质。其中的zi构成Z 的一个不交子集族.

q( Z )被称为 variational distribution。

转载于:https://www.cnblogs.com/549294286/p/3325360.html

Approximate Inference相关推荐

PRML之Approximate Inference
匆匆的看到PRML第十章Approximate Inference终于感觉啃不动了,不知道是经不起那些公式的折腾了,还是数学基础不够了,总之先歇歇看看中文的吧.参考了别人的博客,链接如下: http: ...
9. Approximate Inference
Variational Inference 思想:用易于计算的 $Q(Z)$ 来近似后验概率 $P(Z|X)$ ,进行推理 Observed variables $X$ and hidden vari ...
PRML第十章 Approximate Inference（近似推断，变分推断，KL散度，平均场， Mean Field ）
https://blog.csdn.net/nietzsche2015/article/details/43450853
ucl计算机硕士选课,伦敦大学学院UCL这4个超酷的机器学习专业
近几年,随着科技不断进步,人工智能领域也得到了前所未有的发展,机器人被广泛应用于各个行业,则机器学习专业越来越火爆,伦敦大学学院作为全球教育理念最前沿的国家之一,也开设了很多机器学习专业. 下面,南昌 ...
阅读记录：Learning multiple layers of representation（杂乱笔记）
典型的浅层学习结构: 传统隐马尔可夫模型(HMM).条件随机场 (CRFs).最大熵模型(Maxent).支持向量机(SVM).核回归及仅含单隐层的多层感知器(MLP)等. 局部表示,分布式表示和稀疏 ...
一些关于机器学习的网站总结
Active Learning ■ http://active-learning.net/,这里包括了关于 Active Learning 理论以及应用的一些文章,特别是那篇 Survey. Tran ...
Logistic regression--转
原文地址:https://en.wikipedia.org/wiki/Logistic_regression In statistics, logistic regression, or logit ...
机器视觉资料汇总（2）
转载自: [转载整理]计算机视觉及机器学习牛人和资料 - Kenneth CHOU - 博客园 http://www.cnblogs.com/wangqiqi/p/3786157.html Paper ...
“概率模型与计算机视觉”-林达华
"概率模型与计算机视觉" 林达华美国麻省理工学院(MIT)博士上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑 ...

Approximate Inference

Approximate Inference相关推荐

最新文章

热门文章