先验分布，后验分布，共轭分布的关系

先考虑一下我们是如何解决一个概率问题的：

在一个实际问题中我们通常是根据经验选出一个模型，例如一个抛硬币可以抽象为伯努利分布（0-1分布）的模型，人的身高分布可以抽象为正态分布的模型，然后根据数据推算出模型的参数。

而这个选取的模型就决定了似然函数p(X|θ)p(X|\theta)的形式。例如抛硬币模型：f(k;n,p)=Pr(K=k)=(nk)pk(1−p)n−kf(k;n,p)=\Pr(K=k)={n \choose k}p^{k}(1-p)^{n-k}（参数为k），身高分布模型：f(x)=1σ2π√e−(((x−μ)22σ2))f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- (((x-\mu )^2 \over 2\sigma^2))}（参数为(μ,σ)(\mu, \sigma)）。

那么如何估计这些模型的参数呢？这里可以使用贝叶斯定理：P(θ|X)=P(X|θ)P(θ)P(X)P(\theta|X)={\frac {P(X|\theta)\,P(\theta)}{P(X)}}，p(θ|x)=p(x|θ)p(θ)∫p(x|θ′)p(θ′)dθ′,{\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta ')p(\theta ')d\theta '}},}

P(θ|X)P(\theta|X)（posterior），它表示已知数据分布的情况下参数的分布，

似然函数P(X|θ)P(X|\theta)（likelihood）表示在参数为θ\theta的情况下数据X的分布，

P(θ)P(\theta)（prior）表示在没看到数据X的情况下的对参数分布的估计，

其实先验分布P(θ)P(\theta)可以随便选择，只不过在计算∫p(x|θ′)p(θ′)dθ′{\int p(x|\theta ')p(\theta ')d\theta '}可能会导致后验分布没有解析式，所以通常都是在保证先验分布合理的情况下选择可以让后验分布有close form的prior。

例如抛硬币模型中likelihood是0-1分布，所以可以选择prior为均匀分布（Beta(1, 1)的特殊形式），此时posterior为Beta(1+Σxi,1+n−Σxi)Beta(1+\Sigma x_i, 1+n-\Sigma x_i)，所以可以直接解出后验的close form。

ps：Beta分布可以理解为先验分布为均匀分布时，加入数据x后的0-1分布参数的后验分布。

在身高模型中，我们的模型，也就是likelihood，为正态分布，
有已知μ\mu，σ\sigma或两者都不知道三种情况的情形。如果先验分布是正态分布的话，后验分布也是正态分布。具体参数可参考

所以以上我们就知道了什么是prior和posterior，以及应该选取什么样的prior，这时如果prior和posterior同一分布的不同参数形式的话，那么prior和posterior叫做共轭分布，prior叫做似然函数的共轭先验。

先验分布，后验分布，共轭分布的关系相关推荐

贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布
转:https://blog.csdn.net/xbmatrix/article/details/63253177 概述: 贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响 ...
先验分布、后验分布、共轭分布、共轭先验分布、
参考: http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html 0. 贝叶斯公式 X为抽样样本,P(X)为我们抽到该样本的概率,有时被称为" ...
先验信息，先验概率，先验分布，后验概率，后验分布，共轭分布，共轭先验分布
任何一个学科,最基本的就是概念,概念一定要清楚,清晰,否则概念都模棱两可的话,这之上的一切建筑都不牢固.很多概念可能长时间不使用就会变得模糊,所以在这里记录一下,输出是最好的记忆. 先验与后验的区别主 ...
LDA总结 (一) 共轭分布
今天开始,复习一下 LDA ,记录一些 LDA 的关键步骤,为写好论文做铺垫.第一节的主题是共轭分布,回忆贝叶斯公式: \[p(\theta|X) = \frac{p(\theta) \cdot p( ...
共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称
目录 1. 共轭复数 2. 傅里叶变换的共轭对称性 3. 共轭根式(radical conjugates) 4. 共轭矩阵(自共轭矩阵.Hermitian(埃尔米特)矩阵) 5. 共轭方向 6. 共轭 ...
一个例子搞清楚（先验分布/后验分布/似然估计）
一个例子搞清楚(先验分布/后验分布/似然估计) preface: 无论是<通信原理>.<信息论>.<信道编码>还是<概率与统计理论>,或者在现在流行的& ...
先验分布后验分布似然估计
关键字:evidence ,贝叶斯公式一.先验分布对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原 ...
概率统计笔记：共轭分布
1 共轭的定义在概率统计笔记:贝叶斯推断 Bayesian Inference_UQI-LIUWJ的博客-CSDN博客中,我们有: 如果某个随机变量Θ的后验概率 p(θ|x)和先验概率p(θ)属于 ...
ML-朴素贝叶斯-先验分布/后验分布/似然估计
文章目录引言问题朴素贝叶斯介绍(最新更新2018.02.22) 朴素在哪里? 1. 数据样本独立同分布 2. 特征条件独立性假设参考1(最新更新2019-02-26) 联合概率分布面试朴 ...

先验分布，后验分布，共轭分布的关系

先验分布，后验分布，共轭分布的关系相关推荐

最新文章

热门文章