贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布

转：https://blog.csdn.net/xbmatrix/article/details/63253177

概述：

贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响。之所以采用共轭分布的原因是可以使得先验分布和后验分布的形式相同，这样一方面合符人的直观（它们应该是相同形式的）另外一方面是可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

共轭分布≠共轭先验。如果后验概率和先验概率是同一族的，则认为它们是共轭分布，这个先验概率就是对应于似然函数的共轭先验。——维基百科。所以，共轭先验分布离不开具体的分布和参数，比如似然函数是二项分布，参数为u，则必须指明二项分布中参数u的共轭先验分布是Beta分布，由此得到的后验概率也是Beta分布（同一族）。

0. 贝叶斯公式

X为抽样样本，P(X)为我们抽到该样本的概率，有时被称为"证据"，仅仅是归一化因子，如果不关心后验概率P(θ|X)的具体值，只考察θ取何值时后验概率P(θ|X)最大，则可将分子P(X)省略

1. 先验信息

在抽取样本X之前，人们对所要估计的未知参数θ所了解的信息，通常称为先验信息.

某学生通过物理试验来确定当地的重力加速度，测得的数据为(m/s²):

9.80, 9.79, 9.78, 6.81, 6.80

试求当地的重力加速度.

解：用样本均值估计其重力加速度应该是合理的，即

θ平均 = 8.596

由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在9.80附近，即

θ~N(9.80,0.1^2)

这个信息就是重力加速度的先验信息

在统计学中，先验信息可以更好的帮助人们解决

2. 先验分布

对未知参数θ的先验信息用一个分布形式P(θ)来表示，此分布p(θ)称为未知参数θ的先验分布.(即在实验前通过已知信息知道的分布)

上例中重力加速度的先验分布为 θ~N(9.80,0.1^2)

3. 后验分布

在抽取样本X之前，人们对未知参数θ有个了解，即先验分布P(θ)。抽取样本X，得到样本信息，即似然函数P(X|θ)，由于样本中包含未知参数θ的信息，所以样本信息可以修正抽样之前的先验分布P(θ)。P(θ|X)为参数θ的后验分布，即抽样加入新的信息后，对先验分布P(θ)进行修正，后验分布综合运用了先验分布P(θ)和样本信息P(X|θ)。

4. 共轭先验分布

在贝叶斯概率理论中，如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同，参数不同)。那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

共轭分布总是针对分布中的某个参数θ而言。之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，但是参数不同。

贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布相关推荐

贝叶斯学派，先验概率，后验概率，贝叶斯估计
最近paper上看到了很多贝叶斯估计的问题,总结一下网上的贝叶斯估计相关知识. 贝叶斯公式: 最大似然估计: 实际上是求了红线框起来的部分最大后验估计: 实际上是去求了红线框起来的部分.比最大似然估 ...
统计学中的频率学派与贝叶斯学派
对于技术应用人员来说,我们更看重方法的应用,但有时候对知识的背景做一些了解,我觉得还是挺有必要的,能帮助我们理解一些东西.这篇博文里,不会呈现任何计算公式,只是讨论一下贝叶斯学派与频率学派之间的问题. ...
德国坦克问题及频率学派与贝叶斯学派
转载:Tony's blog: 德国坦克问题及频率学派与贝叶斯学派 (tonysh-thu.blogspot.com) 这是一个看起来很基础很简单的经典问题:假设所有的德国坦克是从1开始按自然数递增编 ...
频率学派还是贝叶斯学派？聊一聊机器学习中的MLE和MAP
作者:夏飞 Google | 软件工程师量子位已获授权编辑发布转载请联系原作者本文作者夏飞,清华大学计算机软件学士,卡内基梅隆大学人工智能硕士,现为谷歌软件工程师. 在这篇文章中,他探讨了机器 ...
【机器学习】频率学派和贝叶斯学派
在概率理论里,我们通常会用密度估计(Density Estimation)来研究样本x的的概率分布问题.但是,有些人可能觉得这玩意似乎存在着不靠谱的地方.因为通常我们的可获得的样本数是有限的,我们无法 ...
机器学习 · 总览篇 III 统计推断: 频率学派和贝叶斯学派
统计推断作为重要的机器学习基础,对它的了解十分必要,否则我们做机器学习只是在黑盒操作,对其原理和结果难以解释本文首发于我的知乎专栏<机器怎么学习>中机器学习·总览篇(3) 统计推断: ...
看见统计——第五章统计推断：贝叶斯学派
看见统计--第五章统计推断:贝叶斯学派引言推理的频率学派认为,概率在本质上是与频率联系在一起的.这种解释实际上是很自然的.按照频率学派的说法,一枚公平的硬币出现人头的概率是1/2.简单地说,在同 ...
浅谈频率学派和贝叶斯学派
[写在前面的话] 终于可以写贝叶斯相关的文章啦,心情有点小激动,最近一段时间反复看Bishop老师编写的<<Pattern Recognition and Machine Learning ...
Chapter-5_统计推断_贝叶斯学派
Chapter-5_统计推断_贝叶斯学派本文内容摘自:https://seeing-theory.brown.edu/bayesian-inference/cn.html 贝叶斯学派的思想是用数据来 ...

贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布

贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布相关推荐

最新文章

热门文章