先验分布、后验分布、共轭分布、共轭先验分布、

参考：

http://blog.sina.com.cn/s/blog_b9a335010102vfdf.html

0. 贝叶斯公式

X为抽样样本，P(X)为我们抽到该样本的概率，有时被称为"证据"，仅仅是归一化因子，如果不关心后验概率P(θ|X)的具体值，只考察θ取何值时后验概率P(θ|X)最大，则可将分子P(X)省略

1. 先验信息

在抽取样本X之前，人们对所要估计的未知参数θ所了解的信息，通常称为先验信息.

某学生通过物理试验来确定当地的重力加速度，测得的数据为(m/s²):

9.80, 9.79, 9.78, 6.81, 6.80

试求当地的重力加速度.

解：用样本均值估计其重力加速度应该是合理的，即

θ平均 = 8.596

由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在9.80附近，即

θ~N(9.80,0.1^2)

这个信息就是重力加速度的先验信息

在统计学中，先验信息可以更好的帮助人们解决

2. 先验分布

对未知参数θ的先验信息用一个分布形式P(θ)来表示，此分布p(θ)称为未知参数θ的先验分布.(即在实验前通过已知信息知道的分布)

上例中重力加速度的先验分布为 θ~N(9.80,0.1^2)

3. 后验分布

在抽取样本X之前，人们对未知参数θ有个了解，即先验分布P(θ)。抽取样本X，得到样本信息，即似然函数P(X|θ)，由于样本中包含未知参数θ的信息，所以样本信息可以修正抽样之前的先验分布P(θ)。P(θ|X)为参数θ的后验分布，即抽样加入新的信息后，对先验分布P(θ)进行修正，后验分布综合运用了先验分布P(θ)和样本信息P(X|θ)。

4. 共轭先验分布

在贝叶斯概率理论中，如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同，参数不同)。那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

共轭分布总是针对分布中的某个参数θ而言。之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，但是参数不同。

先验分布、后验分布、共轭分布、共轭先验分布、相关推荐

贝叶斯学派：先验分布、后验分布、共轭分布、共轭先验分布
转:https://blog.csdn.net/xbmatrix/article/details/63253177 概述: 贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响 ...
先验信息，先验概率，先验分布，后验概率，后验分布，共轭分布，共轭先验分布
任何一个学科,最基本的就是概念,概念一定要清楚,清晰,否则概念都模棱两可的话,这之上的一切建筑都不牢固.很多概念可能长时间不使用就会变得模糊,所以在这里记录一下,输出是最好的记忆. 先验与后验的区别主 ...
先验分布，后验分布，共轭分布的关系
先考虑一下我们是如何解决一个概率问题的: 在一个实际问题中我们通常是根据经验选出一个模型,例如一个抛硬币可以抽象为伯努利分布(0-1分布)的模型,人的身高分布可以抽象为正态分布的模型,然后根据数据推算 ...
LDA总结 (一) 共轭分布
今天开始,复习一下 LDA ,记录一些 LDA 的关键步骤,为写好论文做铺垫.第一节的主题是共轭分布,回忆贝叶斯公式: \[p(\theta|X) = \frac{p(\theta) \cdot p( ...
共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称
目录 1. 共轭复数 2. 傅里叶变换的共轭对称性 3. 共轭根式(radical conjugates) 4. 共轭矩阵(自共轭矩阵.Hermitian(埃尔米特)矩阵) 5. 共轭方向 6. 共轭 ...
概率统计笔记：共轭分布
1 共轭的定义在概率统计笔记:贝叶斯推断 Bayesian Inference_UQI-LIUWJ的博客-CSDN博客中,我们有: 如果某个随机变量Θ的后验概率 p(θ|x)和先验概率p(θ)属于 ...
一个例子搞清楚（先验分布/后验分布/似然估计）
一个例子搞清楚(先验分布/后验分布/似然估计) preface: 无论是<通信原理>.<信息论>.<信道编码>还是<概率与统计理论>,或者在现在流行的& ...
先验分布后验分布似然估计
关键字:evidence ,贝叶斯公式一.先验分布对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原 ...
ML-朴素贝叶斯-先验分布/后验分布/似然估计
文章目录引言问题朴素贝叶斯介绍(最新更新2018.02.22) 朴素在哪里? 1. 数据样本独立同分布 2. 特征条件独立性假设参考1(最新更新2019-02-26) 联合概率分布面试朴 ...

先验分布、后验分布、共轭分布、共轭先验分布、

先验分布、后验分布、共轭分布、共轭先验分布、相关推荐

最新文章

热门文章