贝叶斯定理与贝叶斯估计

贝叶斯定理

通常，事件A在事件B的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯法则就是这种关系的陈述。

贝叶斯法则又被称为贝叶斯定理、贝叶斯规则，是指概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。

作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。

贝叶斯统计中的两个基本概念是先验分布和后验分布：

1、先验分布。总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。

2、后验分布。根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布。

贝叶斯公式为

P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)

P(A|B)=P(B|A)*P(A)/P(B)

其中：

1、P(A)是A的先验概率或边缘概率，称作"先验"是因为它不考虑B因素。

2、P(A|B)是已知B发生后A的条件概率，也称作A的后验概率。

3、P(B|A)是已知A发生后B的条件概率，也称作B的后验概率，这里称作似然度。

4、P(B)是B的先验概率或边缘概率，这里称作标准化常量。

5、P(B|A)/P(B)称作标准似然度。

贝叶斯法则又可表述为：

后验概率=(似然度*先验概率)/标准化常量=标准似然度*先验概率

P(A|B)随着P(A)和P(B|A)的增长而增长，随着P(B)的增长而减少，即如果B独立于A时被观察到的可能性越大，那么B对A的支持度越小。

贝叶斯公式为利用搜集到的信息对原有判断进行修正提供了有效手段。在采样之前，经济主体对各种假设有一个判断（先验概率），关于先验概率的分布，通常可根据经济主体的经验判断确定(当无任何信息时，一般假设各先验概率相同)，较复杂精确的可利用包括最大熵技术或边际分布密度以及相互信息原理等方法来确定先验概率分布。

例如，一座别墅在过去的20年里一共发生过2次被盗，别墅的主人有一条狗，狗平均每周晚上叫3次，在盗贼入侵时狗叫的概率被估计为0.9，问题是：在狗叫的时候发生入侵的概率是多少？

我们假设A事件为狗在晚上叫，B为盗贼入侵，则P(A)=3/7，P(B)=2/(20·365)=2/7300，P(A|B)=0.9，按照公式很容易得出结果：P(B|A)=0.9*(2/7300)/(3/7)=0.00058

另一个例子，现分别有A，B两个容器，在容器A里分别有7个红球和3个白球，在容器B里有1个红球和9个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器A的概率是多少?

假设已经抽出红球为事件B，从容器A里抽出球为事件A，则有：P(B)=8/20，P(A)=1/2，P(B|A)=7/10，按照公式，则有：P(A|B)=(7/10)*(1/2)/(8/20)=0.875

贝叶斯估计

贝叶斯（Bayes）统计是由T. R. Bayes于19世纪创立的数理统计的一个重要分支，20世纪50年代，以H. Robbins为代表提出了在计量经济学模型估计中将经验贝叶斯方法与经典方法相结合，引起了广泛的重视，得到了广泛的应用。贝叶斯估计对经典计量经济学模型估计方法的扩展在于，它不仅利用样本信息，同时利用非样本信息。

（1）贝叶斯估计

在经典计量经济学模型中广泛采用的最小二乘估计，以及本章讨论的最大似然函数估计和广义矩估计的一个共同特征是，在模型估计中只利用样本信息和关于总体分布的先验信息，而关于分布的先验信息仍然需要通过样本信息的检验，所以说到底还是样本信息。

由于模型估计依赖样本信息，这就要求样本信息足够多，因此，这些估计只有在大样本情况下才具有一定的优良性质。但是在许多实际应用研究中，人们无法重复大量的实验以得到大量的观测结果，只能得到少量的观测结果。在小样本情况下，最小二乘估计、最大似然估计和广义矩估计不再具有优良性质。因而，人们不得不寻求小样本情况下的优良估计方法。贝叶斯估计方法就是其中之一。

a、贝叶斯方法的基本思路

贝叶斯方法的基本思路是：假定要估计的模型参数是服从一定分布的随机变量，根据经验给出待估参数的先验分布（也称为主观分布），关于这些先验分布的信息被称为先验信息；然后根据这些先验信息，并与样本信息相结合，应用贝叶斯定理求出待估参数的后验分布；再应用损失函数，得出后验分布的一些特征值，并把它们作为待估参数的估计量。

贝叶斯方法与经典估计方法的主要不同之处是：

（a）关于参数的解释不同

经典估计方法认为待估参数具有确定值，它的估计量才是随机的，如果估计量是无偏的，该估计量的期望等于那个确定的参数；而贝叶斯方法认为待估参数是一个服从某种分布的随机变量。

（b）所利用的信息不同

经典方法只利用样本信息；贝叶斯方法要求事先提供一个参数的先验分布，即人们对有关参数的主观认识，被称为先验信息，是非样本信息，在参数估计过程中，这些非样本信息与样本信息一起被利用。

（c）对随机误差项的要求不同

经典方法，除了最大似然法，在参数估计过程中并不要求知道随机误差项的具体分布形式，但是在假设检验与区间估计时是需要的；贝叶斯方法需要知道随机误差项的具体分布形式。

（d）选择参数估计量的准则不同

经典估计方法或者以残差平方和最小，或者以似然函数值最大为准则，构造极值条件，求解参数估计量；贝叶斯方法则需要构造一个损失函数，并以损失函数最小化为准则求得参数估计量。

b、贝叶斯定理

c、损失函数

常用的损失函数有线性函数和二次函数，不同的损失函数，得到的参数估计值是不同的。

（2）线性单方程计量经济学模型的贝叶斯估计

以正态线性单方程计量经济学模型为例介绍贝叶斯估计方法。选择正态线性单方程计量经济学模型的主要原因是：（1）多元线性单方程计量经济学模型具有普遍性意义；（2）在模型设定正确的情况下，随机误差项是大量随机扰动之总和，根据中心极限定理，可以认为它是渐近正态分布；（3）计算简单，使用方便，并能完整地体现贝叶斯估计方法的主要内容。正态线性单方程计量经济学模型又分为随机误差项方差已知和方差未知两种情况。作为贝叶斯估计方法的演示，我们只讨论方差已知的情况。

a、有先验信息的后验分布

b、无先验信息的后验分布

c、点估计

d、区间估计

……

贝叶斯定理与贝叶斯估计相关推荐

【数学基础】参数估计之贝叶斯估计
从统计推断讲起统计推断是根据样本信息对总体分布或总体的特征数进行推断,事实上,这经典学派对统计推断的规定,这里的统计推断使用到两种信息:总体信息和样本信息:而贝叶斯学派认为,除了上述两种信息以外,统 ...
朴素贝叶斯和贝叶斯估计
贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理. 在参数估计中可以写成下面这样: 这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和先验概率的计算表达式,即在贝叶 ...
朴素贝叶斯和贝叶斯估计_贝叶斯估计收入增长的方法
朴素贝叶斯和贝叶斯估计 Note from Towards Data Science's editors: While we allow independent authors to publish ...
python3 联合概率，边缘概率，贝叶斯定理(含详细推导）
1.贝叶斯原理假设有两个随机变量X:Y(下方左图): X的取值为 {},其中 i=1,...,M(M个特征): Y的取值为 {},,其中 j=1,...,L(L个类),如下图所示,M=5, L ...
先验概率、最大似然估计、贝叶斯估计、最大后验概率
先验概率先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的概率. 先验概 ...
R语言使用Metropolis-Hastings采样算法自适应贝叶斯估计与可视化
最近我们被客户要求撰写关于贝叶斯估计的研究报告,包括一些图形和统计输出. 如果您可以写出模型的似然函数,则 Metropolis-Hastings算法可以负责其余部分(即MCMC ).我写了r代码来简 ...
最大似然估计、最大后验概率估计和贝叶斯估计
本内容主要介绍概率论与统计学相关基础知识,主要涉及联合概率.边缘概率和条件概率:贝叶斯公式.先验概率.后验概率和似然函数:最大似然估计.最大后验概率估计和贝叶斯估计等.为机器学习中的贝叶斯分类 ...
朴素贝叶斯算法与贝叶斯估计
1. 朴素贝叶斯算法朴素贝叶斯算法是学习数据集的联合概率分布 P(X,Y)P(X,Y)P(X,Y),而这个过程是通过学习先验概率 P(Y=Ck)P(Y=C_k)P(Y=Ck) 和条件概率分布 P( ...
17、经验贝叶斯估计
经验贝叶斯估计贝叶斯估计的问题定义为根据一些观测数据 x 来估计未知参数 θ,用一个损失函数来衡量估计的准确性,如果用均方误差(MSE)来估计的话,将问题建模为等价于求解后验分布的均值最小均方误 ...

贝叶斯定理与贝叶斯估计

贝叶斯定理与贝叶斯估计相关推荐

最新文章

热门文章