贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。

在参数估计中可以写成下面这样：

$p(\theta|X) = \frac{p(X|\theta) \cdot p(\theta)}{p(X)}$

这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即

$posterior = \frac{likelihood \cdot prior}{evidence}$

在贝叶斯定理中，每个名词都有约定俗成的名称：

P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(A|B)是已知B发生后A的条件概率(在B发生的情况下A发生的可能性)，也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.

按这些术语，Bayes定理可表述为：

后验概率 = (相似度*先验概率)/标准化常量，也就是说，后验概率与先验概率和相似度的乘积成正比。

另外，比例P(B|A)/P(B)也有时被称作标准相似度（standardised likelihood），Bayes定理可表述为：

后验概率 = 标准相似度*先验概率

贝叶斯估计

贝叶斯估计是在MAP上做进一步拓展，此时不直接估计参数的值，而是允许参数服从一定概率分布。极大似然估计和极大后验概率估计，都求出了参数theta的值，而贝叶斯推断则不是，贝叶斯推断扩展了极大后验概率估计MAP（一个是等于，一个是约等于）方法，它根据参数的先验分布P(theta)和一系列观察X，求出参数theta的后验分布P(theta|X)，然后求出theta的期望值，作为其最终值。另外还定义了参数的一个方差量，来评估参数估计的准确程度或者置信度。

贝叶斯公式

$p(\theta|X) = \frac{p(X|\theta) \cdot p(\theta)}{p(X)}$

现在不是要求后验概率最大，这样就需要求 $p(X)$ ,即观察到的evidence的概率，由全概率公式展开可得

$p(X) = \int_{\theta \in \Theta}p(X|\theta)p(\theta)d\theta$

当新的数据被观察到时，后验概率可以自动随之调整。但是通常这个全概率的求法是贝叶斯估计比较有技巧性的地方。

用贝叶斯估计来做预测

如果我们想求一个新值 $\hat{x}$ 的概率，可以由下面公式来计算。

$p(\hat{x}|X) = \int_{\theta \in \Theta} p(\hat{x} | \theta)p(\theta|X)d\theta=\int_{\theta \in \Theta}p(\hat{x}|\theta)\frac{p(X|\theta)p(\theta)}{p(X)}d\theta$

此时第二项因子在 $\theta \in \Theta$ 上的积分不再等于1，这就是和MLE及MAP很大的不同点。

转载于:https://www.cnblogs.com/WegZumHimmel/p/7886066.html

朴素贝叶斯和贝叶斯估计相关推荐

朴素贝叶斯和贝叶斯估计_贝叶斯估计收入增长的方法
朴素贝叶斯和贝叶斯估计 Note from Towards Data Science's editors: While we allow independent authors to publish ...
机器学习算法（8）——朴素贝叶斯、最小风险贝叶斯决策
最后以巨佬--"贝叶斯大爷"作为基本机器学习算法学习的压轴算法>>>>>>>>>>>>>膜拜!!!!! ...
朴素贝叶斯代码实现python
P(B)称为"先验概率",即在A事件发生之前,对B事件概率的一个判断. P(B|A)称为"后验概率",即在A事件发生之后,对B事件概率的重新评估. P(A|B) ...
朴素贝叶斯法的参数估计——贝叶斯估计及其Python实现
统计学习方法--朴素贝叶斯法原理 1. 贝叶斯估计 1.1 为什么要用贝叶斯估计(极大似然的缺点) 1.2 贝叶斯估计原理贝叶斯估计的算法过程合极大似然估计的算法过程一模一样,代码也几乎一模一样,只 ...
朴素贝叶斯算法与贝叶斯估计
1. 朴素贝叶斯算法朴素贝叶斯算法是学习数据集的联合概率分布 P(X,Y)P(X,Y)P(X,Y),而这个过程是通过学习先验概率 P(Y=Ck)P(Y=C_k)P(Y=Ck) 和条件概率分布 P( ...
统计学习方法：朴素贝叶斯
作者:桂. 时间:2017-04-20 18:31:37 链接:http://www.cnblogs.com/xingshansi/p/6740308.html 前言本文为<统计学习方法&g ...
朴素贝叶斯(NaïveBayes)
Author: Silly_0903; Datawhale NaïveBayes简介基于贝叶斯方法,通过先验概率,计算并选择最大的后验概率. 核心公式 P(Y∣X)=P(X∣Y)P(Y)P(X)P( ...
第九课.朴素贝叶斯分类器
目录朴素贝叶斯算法原理朴素贝叶斯参数估计极大似然估计贝叶斯估计朴素贝叶斯算法流程实验:Numpy实现朴素贝叶斯分类器朴素贝叶斯算法原理若P(X)P(X)P(X)表示事件XXX发生的概率 ...
朴素贝叶斯法(二)——基本方法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法基本方法总论朴素贝叶斯法是典型的生成学习方法.生成方法由训练数据学习联合概率分布P(X,Y),然后得到后验概率P(Y|X).即: 一)利用 ...

朴素贝叶斯和贝叶斯估计

贝叶斯定理

贝叶斯估计

用贝叶斯估计来做预测

朴素贝叶斯和贝叶斯估计相关推荐

最新文章

热门文章