1 贝叶斯定理和全概率公式（复习）

贝叶斯定理（条件概率的计算公式）： $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

全概率公式：如果A和A'构成了样本空间的一个划分，那么事件B的概率为：

$P(B)=P(B|A)P(A)+P(B|A')P(A')$

全概率公式下条件概率的另一种写法： $P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A')P(A')}$

2 贝叶斯推断

对条件概率公式进行变形，可以得到如下形式：

$P(A|B)=P(A)\frac{P(B|A)}{P(B)}$

P(A)——先验概率（prior probability）【事件B发生之前，事件A概率的一个判断】

P(A|B)——后验概率（posterior probability）【事件B发生后，对事件A概率的一个重新判断】

$\frac{P(B|A)}{P(B)}$ ——可能性函数（likelihood）【似然，调整因子，使得估计概率更接近真实概率】

所以条件概率可以表示为：

后验概率=先验概率 × 调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

如果"可能性函数" $\frac{P(B|A)}{P(B)}$ 大于1，意味着"先验概率"被增强，事件A的发生的可能性变大

如果"可能性函数" $\frac{P(B|A)}{P(B)}$ 等于1，意味着B事件无助于判断事件A的可能性

如果"可能性函数" $\frac{P(B|A)}{P(B)}$ 小于1，意味着"先验概率"被削弱，事件A的可能性变小

参考资料：浅谈贝叶斯推断 - 加拿大小哥哥 - 博客园 (cnblogs.com)

概率统计笔记：贝叶斯推断 Bayesian Inference相关推荐

为机器学习爱好者推荐一本书《贝叶斯方法：概率编程与贝叶斯推断》
本书的内容特色: 学习贝叶斯思维方式 ·理解计算机如何进行贝叶斯推断 ·利用PyMC Python库进行编程来实现贝叶斯分析 ·利用PyMC建模以及调试 ·测试模型的拟合优度 ·打开马尔科夫链蒙特卡洛 ...
《贝叶斯方法：概率编程与贝叶斯推断》一导读
前言贝叶斯方法:概率编程与贝叶斯推断贝叶斯方法是一种常用的推断方法,然而对读者来说它通常隐藏在乏味的数学分析章节背后.关于贝叶斯推断的书通常包含两到三章关于概率论的内容,然后才会阐述什么是贝叶斯 ...
那些年我做家教学过的东西_决策与风险decision and risk_1_贝叶斯推断Bayes Inference
贝叶斯推断 1.背景概率论中频率学派(frequentist)与贝叶斯学派(bayeser)关于概率对象的分配是存在歧义的.频率学派认为,仅有数据样本服从概率分布,而参数是数值未知的固定值,其P值及 ...
贝叶斯推断方法 —— 从经验知识到推断未知
贝叶斯推断方法 -- 从经验知识到推断未知机器学习基础算法python代码实现可参考:zlxy9892/ml_code 1 什么是贝叶斯在机器学习领域,通常将监督学习 (supervised ...
贝叶斯推断应用：垃圾邮件过滤
附上新博客地址:月光森林引入仍然是"信息内容安全" 课程的一个实验总结.为了理解整个原理,不但重新复习了一边贝叶斯,还因为对"联合概率"理解不透彻,直接翻译 ...
概率统计笔记：共轭分布
1 共轭的定义在概率统计笔记:贝叶斯推断 Bayesian Inference_UQI-LIUWJ的博客-CSDN博客中,我们有: 如果某个随机变量Θ的后验概率 p(θ|x)和先验概率p(θ)属于 ...
权重衰减（weight decay）在贝叶斯推断（Bayesian inference）下的理解
权重衰减(weight decay)在贝叶斯推断(Bayesian inference)下的理解摘要权重衰减贝叶斯(Bayes inference) 视角下的权重衰减似然函数(log like ...
概率统计笔记：用python实现贝叶斯回归
0 理论部分: 概率统计笔记:贝叶斯线性回归_UQI-LIUWJ的博客-CSDN博客 1 数据集部分 1.1 创建数据集 import matplotlib.pyplot as plta_true = ...
变分贝叶斯推断(Variational Bayes Inference)简介
通常在研究贝叶斯模型中,很多情况下我们关注的是如何求解后验概率(Posterior),不幸的是,在实际模型中我们很难通过简单的贝叶斯理论求得后验概率的公式解,但是这并不影响我们对贝叶斯模型的爱--既然 ...

概率统计笔记：贝叶斯推断 Bayesian Inference

1 贝叶斯定理和全概率公式（复习）

2 贝叶斯推断

概率统计笔记：贝叶斯推断 Bayesian Inference相关推荐

最新文章

热门文章