学习笔记 | 条件概率、联合概率、全概率公式、贝叶斯公式

定义

边缘概率（又称先验概率）：某个事件发生的概率。

边缘概率是这样得到的：在联合概率中，把最终结果中那些不需要的事件通过合并成它们的全概率，而消去它们（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization）。
比如A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。

联合概率表示两个事件共同发生的概率。A与B的联合概率表示为P(A∩B)或者P(A,B)。

条件概率（又称后验概率）：事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”,。

接着，考虑一个问题：P(A|B) 是在B发生的情况下A发生的可能性。

首先，事件B发生之前，我们对事件A的发生有一个基本的概率判断，称为A的先验概率，用P(A) 表示；
其次，事件B发生之后，我们对事件A的发生概率重新评估，称为A的后验概率，用P(A|B) 表示；
类似的，事件A发生之前，我们对事件B的发生有一个基本的概率判断，称为B的先验概率，用P(B) 表示；
同样，事件A发生之后，我们对事件B的发生概率重新评估，称为B的后验概率，用P(B|A) 表示。

01 条件概率

条件概率的定义：

由定义可以引申得到：

02 贝叶斯公式

由条件概率可得：

由此得到贝叶斯公式的常规形式：

03 全概率公式

若事件B₁,B₂,…,B_n 是样本空间Ω 的一个划分，则：

又因为条件概率公式，可进一步得：

可以使用下图帮助理解，整个大圆为样本空间，中间阴影面积为事件A。大圆的每一个切分代表每一个B_i。

全概率公式的意义在于，当某一事件的概率难以求得时，可转化为在一系列条件下发生概率的和。

04 全概率公式和贝叶斯公式的结合

学习笔记 | 条件概率、联合概率、全概率公式、贝叶斯公式相关推荐

学习笔记（一）贝叶斯公式
一. 贝叶斯要解决的问题(逆向概率问题) (一)正向概率: 已知黑盒中有a个红球,b个黄球,那么拿出一个球是黄球的概率多大?这种问题就是正向概率,由已知的条件俩推测可能出现的结果. (二)逆向概率: ...
先验概率、后验概率、贝叶斯公式_学习笔记
先验概率(prior probability): 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为＂由因求果＂问题中的＂因＂出现的概率. 在贝叶斯统计推断中,不确定数量的先验概率分布 ...
概率论复习笔记——条件概率、全概率、贝叶斯公式及其应用
概统笔记--贝叶斯公式条件概率乘法定理全概率公式和贝叶斯公式样本空间全概率公式贝叶斯公式相关应用条件概率定义设 A , B A,B A,B是两个事件,且 P ( A ) > ...
《基于张量网络的机器学习入门》学习笔记5
<基于张量网络的机器学习入门>学习笔记5 量子概率体系事件互斥事件概率与测量不相容属性对相容属性对量子概率与经典概率的区别量子测量量子概率体系我们将经典的实数概率扩展到复 ...
台大机器学习基石学习笔记
台大机器学习基石学习笔记标签(空格分隔): 机器学习目录台大机器学习基石学习笔记目录 Lecture 1 The Learning Problem Course Introduction Wh ...
(转载)机器学习知识点(二十九)LDA入门级学习笔记
入门级学习笔记 1.1文本建模相关统计文本建模的目的其实很简单:就是估算一组参数,这组参数使得整个语料库出现的概率最大.这是很简单的极大似然的思想了,就是认为观测到的样本的概率是最大的. 建模的目标 ...
【学习笔记】信息学竞赛中的概率与期望小结
信息竞赛--概率与期望事件事件的蕴含.包含事件的互斥事件的对立事件的和(并) 事件的积(交) 事件的差概率事件的独立性全概率公式贝叶斯公式概率DP(竞赛中的考察) 期望(竞赛中的考 ...
使用Excel分析数据学习笔记之二分类与混淆矩阵
使用Excel分析数据学习笔记之二分类与混淆矩阵混淆矩阵的构成: e.g.1:Bombers and seagulls 案例背景混淆矩阵如何根据混淆矩阵得到ROC曲线? 如何设定最佳阈值(op ...
《机器学习》周志华学习笔记
<机器学习>周志华学习笔记第一章绪论 1.1 引言机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...