理解条件概率的链式法则

条件概率:
\(\text{x}=x\) 事件发生时 \(\text{y}=y\) 事件发生的概率:
\[ P(\text{y}=y|\text{x}=x)=\frac{P(\text{x}=x,\text{y}=y)}{P(\text{x}=x)} \]
条件概率的链式法则
也称为条件概率的乘法法则

\[ \begin{aligned} P(a,b,c) &= P(a|b,c)P(b,c) \\ &= P(a|b,c)P(b|c)P(c) \end{aligned} \]

推广到一般情况有:
\[ \begin{aligned} P(\text{x}^{(1)},\text{x}^{(2)},\cdots,\text{x}^{(n)}) &= P(\text{x}^{(n)}|\text{x}^{(n-1)},\cdots,\text{x}^{(1)})P(\text{x}^{(1)},\cdots,\text{x}^{(n-1)})\\ &=P(\text{x}^{(n)}|\text{x}^{(n-1)},\cdots,\text{x}^{(1)})P(\text{x}^{(n-1)}|\text{x}^{(n-2)},\cdots,\text{x}^{(1)})P(\text{x}^{(1)},\cdots,\text{x}^{(n-2)})\\ &=P(\text{x}^{(n)}|\text{x}^{(n-1)},\cdots,\text{x}^{(1)})P(\text{x}^{(n-1)}|\text{x}^{(n-2)},\cdots,\text{x}^{(1)})\cdots P(\text{x}^{(2)}|\text{x}^{(1)})P(\text{x}^{(1)})\\ &=P(\text{x}^{(1)})\prod_2^nP(\text{x}^{(i))}|\text{x}^{(1)}\cdots\text{x}^{(i-1)}) \end{aligned} \]

通俗点讲，条件概率的链式法则可以如下理解：
以 \(P(\text{x}^{(1)},\text{x}^{(2)},\cdots,\text{x}^{(n)})\) 为例，可以看作 \(P(\text{x}^{(1)})\) 发生后，\(P(\text{x}^{(2)}|\text{x}^{(1)})P(\text{x}^{(1)})\) 是\(\text{x}^{(1)},\text{x}^{(2)}\) 同时发生的概率，\(P(\text{x}^{(3)}|\text{x}^{(1)},\text{x}^{(2)})P(\text{x}^{(2)}|\text{x}^{(1)})P(\text{x}^{(1)})\) 是 \(\text{x}^{(1)},\text{x}^{(2)},\text{x}^{(3)}\) 同时发生的概率，依次类推下去，便可以得到条件概率的链式法则公式。

参考资料：Deep Learning 3.5

转载于:https://www.cnblogs.com/yuyin/articles/10958971.html

理解条件概率的链式法则相关推荐

条件概率 and 条件概率的链式法则 and 期望、方差和协方差
条件概率的链式法则协方差和相关性是有联系的,但实际上是不同的概念.它们是有联系的,因为两个变量如果相互独立那么它们的协方差为零,如果两个变量的协方差不为零那么它们一定是相关的.然而,独立性又是和协方 ...
怎样理解条件概率公式
这是一个很经典的公式,全概率公式,贝叶斯公式都会由它而来,公式如下: P(A|B)=P(AB)/P(B) 这个公式的含义是在条件B下产生A的概率可以由A和B的联合概念除以B的概率得到,怎样来的呢?其实 ...
5分钟理解边缘概率，联合概率，条件概率，随机事件独立，随机事件依赖
在隐马尔可夫(HMM)和条件随机场(CRF)中有很多概率计算问题,要想理解他们,必须先把概率的一些概念及计算公式搞清楚.本文旨在用形象的图形和具体事例来讲解这些概念和公式,以帮助理解.这里讲的部分内容 ...
2.如何正确理解古典概率中的条件概率《zobol的考研概率论教程》
写本文主要是帮助粉丝理解考研中的古典概率-条件概率的具体定义. "B事件发生的条件下,A事件发生的概率"? "在A集合内有多少B的样本点"? "在B约 ...
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
全概公式和贝叶斯公式的理解
目录(?)[+] 条件概率首先,理解这两个公式的前提是理解条件概率,因此先复习条件概率. P(A|B)=P(AB)P(B) 理解这个可以从两个角度来看. 第一个角度:在B发生的基础上,A发生的概率 ...
[200902] 条件概率与独立事件
[200902] 条件概率与独立事件通过B站,巩固了条件概率与独立事件: 条件概率表示事件A发生后,事件B发生的概率.两者应该处于同一空间. A与B同时发生的概率,除以A发生的概率. P ( B ∣ ...
惯性传感器的卡尔曼滤波
一.引言下面我们引用文献[1]中的一段话作为本文的开始: 想象你在黄昏时分看着一只小鸟飞行穿过浓密的丛林,你只能隐隐约约.断断续续地瞥见小鸟运动的闪现.你试图努力地猜测小鸟在哪里以及下一时刻它会出现 ...
数学学习笔记--概率论
2. 概率论 2.1 概率分布与随机变量 2.1.1 机器学习为什么要使用概率事件的概率是衡量该事件发生的可能性的量度.虽然在一次随机试验中某个事件的发生是带有偶然性的,但那些可在相同条件下大量重复 ...

理解条件概率的链式法则

理解条件概率的链式法则相关推荐

最新文章

热门文章