一、例子

这个例子是从网上看到的，感觉非常典型。可以用它来理解条件概率、先后验概率、全概率公式和贝叶斯公式，非常划算。

大概是一个这样的问题：有一个信号的发射端和接收端。发射端只发射A、B两种信号，其中发射信号A的概率为0.6，发射信号B的概率为0.4。当发射信号A时，接收端接收到信号A的概率是0.9，接收到信号B的概率是0.1。当发射信号B时，接收端接收到信号B的概率为0.8，接收到信号A的概率为0.2。求当接收到信号A时，发射信号为A的概率。

这是一道非常简单的题目，当你看完问题后，你可能已经知道要如何计算，但是本文的重点不是在解这道题目，而是介绍这些概念。

二、数学符号表示

发射信号为A的概率： $P\left ( send A \right )=0.6$

发射信号为B的概率： $P\left ( send B \right )=0.4$

发射信号A时，接收到信号A的概率： $P\left ( receiveA|sendA \right )=0.9$

发射信号A时，接收到信号B的概率： $P\left ( receiveB|sendA \right )=0.1$

发射信号B时，接收到信号B的概率： $P\left ( receiveB|sendB \right )=0.8$

发射信号B时，接收到信号A的概率： $P\left ( receiveA|sendB \right )=0.2$

接收到信号A时，发射信号为A的概率： $P\left ( sendA|receiveA \right )=?$

三、条件概率

$P\left ( A|B \right )=\frac{P\left ( AB \right )}{P\left ( B \right )}=\frac{P\left ( A\bigcap B \right )}{P\left ( B \right )}$ （1）

含义：当条件B成立时，事件A发生的概率。等于事件AB同时发生的概率除以事件B发生的概率。

第二节

中的数学符号除了前两个，其余都是条件概率

四、先验概率

这里的发射信号A的概率 $P\left ( send A \right )$ 和发射信号B的概率 $P\left ( send B \right )$ ，虽然没详细叙述怎么得到的，但是可以猜测出这是根据一些先前的观测或者经验得到的。这种概率在这里被称为先验概率。

五、后验概率

后验概率是指在得到一些观测信息后，某事件发生的概率。

这个例子，接收到信号A时，发射信号为A的概率： $P\left ( sendA|receiveA \right )$ 就是个后验概率。就是当已知发射的结果“接收到信号”后，发射信号A的概率。这已与不知道接收到什么信号时发射信号A的概率不同了，当不知道接收到什么信号时，发射A的概率就是先验概率 $P\left ( send A \right )$ 。

下面我们可以开始对这个问题进行推导了：由于后验概率通常是个条件概率，因此根据式（1）调用两次得

$P\left ( sendA|receiveA \right )=\frac{P\left ( receiveA\bigcap sendA \right )}{P\left ( receiveA \right )}=\frac{P\left ( sendA \right )P\left ( receiveA|sendA \right )}{P\left ( receiveA \right )}$ （2）

现在分子 $P\left ( receiveA|sendA \right )=0.9$ 是发射信号A时接收到信号A的概率； $P\left ( send A \right )=0.6$ 是发射A的概率，这两个已知。若想求分母就要用到全概率公式了。

六、全概率公式

全概率公式为：

$P\left ( B \right )=\sum_{i}^{n}P\left ( A_i \right )P\left ( B|A_i \right )$ （3）

，其中 $P\left ( A_1\bigcap A_2\bigcap ...\bigcap A_n \right )=0$ 且 $P\left ( A_1\bigcup A_2\bigcup ...\bigcup A_n \right )=1$ 。可以认为事件 $A_i\left ( i=1,2,...,n \right )$ 为对全概率“1”的一个划分。这也是全概率公式名称的由来。条件概率可以将一个概率转化为在一个已知的全概率划分下的条件概率 $P\left ( B|A_i \right )$ 与这个全概率划分 $P\left ( A_i \right )$ 的内积（内积含义同向量内积，不懂的话百度吧）。

发射信号A的概率 $P\left ( send A \right )$ 和发射信号B的概率 $P\left ( send B \right )$ 是全概率“1”的一个划分，因为只可能发射这两种信号。我们用全概率公式（3），对（2）式的分母进行分解，得到

$P\left ( receiveA \right )=P\left ( sendA \right )P\left ( receiveA|sendA \right )+P\left ( sendB \right )P\left ( receiveA|sendB \right )$ （4）

可以理解为，接收到一个信号为A的概率=发射信号A且发射信号A时接收到信号A+发射信号B且发射信号B时接收到信号A。

现在分母的各项也是已知的了，将（4）带入（2）中就可以求解这个后验概率：

$P\left ( sendA|receiveA \right )=\frac{P\left ( sendA \right )P\left ( receiveA|sendA \right )}{P\left ( sendA \right )P\left ( reseiveA|sendA \right )+P\left ( sendB \right )P\left ( receiveA|sendB \right )}=\frac{0.6\times 0.9}{0.6\times 0.9+0.4\times 0.2}=0.87$ （5）

其实这个问题就算出来了，但同时这也引出了本文的最后一个问题：贝叶斯公式

七、贝叶斯公式

贝叶斯公式表示为：

$P\left ( A_i|B \right )=\frac{P\left ( A_i \right )P\left ( B|A_i \right )}{\sum_{k}^{n}P\left ( A_k \right )P\left ( B|A_k \right )}$ （6）

与全概率公式一样， $A_i\left ( i=1,2,...,n \right )$ 为对全概率“1”的一个划分。贝叶斯公式常用于求解后验概率。

这与（5）式有着相同的形式。其实我们本题推导的思路就是贝叶斯公式推导的思路。我们可以把（5）式后验概率的求解理解成：接收到信号A时可能是发射信号A且接收到信号A，或者发射了信号B且接收到信号A，而其中只有前者符合所求概率的条件。因此接收到一个信号A时发射的信号也是A的概率=发射了一个信号A的概率 $\times$ 发射信号A时接收到信号A的概率 $\div$ （发射了一个信号A的概率 $\times$ 发射信号A时接收到信号A的概率+发射一个信号B的概率 $\times$ 发射信号B时接收到信号）

与（5）式类似。贝叶斯公式的理解为：B发生时，可能全概率的划分A1、A2、...、An都会发生。当B发生时Ai发生的概率=Ai发生的概率 $\times$ Ai发生时B发生的概率 $\div$ 求和k（Ak发生的概率 $\times$ Ak发生时B发生的概率）。

贝叶斯公式的特点就是能够通过先验概率和条件概率求后验概率，在许多场合都会用到。不过贝叶斯公式其实刚开始总是不太好理解，需要借助前面通过条件概率和全概率公式的推导来理解。这种例子碰到得多了应该能更加熟练。

一个例子搞懂条件概率、先验概率、后验概率、全概率公式和贝叶斯公式相关推荐

一个例子搞懂编码问题
0x00 前言相信中文字符编码问题每个程序员都或多或少遇到过,文件读写.网页抓取.数据库等等,凡是有中文的地方总会出现各种的编码问题,但是很少有人愿意花时间去彻底弄清这个问题(至少我以前是这样),每 ...
一个例子搞懂递归CTE
CTE是SQL表表达式中的一种,全称为通用表表达式,使用CTE就好像建了一个临时表,在查询中可以直接调用这个临时表,从而增加代码的可读性,CTE通常不会在性能上给我们带来提升.CTE格式为: with ...
一个例子搞清楚（先验分布/后验分布/似然估计）
一个例子搞清楚(先验分布/后验分布/似然估计) preface: 无论是<通信原理>.<信息论>.<信道编码>还是<概率与统计理论>,或者在现在流行的& ...
java写一个外网访问的接口_【JAVA基础】一个案例搞懂类、对象、重载、封装、继承、多态、覆盖、抽象和接口概念及区别（中篇）...
0 前言初学JAVA时,总会对一些概念一知半解,相互混淆,不明其设计的用意,如类.对象.重载.封装.继承.多态.覆盖.抽象类.接口概念.为便于理解和巩固,本文将基于一个案例及其变形,展现各个概念的定 ...
一个例子学懂搜索引擎(lucene)
http://www.vifir.com/html/20080827/1703937.html 一个例子学懂搜索引擎(lucene) 来源:javaeye 作者: phz50 2008-08-27 1 ...
一个案例搞懂工厂模式和单例模式
一个案例搞懂工厂模式和单例模式 1 单例模式一个对象只有一个实例单例类必须自己创建自己的唯一实例. 单例类必须给所有其他对象提供这一实例. 注意:所有的单例模式,应当使其构造方法私有化. 1.1 ...
条件概率,乘法公式,全概率公式及贝叶斯公式的推导
条件概率,乘法公式,全概率公式及贝叶斯公式的推导条件概率乘法公式全概率公式贝叶斯公式推导过程条件概率条件概率是指事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为:P(A∣B ...
一个注解搞懂 Sentinel，@SentinelResource总结
@SentinelResource可以说是Sentinel学习的突破口,搞懂了这个注解的应用,基本上就搞清楚了 Sentinel 的大部分应用场景. 一.@SentinelResource 解析 Se ...
JUnit 3一个例子就懂
JUnit is a simple framework to write repeatable tests. It is an instance of the xUnit architecture f ...
一个小例子搞懂redux的套路
Redux的特点统一的状态管理,一个应用中只有一个仓库(store) 仓库中管理了一个状态树(statetree) 仓库不能直接修改,修改只能通过派发器(dispatch)派发一个动作(action ...

一个例子搞懂条件概率、先验概率、后验概率、全概率公式和贝叶斯公式