轻松看懂概率论与图论基础数学知识

概率论由三大部分组成：概率图模型的表示、概率图模型的推理、概率图模型的学习。

概率图模型的表示索要解决的核心问题就是建模问题。而建模这个概率图模型需要概率论与图论的基础知识，所以在开始之前需要先了解一下概率论与图论的基础知识。

概率论

我们所生活的环境中存在两类现象，一类现象是确定性的现象，比如太阳每天都会从东方升起，另一类是随机现象，比如明天是否会下雨？这明显是一个概率问题。

随机现象的定义可表示为：在一定的条件下，并不总出现相同结果的现象。随机现象一般会表现出一种规律，而这种规律在数学上我们一般称之为分布，也是一种统计规律性。也即是按照一种概率分布所产生出来的一种结果。而拿到一个事件的分布最经典的方法就是采样，随机试验的每一个可能结果称为样本点，所有的样本点构成样本空间 Ω\OmegaΩ。

随机事件：某些样本点组成的集合, 常用 AAA 、 BBB 、 CCC…表示。
随机变量：表示随机现象结果的变量，常用大写字母 XXX 、 YYY 、 ZZZ …表示。
事件间的关系：
- 包含关系： A⊂BA \subset BA⊂B，表示的是AAA发生必然导致BBB发生。
- 相等关系：A=BA=BA=B 能够推出 A⊂BA \subset BA⊂B且B⊂AB \subset AB⊂A。
- 互不相容：AAA和BBB不可能同时发生。
事件的运算
- 并：A∪BA \cup BA∪B表示的是AAA与BBB至少有一发生。
- 交：A∩B=ABA \cap B =ABA∩B=AB表示的是AAA与BBB同时发生
- 差：A−BA-BA−B AAA发生但BBB不发生。
- 对立：Aˉ\bar{A}Aˉ表示的是AAA不发生。

样本空间的分割

如果A1,A2,⋯,AnA_{1},A_{2},\cdots, A_{n}A1,A2,⋯,An满足以下两个条件：1. AiA_{i}Ai间互不相容；2. A1∪A2∪⋯An=ΩA_{1} \cup A_{2} \cup \cdots A_{n} =\OmegaA1∪A2∪⋯An=Ω。则称A1,A2,⋯,AnA_{1},A_{2},\cdots, A_{n}A1,A2,⋯,An为Ω\OmegaΩ的一组分割。比如掷骰子，样本空间的一组分割为 Ω={1,2,3,4,5,6}\Omega=\{1,2,3,4,5,6\}Ω={1,2,3,4,5,6}。

概率的定义

概率的定义可以分为以下三个方面：1. 概率的直观定义：事件AAA出现的可能性大小。2. 概率的统计定义：事件AAA 在大量重复试验下，出现的频率的稳定值称为该事件的概率。3. 概率的公理化定义：a. 非负性公理：P(A)≥0P(A) \geq 0P(A)≥0；b. 正则性公理： P(Ω)=1P(\Omega)=1P(Ω)=1; c. 可列可加性公理：若A1,A2,⋯,AnA_{1},A_{2},\cdots, A_{n}A1,A2,⋯,An互不相容，则P(⋃i=1∞Ai)=∑i=1∞P(Ai)P\left(\bigcup_{i=1}^{\infty} A_{i}\right)=\sum_{i=1}^{\infty} P\left(A_{i}\right)P(⋃i=1∞Ai)=∑i=1∞P(Ai)。

条件概率的定义

定义：对于事件AAA、BBB，若P(B)>0P(B) > 0P(B)>0，则称P(A∣B)=P(AB)/P(B)P(A|B)=P(AB)/P(B)P(A∣B)=P(AB)/P(B)为在BBB出现的条件下，AAA 出现的条件概率。

示例：10个产品中有7个正品、3个次品，从中不放回地抽取两个，已知第一个取到次品，求第二个又取到次品的概率。

设A={第一个取到次品}，B={第二个取到次品}A =\{第一个取到次品\}，B=\{第二个取到次品\}A={第一个取到次品}，B={第二个取到次品}：

P(AB)=(3/10)∗(2/9)=1/15P(AB) = (3/10)*(2/9) = 1/15 P(AB)=(3/10)∗(2/9)=1/15

P(B∣A)=P(AB)/P(A)=(1/15)/(3/10)=2/9P(B|A) =P(AB)/P(A)=(1/15)/(3/10)=2/9 P(B∣A)=P(AB)/P(A)=(1/15)/(3/10)=2/9

条件概率有三大公式：乘法公式、全概率公式、贝叶斯公式。

1. 乘法公式：

若P(B)>0P(B) > 0P(B)>0，则P(AB)=P(B)P(A∣B)P(AB)=P(B)P(A|B)P(AB)=P(B)P(A∣B);
若P(A)>0P(A) > 0P(A)>0，则P(AB)=P(A)P(B∣A)P(AB)=P(A)P(B|A)P(AB)=P(A)P(B∣A)；
若P(A1A2⋯An−1)>0P(A_{1}A_{2}\cdots A_{n-1}) > 0P(A1A2⋯An−1)>0，则P(A1A2⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1A2⋯An−1)P(A_{1}A_{2}\cdots A_{n}) = P(A_{1})P(A_{2}|A_{1})\cdots P(A_{n}|A_{1}A_{2}\cdots A_{n-1})P(A1A2⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1A2⋯An−1)。

2. 全概率公式：

全概率公式说地是：若事件B1,B2,⋯,BnB_{1},B_{2},\cdots,B_{n}B1,B2,⋯,Bn是样本空间Ω\OmegaΩ的一组分割，且P(Bi)>0P(B_{i}) > 0P(Bi)>0，则：

P(A)=∑i=1nP(ABi)=∑i=1nP(Bi)P(A∣Bi)P(A) = \sum_{i=1}^{n} P(AB_{i}) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i}) P(A)=i=1∑nP(ABi)=i=1∑nP(Bi)P(A∣Bi)

当直接计算P(A)P(A)P(A)较困难，将事情AAA分解成几个小事情，通过求小事情的概率，然后相加从而求得事情AAA的概率。找事情BBB的样本空间的一组分割，将事情AAA表示为：

A=AB1+AB2⋯+ABi+⋯+ABnA=AB_{1}+AB_{2} \cdots + AB_{i} + \cdots + AB_{n} A=AB1+AB2⋯+ABi+⋯+ABn

3. 贝叶斯公式：

若事件B1,B2,⋯,BnB_{1},B_{2},\cdots,B_{n}B1,B2,⋯,Bn是样本空间Ω\OmegaΩ的一组分割，且P(A)>0P(A) > 0P(A)>0,P(Bi)>0P(B_{i}) > 0P(Bi)>0,则：

P(Bi∣A)=P(ABi)P(A)=P(Bi)P(A∣Bi)P(A)=P(Bi)P(A∣Bi)∑j=1nP(Bj)P(A∣Bj),i=1,2,…,n\begin{aligned} P\left(B_{i} | A\right) &=\frac{P\left(A B_{i}\right)}{P(A)}=\frac{P\left(B_{i}\right) P\left(A | B_{i}\right)}{P(A)} \\ &=\frac{P\left(B_{i}\right) P\left(A | B_{i}\right)}{\sum_{j=1}^{n} P\left(B_{j}\right) P\left(A | B_{j}\right)}, i=1,2, \ldots, n \end{aligned}P(Bi∣A)=P(A)P(ABi)=P(A)P(Bi)P(A∣Bi)=∑j=1nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi),i=1,2,…,n

其中P(Bi)P(B_{i})P(Bi)为先验概率，P(Bi∣A)P(B_{i}|A)P(Bi∣A)为后验概率。

独立性

事件的独立性：对于两事件，若其中任何一个事件的发生不影响另一个事件的发生，则这两事件是独立的。数学语言描述如下形式：

⇔P(A∣B)=P(A)⇔P(AB)/P(B)=P(A)⇔P(AB)=P(A)P(B)\begin{array}{l} \Leftrightarrow P(A | B)=P(A) \\ \Leftrightarrow P(A B) / P(B)=P(A) \\ \Leftrightarrow P(A B)=P(A) P(B) \end{array}⇔P(A∣B)=P(A)⇔P(AB)/P(B)=P(A)⇔P(AB)=P(A)P(B)

其最终的独立性定义为：若事情AAA与BBB满足：P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)，则称AAA与BBB相互独立。

条件独立性

定义（条件独立性）：在给定 CCC 的条件下，若事件 AAA 与 BBB 满足 P(AB∣C)=P(A∣C)P(B∣C)P(AB|C)=P(A|C)P(B|C)P(AB∣C)=P(A∣C)P(B∣C), 则称 AAA 与 BBB 在给定 CCC 的条件下相互独立。

举个例子，比如说一般情况下，熬夜会增加赖床的概率，赖床会增加迟到的概率。但是在已经赖床的条件下，熬夜和迟到发生的概率就无关了。即在给定CCC的条件下，事情AAA与BBB条件独立。再或者说：一般情况下，试题难度会影响考试成绩，考试成绩的高低会影响老师是否会给推荐信。在已知考试成绩的条件下，试题难度和是否能获取导师推荐信无关。即在给定GGG 的条件下，事件DDD 与 LLL 条件独立。

概率图模型常用的三个概念

联合概率分布(joint distribution function) 亦称多维分布函数：p(x)=p(x1,x2,⋯,xN)p(\mathbf{x} )= p(\mathbf{x}_{1} ,\mathbf{x}_{2},\cdots,\mathbf{x} _{N} )p(x)=p(x1,x2,⋯,xN)。其定义如下：

设(X,Y)(X,Y)(X,Y)是二维随机变量，对于任意实数x,yx,yx,y，二元函数：F(x,y)F(x,y)F(x,y) = P(X<=x)交(Y<=y)P{(X<=x) 交 (Y<=y)}P(X<=x)交(Y<=y) =>P(X<=x,Y<=y)=> P(X<=x, Y<=y)=>P(X<=x,Y<=y) 。称为：二维随机变量(X,Y)(X,Y)(X,Y)的分布函数，或称为随机变量XXX和YYY的联合分布函数。

边缘概率 关于其中一个特定变量的边缘分布，则为给定其他变量的条件概率分布。边缘概率是与联合概率对应的，P(X=a)P(X=a)P(X=a)或P(Y=b)P(Y=b)P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率：p(xα)=∑x/xσp(x)p\left(\mathbf{x}_{\alpha}\right)=\sum_{\mathbf{x} /\mathbf{x}_{\sigma}} p(\mathbf{x})p(xα)=∑x/xσp(x)。

最大后验概率状态（Maximum a posterior，MAP）最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，最大区别是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。数学表示为： x∗=argmaxx∈Xp(X)\mathbf{x}^{*} = argmax_{\mathbf{x} \in X}p(\mathbf{X})x∗=argmaxx∈Xp(X)。

图论基础

图定义：由“节点”组成的抽象网络，网络中的各节点通过“边”实现彼此的连接。也就是说图有两个要素，节点和边。节点：表示事物、对象或随机变量；边：表示随机变量间的关系。依据边是否有方向可以分为有向图与无向图。

&emsp除此之外还有一个图称之为树状图：不包含圈的图称为无圈图(acyclic graph)，连通的无圈图称为树(tree)。其中包含两个要素：1. 连通的；2. 中不包含圈。

我的微信公众号名称：深度学习先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究深度学习、强化学习、机器博弈等相关内容！期待您的关注，欢迎一起学习交流进步！