概率图模型-原理与技术第二章基础知识学习笔记

概率图模型-原理与技术总目录

http://blog.csdn.net/icefire_tyh/article/details/54026071#t3

    本章主要回顾了概率论与图论的基础知识，是后面学习的基石。

1.概率论

1.1 空间与事件

形式上，假定存在一个可能结果的约定空间来定义事件，空间用ΩΩ表示，事件集合用SS表示，代表着所有可能的事件。
比如掷色子，可能出现1,2,3,4,5,6。那么空间ΩΩ就可以表示成{1,2,3,4,5,6}。
事件集合SS中任何一个事件都是ΩΩ的子集：
事件1：抛出的结果是1，即α={1}\alpha= \{1\}，α∈S⊂Ω\alpha \in S \subset Ω
事件2：抛出的结果奇数，即β={1,3,5}\beta= \{1,3,5\}，β∈S⊂Ω\beta \in S \subset Ω
特别的，还有平凡事件Ω，∅ Ω，\varnothing

事件空间满足的三个性质：
1.Ω∈S，∅∈S Ω \in S，\varnothing \in S

2.如果α∈Sβ∈S\alpha \in S \beta \in S ,那么α⋂β∈S\alpha \bigcap \beta \in S
如上例1，2α⋂β={1}∈S\alpha \bigcap \beta=\{1\} \in S

3.如果α∈S\alpha \in S，那么Ω−α∈SΩ-\alpha \in S
如上例2，β∈S\beta \in S，那么Ω−β={2,4,6}∈SΩ-\beta =\{2,4,6\}\in S，即事件抛出的结果偶数。

1.2 概率与分布

事件α\alpha的概率P(α)P(\alpha)量化了事件α\alpha发生的可信度，当P(α)=1P(\alpha)=1时，可以确定事件α\alpha中总有一个结果会发生，但如果P(α)=0P(\alpha)=0，就认为α\alpha中的所有结果都不会发生。

定义在事件空间(Ω,S)(Ω,S)的概率分布是事件集合S到实数R上的一个映射，且满足：
1.对所有α∈S，P(α)≥0\alpha \in S，P(\alpha)\geq0
概率为0就已经表示一定不会发生，所以概率为负数没有意义。

2.P(Ω)=1P(Ω) = 1
平凡事件包括了所有可能的结果，其中有且只有一个必然会发生，所以概率为1。

3.如果α,β∈S\alpha,\beta \in S 且α⋂β=∅\alpha \bigcap \beta =\varnothing ，那么P(α⋃β)=P(α)+P(β)P(\alpha \bigcup \beta)=P(\alpha)+P(\beta)
一般情况下P(α⋃β)=P(α)+P(β)+P(α⋂β)P(\alpha \bigcup \beta)=P(\alpha)+P(\beta)+P(\alpha \bigcap \beta)，由于P(α⋂β)=P(∅)=0P(\alpha \bigcap \beta)=P(\varnothing)=0，所以写成上式。

假设色子是均匀的，即抛出1-6的可能性是相同的，上述性质如下表：

事件	描述	概率	解释
{1}	α\alpha	1/6	包含6种中的1种可能
{3,5}	β\beta	1/3	包含6种中的2种可能
{1,2,3,4,5,6}	Ω	1	包含所有可能，必然发生其中一种
{}	∅\varnothing	0	不包含任何可能，永远不会发生
{1,3,5}	α⋃β\alpha \bigcup \beta	1/2	包含6种中的3种可能

1.3 条件概率与贝叶斯法则

条件概率考虑两个事件的相关性，如果一个事件已经发生了，那么是否会改变另一个事件发生的概率呢？
用一个实例来解释一下，比如黑盒子中有3个球，两个黑球一个白球，采用不放回\color{red}{不放回}的方式摸球。
事件：第一次摸出黑球。
事件β\beta：第二次摸出黑球。

那么：
P(α)=23P(\alpha)=\frac{2}{3}
P(β)=23∗12+13∗22=23P(\beta)=\frac{2}{3}*\frac{1}{2}+\frac{1}{3}*\frac{2}{2}=\frac{2}{3}
事件α⋂β\alpha \bigcap \beta：第一次摸出黑球且第二次也摸出黑球
P(α⋂β)=23∗12=13P(\alpha \bigcap \beta)=\frac{2}{3}*\frac{1}{2}=\frac{1}{3}

下面的问题是，如果已知第一次摸出的是黑球，那么第二次摸出黑球的概率是多少？
即事件β|α\beta | \alpha：已知第一次摸出的是黑球，第二次摸出黑球\
依常识老分析，既然已知第一次摸的是黑球，那么可以假设袋子中只有一个黑球和一个白球，那么从袋子中摸出黑球的概率就应该是12\frac{1}{2}。

考虑如下表：

事件	第一次	第二次	概率
1	白	白	0
2	白	黑\color{blue}黑	1/3
3	黑\color{red}黑	白	1/3
4	黑\color{red}黑	黑\color{blue}黑	1/3

当已知第一次摸出黑球，对应着上表事件3、4，此时第二次摸出黑球，对应事件4，那么此时的条件概率应该就是P(β|α)=P(事件4)P(事件3)+P(事件4)=P(α⋂β)P(α)=12P(\beta | \alpha)=\frac{P(事件4)}{P(事件3)+P(事件4)}=\frac{P(\alpha \bigcap \beta)}{P(\alpha)}=\frac{1}{2}。

条件概率也满足概率的三点性质，具体看习题2.4。

可以看出，如果一个事件已经发生，是有可能影响另一个事件发生的概率的。

由条件概率公式可以得到
P(α⋂β)=P(β|α)P(α)P(\alpha \bigcap \beta)=P(\beta | \alpha)P(\alpha)
交换事件的位置
P(α⋂β)=P(α|β)P(β)P(\alpha \bigcap \beta)=P(\alpha| \beta)P(\beta)

由此推出贝叶斯规则
P(α|β)=P(β|α)P(α)P(β)P(\alpha| \beta)=\frac{P(\beta | \alpha)P(\alpha)}{P(\beta)}
贝叶斯规则的重点在已知某条件概率P(β|α)P(\beta | \alpha)可以推出它的逆条件概率P(\alpha | \beta)。
这里书上的例子十分清楚，即讲述了计算方法，也解释了逆条件概率可能包涵的意义。

1.4 随机变量

上面讨论概率时都是用的事件，但是用事件描述时十分麻烦，每个事件都需要一个符号。如果用一种泛化的表示，在表示时不再去注重具体值，而是某一种属性，这样会使得描述时更加简洁，这就是随机变量。

考虑上面的例子，用随机变量X表示第一次摸出球的颜色，随机变量Y表示第一次摸出球的颜色。
那么当X=黑球时，代表着第一次摸出了黑球，Y=黑球时，代表着第二次摸出了黑球。
此时用X,Y两个符号就能描述摸两次球的所有可能事件。

1.4.1 随机变量的联合分布

很多情况下，我们对多个随机变量同时的取值有兴趣，这个时候就要用到联合分布。
如上例随机变量X,Y的联合分布

联合分布	X=黑球	X=白球	P(Y)
Y=黑球	1/3	1/3	2/3
Y=白球	1/3	0	1/3
P(X)	2/3	1/3

其中我们对每一行求和来计算Y的边缘分布，对每一列求和来计算X的边缘分布。
当给出联合分布时，可以直接查出所有随机变量在任何取值下的概率，但是由于联合分布表太大，一般情况分布表不会以全部属性的联合分布给出。

1.4.2 随机变量的条件分布

和事件的条件概率一样，随机变量也有条件分布，即在某一些随机变量在特定取值时，其他随机变量的概率分布。
条件分布公式 P(X|Y)=P(X,Y)P(Y)P(X|Y)=\frac{P(X,Y)}{P(Y)}

条件分布	X=黑球(条件)	X=白球(条件)
Y=黑球	1/2	1
Y=白球	1/2	0

这里与事件不同的是，随机变量用P(X,Y)来表示联合分布，而事件用 P(α⋂β)P(\alpha \bigcap \beta)来表示两个事件同时发生。

1.5 独立性

如果一个事件(随机变量)的发生对另一个事件(随机变量)发生概率不产生影响，则认为这两个事件(随机变量)相互独立。
对于事件P(α|β)=P(α)P(\alpha|\beta)=P(\alpha),事件α\alpha与β\beta独立。
对于随机变量P(X|Y)=P(X)P(X | Y)=P(X)，随机变量X与Y独立。

独立是一个很有用的性质，但是现实中很少碰见独立的事件。更普遍的情况是，在给定额外的事件时，两个事件相互独立，即事件(随机变量)的条件独立。

随机变量条件独立的几点性质

具体描述见习题2.7。

2 图

2.1 有向与无向

图由节点和边组成，每条边连接着两个节点，记作κ{χ,ε}\kappa\{\chi ,\varepsilon\}。边可能有方向。也可能没方向，如果一个图包含有向的边，那么这个图就是有向图，否则就是无向图。

一个图的例子

2.2 子图与团

对任意的X⊂χX \subset \chi，ε′\varepsilon'表示对任意x,y∈Xx,y \in X的所有边，那么κ{X,ε′}\kappa\{X ,\varepsilon'\}是κ{χ,ε}\kappa\{\chi ,\varepsilon\}在X上的导出子图。

如果X中任意两个节点都有一条边，则称X上的子图为完全子图。集合X称为团；对于节点的任意超集Y⊃XY \supset X，如果Y不是团，那么X称为一个极大团。
若团中节点个数为n个，那么边数应该是C2nC_n^2。

2.3 路径与迹

在考虑边的方向时(仅能沿着有向边方向和无向边移动)，如果一个节点X能沿着边到达节点Y，则称X到Y经过的所有节点的顺序为一条路径。
在不考虑边的方向时，如果一个节点X能沿着边到达节点Y，则称X到Y经过的所有节点的顺序为一条迹。
所以路径一定是一条迹，但迹不一定是路径。

如果一条路径的首尾节点是相同的，则说明图中有圈，如果图不包含圈，那么这个图是一个无圈图。
一个包含有向边和无向边的无圈图叫做部分有向无圈图，部分有向无圈图的具体介绍在习题2.23。