贝叶斯网络、马尔可夫模型、马尔可夫过程、马尔可夫链、马尔可夫网络基本概念

知识储备与简要概括

可数集【Countable set】：

是指每个元素都能与自然数集N的每个元素之间能建立一一对应的集合。
如果将可数集的每个元素标上与它对应的那个自然数记号，那么可数集的元素就可以按自然数的顺序排成一个无穷序列a1，a2，a3，…an，…
比如全体正偶数的集合是一个可数集，全体正奇数的集合也是可数集，它们与自然数集可以建立如下的一一对应

可数集具有以下性质：

1、可数集的子集是至多可数的；
2、有限多个可数集的并集是可数的；
3、在承认可数选择公理的前提下，可数多个可数集的并集是可数的；
4、有限多个可数集的笛卡尔积是可数的；
5、对集合S，下面3种说法等价：
- （1）S至多可数，即存在S到自然数集的单射；
- （2）S为空集，或存在自然数集到S的满射；
- （3）S为有限集或存在自然数集与S间的双射。
6、值域为可数集的单射，其定义域至多可数；
7、定义域为可数集的满射，其值域至多可数。

如果集合是有限集合或者是可数集，那么称为至多可数的

简要概括

以下共分六点说明这些概念，分成条目只是方便边阅读边思考，这6点是依次递进的，不要跳跃着看。

首先，将随机变量作为结点，若两个随机变量相关或者不独立，则将二者连接一条边；若给定若干随机变量，则形成一个有向图，即构成一个网络。
如果该网络是有向无环图，则这个网络称为贝叶斯网络
如果这个图退化成线性链的方式，则得到马尔可夫模型；因为每个结点都是随机变量，其看成各个时刻(或空间)的相关变化，以随机过程的视角，则可以看成是马尔可夫过程
若上述网络是无向的，则是无向图模型，又称马尔可夫随机场或者马尔可夫网络
如果在给定某些条件的前提下，研究这个马尔可夫随机场，则得到条件随机场
如果使用条件随机场解决标注问题，并且进一步将条件随机场中的网络拓扑变成线性的，则得到线性链条件随机场

1. 贝叶斯网络

1.1 定义

贝叶斯网络（Bayesian network），又称信念网络（belief network）或是有向无环图模型（directed acyclic graphical model），是一种概率图型模型。

1.2 结构

贝叶斯网络(BN)：由一个有向无环图(DAG)和条件概率表(CPT)组成。一个贝叶斯网络<U,G,P >需满足以下条件

U：一组节点
G：有向无环图(DAG)
P：联合概率分布
局部马尔可夫条件：BN中每一个结点在给定其父母节点时条件独立与其非子孙节点

1.3 特性

贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的、不完整的、不确定的信息条件下进行学习和推理。
贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络结点变量之间的因果关系及条件相关关系。

1.4 贝叶斯网络的三种结构

一个较复杂的贝叶斯网络的案例

2. 马尔可夫模型

马尔可夫模型（Markov Model）是一种统计模型，广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。

2.1 马尔可夫链

定义

马尔可夫链（Markov Chain, MC）是具有马尔可夫性质（Markov property）且存在于离散的指数集（index set）和状态空间（state space）内的随机过程

2.2 马尔可夫过程

定义1

马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。马尔可夫过程是研究离散事件动态系统状态空间的重要方法，它的数学基础是随机过程理论

定义2

马尔可夫过程也被称为连续时间马尔可夫链，是马尔可夫链或离散时间马尔可夫链的推广，其状态空间是可数集，但一维指数集不再有可数集的限制，可以表示连续时间。马尔可夫过程与马尔可夫链的性质是可以类比的，其马尔可夫性质通常有如下表示：

特性

该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去 )。例如森林中动物头数的变化构成——马尔可夫过程。
在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。

假设天气服从马尔可夫链：

从上面这幅图可以看出：

假如今天是晴天，明天变成阴天的概率是0.1
假如今天是晴天，明天任然是晴天的概率是0.9，和上一条概率之和为1，这也符合真实生活的情况。

由上表我们可以得到马尔可夫链的状态转移矩阵：

因此，一阶马尔可夫过程定义了以下三个部分：

状态：晴天和阴天
初始向量：定义系统在时间为0的时候的状态的概率
状态转移矩阵：每种天气转换的概率

小结

马尔可夫链或马尔可夫过程不是唯一以马尔可夫性质为基础建立的随机过程，事实上，隐马尔可夫模型、马尔可夫决策过程、马尔可夫随机场等随机过程/随机模型都具有马尔可夫性质并被统称为马尔可夫模型。

5. 马尔可夫网络（马尔可夫随机场、无向图模型）

定义

马尔可夫随机场（Markov Random Field），也有人翻译为马尔科夫随机场，马尔可夫随机场是建立在马尔可夫模型和贝叶斯理论基础之上的，它包含两层意思：一是什么是马尔可夫，二是什么是随机场。

结构

特性

马尔科夫随机场具有以下几个鲜明的特点：
- （1）马尔科夫模型中，像素的空间关系可以传播，通过像素之间的相互作用，从而低阶马尔科夫随机场可以被用来描述的像素之间的关系；
- （2）在马尔科夫随机场模型不仅可以表示出的图像的随机性，同时又能表示出图像的底层结构，因此道路场景的性质能够被很好的表述；
- （3）马尔科夫随机场模型，从物理模型出发，同时也直接关系到道路场景图像的数据（灰色值或特征）；

6.马尔可夫毯(Markov blanket ，MB)

贝叶斯网络示意图

马尔可夫毯是什么？

贝叶斯网络中的一块局部结构

马尔可夫毯的组成

父亲节点(直接原因)
孩子节点(直接结果)
配偶(孩子的其余父亲节点)

马尔可夫毯的性质

给定目标节点的MB，目标节点与其所有节点条件独立

参考

百度百科：可数集
百度百科：贝叶斯网络
贝叶斯网络的三个结构
百度百科：马尔可夫链
百度百科：马尔可夫模型
百度百科：马尔可夫过程
ITPub:一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场