概率图模型之马尔可夫随机场

马尔可夫随机场（MRF）是典型的马尔可夫网，不同于隐马尔可夫模型，MRF是一种无向图模型。图中每个结点表示一个或一组变量，结点之间的边表示两个变量的依赖关系。MRF有一组势函数，也可称为“因子”，这是定义在变量子集上的非负实函数，主要用于定义概率分布函数。

标题马尔可夫随机场

如上图所示，这就是一个简单的马尔可夫随机场。对于图中结点的一个子集，若其中任意两点都有边连接，则称该结点子集为“团”。若在一个图中加入任何一个结点均不再构成团，则称该团为"极大团"。在上图中，团有{x1,x2}、{x1,x3}、{x2,x4}、{x2,x5}、{x2,x6}、{x3,x5}、{x5,x6}和{x2,x5,x6}，其中除了{x2,x5}、{x2,x6}、{x5,x6}之外都是极大团。

在马尔可夫随机场中，多个变量之间的联合概率分布能基于团分解成多个因子的乘积，每个因子仅与一个团相关。具体来说，对于n个变量x={x1,x2,,,xn}，所有团构成的集合为C，与团Q∈C对应的变量集合记为xQ，则联合概率分布P(x)定义为：

在上面的描述中，C为所有团构成的集合，Q表示一个团，是C集合的元素。同时Q也是一个集合，元素是构成集合Q的所有结点，用xQ表示。C:{Q1:{xQ...} , Q2: {xQ...} .......} 表示团Q的势函数，P(x)的含义就是所有团的势函数的乘积其中 Z=为规范化因子，含义就是针对每一个结点x，所有包含该结点的团的势函数的乘积，然后对图中所有的结点x进行求和。以确保P(x)是被正确定义的概率。

但是在实际应用中，Z的精确值很难被估计。显然，若变量数量变多，则团的数量将会多出很多，大量的乘积项会给计算带来负担。注意到若Q不是极大团，则它必被一个极大团Q*所包含。于是联合概率P(x)可基于极大团来定义。假定所有极大团构成的集合为C*，则有：

其中Z*为规范化因子，

以上图的马尔可夫随机场为例，P(x)可定义为：

其中由于极大团{x2,x5,x6}的存在，使得我们不再需要团{x2,x5}、{x2,x6}、{x5,x6}。

马尔可夫随机场的条件独立

在马尔可夫随机场中，得到”条件独立“可以借助“分离”的概念。在下图所示中，若从结点集A中的结点到B中的结点都必须经过结点集C中的结点，则称结点集A和B被结点集C分离，C称为分离集。

对马尔可夫随机场有三个性质，分别是"全局马尔可夫性"、“局部马尔可夫性”和“成对马尔可夫性”，后两个性质是第一个性质的推论。

1.全局马尔可夫性

"全局马尔可夫性"指给定两个变量子集的分离集，则这两个变量子集条件独立。以上图为例，xA、xB 和xC，则xA和xB在给定xC的条件下独立，记为xA⊥xB|xC。为了便于讨论，用ABC分别代表xA、xB 和xC作简化，如下图：

可以写得联合概率：（方法见上式）

为了证明在给定条件xC下xA与xB独立，

只需要证明式：成立。

根据条件概率的定义，有：

根据全概率公式展开有

然后用势函数表示概率P，有

整理后可以写成

同理可以得到P(xA|xC)：

至此，显然有成立。

2.局部马尔可夫性

由全局马尔可夫性可以得到推论：局部马尔可夫性，给定某个变量的相邻变量，则该变量条件独立于其他变量。形式化说，令V为图的结点集，n(v)为结点v在图上的相邻结点，n*(v)=n(v)U{v}，有。（即结点与不相邻的结点独立）

3.成对马尔科夫性

由以上可以得到另一个推论：成对马尔可夫性，给定所有其他变量，两个非邻接变量条件独立。形式话说，令图的结点集和边集分别为V和E，对图中两个结点u和v，若<u,v>不属于E，则有。（即两个结点之间无边，则两个结点独立）

势函数

显然，势函数的作用是刻画变量集xQ中变量之间的相关关系，它应该是非负数，且在所偏好的变量取值上有较大函数值。假定在上图中的变量均为二值变量，若势函数为：

则说明该模型偏好变量xA与xC拥有相同的取值，xB与xC拥有不同的取值。结合式子可知，令xA与xC相同且xB与xC不同可以得到一个较高的联合概率。

为了满足非负性，势函数的定义往往使用指数函数，即：

HQ(xQ)是一个定义在变量xQ上的实值函数，常见形式为：

其中a和β为参数，第一项表示两个结点直接的关系而第二项仅考虑单结点。a和β理解为两个部分的权重。

参考资料：《机器学习》周志华著，清华大学出版社

概率图模型之马尔可夫随机场相关推荐

西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录 0. 前言 1. 马尔可夫随机场结构 2. 近似推断 2.1. Metropolis-Hastings 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 ...
【05】概率图表示之马尔可夫随机场
概率图表示之马尔可夫随机场文章目录马尔可夫随机场正式定义与贝叶斯网络的比较马尔可夫随机场中的独立性条件随机场示例正式定义示例(续) CRF特性因子图贝叶斯网络可以以一种紧凑的方式 ...
概率图模型（马尔可夫模型）
一.马尔可夫过程 1.马尔可夫过程一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态,这个过程被称为1个 n阶的模型,其中 n是影响转移状态的数目.最简单的马尔科夫过程就是一阶过程 ...
概率图模型（PGM）/马尔可夫随机场（MRF）/条件随机场基本概念(CRF)
概率图模型: 1:为什么引入图模型:一般的问题我们都可以用概率模型去很好的解决,那么为什么又要在概率的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率模型的结构可视化,应用图这是一种直 ...
机器学习-白板推导-系列（九）笔记：概率图模型: 贝叶斯网络/马尔可夫随机场/推断/道德图/因子图
文章目录 0 笔记说明 1 背景介绍 1.1 概率公式 1.2 概率图简介 1.2.1 表示 1.2.2 推断 1.2.3 学习 1.2.4 决策 1.3 图 2 贝叶斯网络 2.1 条件独立性 2. ...
马尔可夫网络，（马尔可夫随机场、无向图模型）（Markov Random Field）
转载自: http://blog.sina.com.cn/s/blog_54d222750101dgz2.html 马尔可夫网络,(马尔可夫随机场.无向图模型)是关于一组有马尔可夫性质随机变量的全联合 ...
机器学习中的马尔可夫随机场模型
马尔可夫随机场 (Markov's Random Fields) Markov random model is a model which use an undirected graph. Undir ...
毕业论文-马尔可夫随机场
0 序言这篇博客也与我的毕业论文有关,在上个阶段中,我用python代码实现了EM算法,并及进行了细节上的改进,并记录成了博客: 毕业论文-EM算法学习总结https://blog.csdn.net ...
概率图模型（6）马尔科夫随机场
文章目录概率图模型的综合叙述: 马尔科夫随机场综述: 马尔科夫随机场定义: MRF的因式分解: 一个简单的例子: 概率图模型的综合叙述: 特征函数便是图中的conditional.对图简单的说明,综 ...
kl散度度量分布_概率图简要模型笔记（二）马尔可夫随机场与KL散度、最大熵、指数族分布、高斯分布、极大似然分布...
这一篇文章主要是想捋一捋KL散度.最大熵.指数族分布这些东西之间的关系,这是一些非常基本的知识点,刚入门机器学习的时候,傻傻分不清楚,现在回过头来看,其实很多东西都可以串起来,不得不感叹数学真是一个很 ...

概率图模型之马尔可夫随机场

马尔可夫随机场的条件独立

1.全局马尔可夫性

2.局部马尔可夫性

3.成对马尔科夫性

势函数

概率图模型之马尔可夫随机场相关推荐

最新文章

热门文章