现实生活中，许多任务涉及多个因素（变量），并且因素之间存在依赖关系。概率图模型（Probabilistic Graphical Model，PGM）为表示、学习这种依赖关系提供了一个强大的框架，概率图模型在形式上由图结构组成，一个节点（node）表示一个或一组随机变量，节点之间的边（edge）表示变量之间的关系。根据图是有向还是无向，概率图模型可以分为两类：第一类使用有向无环图表示变量之间的因果关系，称为有向图模型或贝叶斯网络（Bayesian network）；另一类使用无向图表示变量之间的相关关系，称为无向图模型或马尔可夫网（Markov network），马尔可夫随机场（Markov Random Field）。概率图模型具有以下几个有用的性质：

它提供了一种简单的方式将概率模型的结构可视化，可以用于设计新的模型。
通过观察图形，我们可以更加深刻地认识模型的性质，包括条件独立性质。
高级模型的推断和学习过程中的复杂计算可以根据图计算表达，图隐式的承载了背后的数学表达式。

目前，概率图模型是人工智能领域最流行的研究方向之一，这篇博客主要介绍马尔可夫随机场。

模型定义

势函数

下图是一个简单的马尔可夫随机场：

图中的边表示节点之间具有相互关系，这种关系是双向的、对称的。如：x2x_2x2和x3x_3x3之间有边相连，则x2x_2x2和x3x_3x3具有相关关系，这种相关关系采用势函数进行度量。例如，可以定义如下势函数：
ψ(x2,x3)={1.5if x2=x3;0.1if otherwise.\psi(x_2,x_3)=\begin{cases} 1.5 &\text{if } x_2=x_3;\\ 0.1 &\text{if } otherwise. \end{cases} ψ(x2,x3)={1.50.1if x2=x3;if otherwise.

则说明该模型偏好变量x2x_2x2与x3x_3x3拥有相同的取值，换言之，在该模型中，x2x_2x2与x3x_3x3的取值正相关。势函数刻画了局部变量之间的相关关系，它应该是非负的函数。为了满足非负性，指数函数常被用于定义势函数：
ψ(x)=e−H(x)\psi(x)=e^{-H(x)} ψ(x)=e−H(x)

H(x)H(x)H(x)是一个定义在变量xxx上的实值函数，常见形式为：
H(x)=∑u,v∈x,u≠vαuvxuxv+∑v∈xβvxvH(x)=\sum_{u,v\in x,u\neq v}{\alpha_{uv}x_ux_v+\sum_{v\in x}\beta_vx_v} H(x)=u,v∈x,u=v∑αuvxuxv+v∈x∑βvxv

其中αuv\alpha_{uv}αuv和βv\beta_vβv是需要学习的参数，称为参数估计。

MRF的马尔可夫性

马尔可夫随机场是生成式模型，生成式模型最关心的是变量的联合概率分布。假设我们有n个取值为二值随机变量（x1,x2,⋯,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn），其取值分布将包含2n2^n2n种可能，因此确定联合概率分布p(x1,x2,⋯,xn)p(x_1,x_2,\cdots,x_n)p(x1,x2,⋯,xn)需要2n−12^n-12n−1个参数，这个复杂度通常是我们不能接受的；而另一种极端情况是，当所有变量都相互独立时，p(x1,x2,⋯,xn)=p(x1)p(x2)⋯p(xn)p(x_1,x_2,\cdots,x_n)=p(x_1)p(x_2)\cdots p(x_n)p(x1,x2,⋯,xn)=p(x1)p(x2)⋯p(xn)只需要nnn个参数。因此，我们可能会思考，能不能将联合概率分布分解为一组子集概率分布的乘积呢？那么应该怎么划分子图呢？应该遵循怎样的原则？首先定义马尔可夫随机场中随机变量之间的全局马尔可夫性、局部马尔可夫性和成对马尔可夫性。

全局马尔可夫性（global Markov property）：设节点集合A，B是在无向图G中被节点集C分开的任意节点集合，如下图所示。全局马尔可夫性是指在给定xCx_CxC的条件下，xAx_AxA和xBx_BxB条件独立，记为xA⊥xB∣xCx_A\perp x_B|x_CxA⊥xB∣xC。
p(xA,xB∣xC)=p(xA∣xC)p(xB∣xC)p(x_A,x_B|x_C)=p(x_A|x_C)p(x_B|x_C)p(xA,xB∣xC)=p(xA∣xC)p(xB∣xC)

局部马尔可夫性（local Markov property）：给定变量vvv的所有邻接变量www，则该变量vvv条件独立于其他变量ooo。即在给定某个变量的邻接变量的取值条件下，该变量的取值将于其他变量无关。
p(xv,xo∣xw)=p(xv∣xw)p(xo∣xw)p(x_v,x_o|x_w)=p(x_v|x_w)p(x_o|x_w)p(xv,xo∣xw)=p(xv∣xw)p(xo∣xw)

成对马尔可夫性（pairwise Markov property）：给定所有其他变量，两个非邻接变量条件独立。这是因为两个节点没有直接路径，并且所有其他路径上都有确定的观测节点，因此这些路径也将被阻隔。
p(xi,xj∣x∖{i,j})=p(xi∣x∖{i,j})p(xj∣x∖{i,j})p(x_i,x_j|x_{\setminus\{i,j\}})=p(x_i|x_{\setminus\{i,j\}})p(x_j|x_{\setminus\{i,j\}})p(xi,xj∣x∖{i,j})=p(xi∣x∖{i,j})p(xj∣x∖{i,j})

其中x∖{i,j}x_{\setminus\{i,j\}}x∖{i,j}表示所有变量xxx去除xix_ixi和xjx_jxj的集合。于是，联合概率分布的分解一定要让xix_ixi和xjx_jxj不出现在同一个划分中，从而让属于这个图的所有可能概率分布都满足条件独立性质。（QA：这句话我也不太懂，欢迎大神指点）。让非邻接变量不出现在同一个划分中，即每一个划分中节点都是全连接的。这将我们引向了图的一个概念，团（clique）。它被定义为图中节点的一个子集，并且这个子集中任意两节点间都有边相连。若在一个团中加入其他任何节点都不再形成团，则称该团为极大团。下图给出了团和极大团的一个示意：

图中，绿色圆圈是一个团，蓝色圆圈是一个极大团。显然，最简单的团就是两个节点以及一条边，而我们最开始就针对两节点之间的相关关系（每条边）定义了势函数。因此，马尔可夫随机场中，多个变量的联合概率分布能基于团分解为多个势函数的乘积，每一个团对应一个势函数。
p(x)=1Z∏CψC(xC)p(x)=\frac{1}{Z}\prod_{C}\psi_C(x_C) p(x)=Z1C∏ψC(xC)

其中，如果C是一个团，ψC\psi_CψC为团C对应的势函数。Z=∑x∏CψC(xC)Z=\sum_x\prod_{C}\psi_C(x_C)Z=∑x∏CψC(xC)是归一化因子，以确保p(x)p(x)p(x)是正确定义的概率。对图中每一条边都定义一个势函数ψ\psiψ，将导致模型的势函数过多，带来计算负担。例如，最上面的图中x2x_2x2、x4x_4x4、x5x_5x5分别定义需要定义三个势函数，但是x2x_2x2、x4x_4x4、x5x_5x5两两相关，x2x_2x2、x4x_4x4与x5x_5x5的取值将相互影响，因此可以整体定义一个势函数ψ(x2,x4,x5)\psi(x_2,x_4,x_5)ψ(x2,x4,x5)表示三者取值的偏好。所以可以将联合概率分布分解为其极大团上的势函数的乘积：
p(x)=1Z∗∏Q∈C∗ψQ(xQ)p(x)=\frac{1}{Z^*}\prod_{Q\in C^*}\psi_Q(x_Q) p(x)=Z∗1Q∈C∗∏ψQ(xQ)

其中C∗C^*C∗是极大团构成的集合，Z∗=∑x∏Q∈C∗ψQ(xQ)Z^*=\sum_x\prod_{Q\in C^*}\psi_Q(x_Q)Z∗=∑x∏Q∈C∗ψQ(xQ)。例如，最上面的图中x={x1,x2,⋯,x6}x=\{x_1,x_2,\cdots,x_6\}x={x1,x2,⋯,x6}，联合概率分布p(x)p(x)p(x)定义为
p(x)=1Zψ12(x1,x2)ψ16(x1,x6)ψ23(x2,x3)ψ56(x5,x6)ψ245(x2,x4,x5)p(x)=\frac{1}{Z}\psi_{12}(x_1,x_2)\psi_{16}(x_1,x_6)\psi_{23}(x_2,x_3)\psi_{56}(x_5,x_6)\psi_{245}(x_2,x_4,x_5) p(x)=Z1ψ12(x1,x2)ψ16(x1,x6)ψ23(x2,x3)ψ56(x5,x6)ψ245(x2,x4,x5)

总结

马尔可夫随机场作为概率图模型的典型一类，用于对具有相关关系（无向）的变量分布进行建模，具有广泛的用用途，如图像去噪等。本篇博客主要介绍了马尔可夫随机场的定义，马尔可夫随机场中的条件独立，以及其联合概率分解方式，参数估计、推理等问题将单独介绍。

参考文献

读懂概率图模型：你需要从基本概念和参数估计开始
PGM：概率图模型Graphical Model
周志华-机器学习
李航-统计学习方法

概率图之马尔可夫随机场（Markov Random Field，MRF）相关推荐

马尔科夫随机场Markov Random Field
马尔可夫随机场,描述了具有某种特性的集合.拿种地打比方,如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关,与其它地方的庄稼的种类无关,那么这些地里种的庄稼的集合,就是一个马尔可夫随机 ...
马尔可夫随机场 MRF 个人理解
参考:http://blog.csdn.net/pipisorry/article/details/78396503 马尔可夫网马尔科夫网是使用无向图描述的图模型,是刻画X上联合分布的一种方法,表示 ...
马尔可夫网络，（马尔可夫随机场、无向图模型）（Markov Random Field）
转载自: http://blog.sina.com.cn/s/blog_54d222750101dgz2.html 马尔可夫网络,(马尔可夫随机场.无向图模型)是关于一组有马尔可夫性质随机变量的全联合 ...
机器学习强基计划6-2：详细推导马尔科夫随机场(MRF)及其应用(附例题)
目录 0 写在前面 1 无向概率图 2 马尔科夫随机场 3 马尔科夫独立性 4 例题分析 0 写在前面机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用."深"在详细 ...
机器学习中的马尔可夫随机场模型
马尔可夫随机场 (Markov's Random Fields) Markov random model is a model which use an undirected graph. Undir ...
深入理解机器学习——概率图模型（Probabilistic Graphical Model）：马尔可夫随机场（Markov Random Field，MRF）
分类目录:<深入理解机器学习>总目录马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫网,这是一种著名的无向图模型,图中每个结点表示一个或一组变量,结点之间 ...
概率图模型（PGM）/马尔可夫随机场（MRF）/条件随机场基本概念(CRF)
概率图模型: 1:为什么引入图模型:一般的问题我们都可以用概率模型去很好的解决,那么为什么又要在概率的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率模型的结构可视化,应用图这是一种直 ...
西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录 0. 前言 1. 马尔可夫随机场结构 2. 近似推断 2.1. Metropolis-Hastings 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 ...
概率图模型（6）马尔科夫随机场
文章目录概率图模型的综合叙述: 马尔科夫随机场综述: 马尔科夫随机场定义: MRF的因式分解: 一个简单的例子: 概率图模型的综合叙述: 特征函数便是图中的conditional.对图简单的说明,综 ...

概率图之马尔可夫随机场（Markov Random Field，MRF）

模型定义

势函数

MRF的马尔可夫性

总结

参考文献

概率图之马尔可夫随机场（Markov Random Field，MRF）相关推荐

最新文章

热门文章