[基础知识点]马尔可夫随机场MRF与条件随机场CRF

2024-05-10 19:47:10

因为最近看的论文中一直提到MRF和CRF，所以特地学习了一下…

先看一下什么是随机场：

当给样本空间的每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。

马尔可夫随机场(MRF):

一个简单的马尔科夫随机场
MRF是一种无向图模型。图中的每个结点表示一个或者一组变量，结点之间的边表示两个变量之间的依赖关系。

势函数

马尔可夫随机场有一组势函数(potential functions),也被叫做是“因子”，这是定义在变量子集上的非负实函数，它的作用是定量刻画变量集中变量之间的相关关系(在所偏好的变量取值上有较大的函数值),为满足非负性，常常使用指数函数定义势函数。

该势函数说明，此MRF模型偏好你变量xA与xC拥有相同的取值，xB与xC拥有不同的取值；即，在该模型中xA与xC正相关，xB与xC负相关。结合HammersleyClifford 定理可知，令xA与xC相同，xB与xC不同的变量值指派将取得较高的联合概率。

团

对于图中结点的一个子集，如果其中任意两个结点之间都有边连接，则称该结点子集为一个“团”。如果在一个团中加入另外的任何一个结点都不能形成团，则称这个团为“极大团”。

HammersleyClifford 定理：

马尔可夫随机场中，多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积，每个势函数仅与一个团相关。

马尔可夫性：

全局马尔可夫性：设结点集合A，B是在无向图G中被结点集合C分开的任意结点集合，则在给定随机变量xC的条件下，随机变量xA和xB条件独立。

由全局马尔可夫性可以得到两个有用的推论：

①局部马尔可夫性：设v是无向图G中任意一个结点，W是与v有边相连的所有结点，G中其他结点记做O；则在给定随机变量xW的条件下，随机变量xV和xO条件独立。此时这里的W是v的分离集，局部马尔可夫性是全局马尔可夫性的推论。

②成对马尔可夫性：设u和v是无向图G中任意两个没有边直接连接的结点，G中其他结点的集合记做O；则在给定随机变量xO的条件下，随机变量xU和xV条件独立。

满足上述马尔可夫性，三者其一的无向图称之为MRF。

条件随机场(CRF):

CRF是一种判别式无向图模型。它试图对多个变量在给定的观测值后的条件概率进行建模。具体来说：
若令x={x1,x2,…,xn}为观测序列，y={y1,y2,…,yn}为与之对应的标记序列，则CRF的目标是构建条件概率模型P(y|x).

令G=<V,E>表示结点与标记变量y中的元素一一对应的无向图，g_v表示与结点v对应的标记变量，n(v)表示结点v的邻接结点，若图G的每个变量g_v都满足马尔可夫性，则(y,x)构成一个条件随机场。

【注】马尔可夫性又称为“无后效性”。意思是说，过程/系统在时刻T0所处的状态为已知的条件下，过程在时刻T>T0所处状态的条件分布与过程在时刻T0之前所处的状态无关。（条件独立性）

[基础知识点]马尔可夫随机场MRF与条件随机场CRF相关推荐

马尔科夫、最大熵、条件随机场
https://www.toutiao.com/a6687531170395062792/ 马尔科夫模型对于某个系统包含了n个有限状态,某个状态随着时刻推移而转移到另一个状态.如果t时刻状态与前面m ...
条件随机场（CRF）和隐马尔科夫模型（HMM）最大区别在哪里？CRF的全局最优体现在哪里？
作者:尔总的马甲链接:https://www.zhihu.com/question/53458773/answer/554436625 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商 ...
第五篇：HMM 隐马尔可夫模型
目录概览训练预测(维特比算法) 概览 HMM本身也是用于序列标注,为什么需要HMM? POS 标记,我们按照一句话为一个类别,也就是将该句子中的每个词的对应的类别,连起来作为一个类别,比如NN_ ...
马尔科夫随机场的基本概念
1.随机过程: 描写叙述某个空间上粒子的随机运动过程的一种方法. 它是一连串随机事件动态关系的定量描写叙述. 随机过程与其他数学分支,如微分方程.复变函数等有密切联系.是自然科学.project科学及 ...
李宏毅机器学习2016 第二十一讲隐马尔可夫模型和条件随机场
视频链接:李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源:Hung-yi Lee 课程相关PPT已经打包命名好了:链接:https://pan.baidu.com ...
深入浅出的马尔科夫入门文章
http://blog.csdn.net/pipisorry/article/details/46618991 生成模式(Generating Patterns) 1.确定性模式(Determinis ...
一、隐马尔科夫模型HMM
隐马尔科夫模型HMM(一)HMM模型基础隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理,模式识别等领域得到广泛的应用. ...
概率论：中心极限定理、马尔科夫不等式、切比雪夫不等式、大数定理
一.中心极限定理 1.1 独立同分布的中心极限定理 1.1.1 定理设X1,X2,...,Xn为相互独立.服从同一分布的随机变量序列,且E(Xi)=μ,D(Xi)=σ2≠0(i=1,2,...n), ...
机器学习十大算法---10. 马尔科夫
3.生成模式(Generating Patterns) 3.1.确定性模式(Deterministic Patterns):确定性系统考虑一套交通信号灯,灯的颜色变化序列依次是红色-红色/黄色-绿色 ...
蒙特卡罗马尔科夫链与Gibbs采样
这几个概念看了挺多遍都还是含混不清,最近看了几篇博客,才算大致理解了一点点皮毛,所以来总结一下. MCMC概述从名字我们可以看出,MCMC由两个MC组成,即蒙特卡罗方法(Monte Carlo Si ...

最新文章

热门文章