概率图模型之条件随机场

条件随机场（CRF）是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型是对条件分布进行建模。前面提到的隐马尔可夫模型和马尔可夫随机场都是生成式模型，而条件随机场则是判别式模型。条件随机场试图对多个变量在给定观测值后的条件概率进行建模。具体来说，令x={x1,x2,,,xn}为观测序列，y={y1,y2,,,yn}为与之对应的标记序列，则条件随机场的目标是构建条件概率模型P(y|x)。但是标记变量y可以是结构性变量，即其分量之间具有某种相关性。

例如，在自然语言处理的词性标注任务中，观测数据为语句（单词序列），标记为相应的词性序列，具有线性序列结构，如下图(a)所示；在语法分析任务中，输出标记则是语法树，具有树形结构，如下图(b)所示。

图1

令G=<V,E>表示结点与标记变量y中元素一一对应的无向图，yv表示与结点v对应的标记变量，n(v)表示结点v的相邻结点，若图G的每个变量yv都满足马尔可夫性，即：

上面式子表示某一点仅与其相邻的结点有关。在前面马尔可夫随机场中提到了三条马尔可夫性质。

满足上面的式子，则（y，x）构成一个条件随机场

理论上说，图G可以是任意结构，但是在现实生活中，尤其对标记序列进行建模时，最常使用的是下图2所示的链式结构，即“链式条件随机场”（CRF）。

图2

与马尔可夫随机场定义联合概率方法类似，条件随机场实验势函数和图结构上的团来定义条件概率P(y|x)。给定观测序列x，图2的链式条件随机场主要包含两种关于标记变量的团：单个标记变量{yi}以及相邻的标记变量{yi-1,yi}。在条件随机场中，通过选用指数势函数并引入特征函数，条件概率被定义为：

公式中是定义在观测序列的两个相邻标记位置上的转移特征函数，用于刻画相邻标记之间的相关关系以及观测序列对它们的影响；是定义观测序列的标记位置i上的状态特征函数，用于刻画观测序列对标记变量的影响。入和μ为参数，分别表示权重，Z是规范化因子，用于确保P(y|x)是被正确定义的概率。

简单说来，第一部分用于刻两个相邻的结点，第二部分用于刻画单个结点。

为了使用条件随机场，还需要定义特征函数。特征函数通常是实值函数，以刻画数据的一些很可能成立或期望成立的经验特性。以图1的词性标注为例，若特征函数为：

表示：若第i个观测值xi为单词"knock"时，相应的标记yi和yi+1很可能是[V]和[P]。

若采用状态特征函数：

表示：观测值xi为单词"knock"时，它所对应的标记很可能为[V]

通过与马尔可夫随机场对比，条件随机场与马尔可夫随机场均使用团上的势函数，二者在形式上没什么差别，但条件随机场处理的是条件概率，而马尔可夫随机场处理的是联合概率。

参考资料：《机器学习》周志华著，清华大学出版社

概率图模型之条件随机场相关推荐

NLP复习资料(3)-六~七章：马尔科夫模型与条件随机场、词法分析与词性标注
NLP复习资料 1.第六章马尔科夫模型与条件随机场 2.第七章词法分析与词性标注国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 1.第六章马尔科夫模型与条件随机场 ...
李宏毅机器学习2016 第二十一讲隐马尔可夫模型和条件随机场
视频链接:李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源:Hung-yi Lee 课程相关PPT已经打包命名好了:链接:https://pan.baidu.com ...
马尔可夫模型与条件随机场模型
https://blog.csdn.net/s151506879/article/details/51912595 条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型.它在观测序 ...
隐马尔可夫模型，最大熵马尔可夫模型和条件随机场的区别与联系
隐马尔可夫模型(Hidden Markov Model,HMM),最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)以及条件随机场(Conditional ...
自然语言处理（六）图的随机游走模型与噪声信道模型与条件随机场
图的随机游走模型非常适用于统计网页的权重,在文本处理方面则适用于提取关键字,生成人物关系网等. 噪声信道模型本质上就是贝叶斯,它能直接适用于翻译,对于文本简单替换的微博文本规范化来说,感觉还更简单了, ...
D-separation 概率图模型判断条件独立性
英文转载自 andrew.cmu.edu Contents History and Motivation D-separation Explained, with Applet Formal Defi ...
「NLP」用于序列标注问题的条件随机场
https://www.toutiao.com/a6714045004102238734/ 上一篇介绍了隐马尔科夫模型,隐马尔科夫模型引入了马尔科夫假设,即当前时刻的状态只与其前一时刻的状态有关.但是 ...
【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF）
上一篇介绍了隐马尔科夫模型,隐马尔科夫模型引入了马尔科夫假设,即当前时刻的状态只与其前一时刻的状态有关.但是,在序列标注任务中,当前时刻的状态,应该同该时刻的前后的状态均相关.于是,在很多序列标注任务 ...
深入理解机器学习——概率图模型（Probabilistic Graphical Model）：条件随机场（Conditional Random Field，CRF）
分类目录:<深入理解机器学习>总目录条件随机场(Conditional Random Field,CRF)是一种判别式无向图模型,在<概率图模型(Probabilistic Gra ...

概率图模型之条件随机场

概率图模型之条件随机场相关推荐

最新文章

热门文章