nlp基础—9.条件随机场模型(CRF算法)

文章目录

引言
一、概率无向图模型
- 1. 概率无向图模型的定义
- 2. 概率无向图模型的因子分解
二、条件随机场的定义与形式
- 1. 条件随机场的定义
- 2. 条件随机场的参数化形式
- 3. 条件随机场的简化形式
- 4.条件随机场的矩阵形式
三、条件随机场的三个基本问题
- 1.概率计算问题
- 2. 学习问题
- 3. 预测问题

引言

CRF算法与HMM算法在分词方面的应用相当于在隐变量序列输出后再进行一定的调整。CRF算法的知识体系如下：

本文首先介绍概率无向图模型，然后叙述条件随机场的定义与各种表示方法，最后介绍条件随机场的三个基本问题：概率计算问题、学习问题和预测问题。

一、概率无向图模型

1. 概率无向图模型的定义

概率图模型是由图表示的概率分布。概率图模型分为有向图（贝叶斯网络）与无向图（马尔科夫随机场）。概率无向图模型是一个可以由无向图表示的联合概率分布。概率无向图模型的最大特点是易于因子分解。
概率无向图模型的定义为:设有联合概率分布P(Y)P(Y)P(Y)，由无向图G=(V,E)G=(V,E)G=(V,E)表示，在图GGG中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)P(Y)P(Y)满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型( probability undirectedgraphical model)，或马尔可夫随机场(Markov random field)。
下面分别介绍无向图表示的随机变量之间存在的成对马尔可夫性、局部马尔可夫性和全局马尔可夫性。

成对马尔可夫性:

P(Yu,Yv∣YO)=P(Yu∣YO)P(Yv∣YO)P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)P(Yu,Yv∣YO)=P(Yu∣YO)P(Yv∣YO)
局部马尔可夫性:

全局马尔可夫性:

2. 概率无向图模型的因子分解

下面分别给出团与因子分解的定义。无向图GGG中任何两个结点均有边连接的结点子集称为团。

将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式操作，称为概率无向图模型的因子分解。

ψC(YC)=exp{−E(YC)}ψC(YC)称为势函数\psi_C(Y_C)=exp\{-E(Y_C)\}\\\psi_C(Y_C)称为势函数ψC(YC)=exp{−E(YC)}ψC(YC)称为势函数

二、条件随机场的定义与形式

1. 条件随机场的定义

一般的条件随机场定义为：

该公式表示:对任意一个节点vvv，给定其他所有节点时vvv的分布等于给定与它直接相连的节点时vvv的分布(局部马尔科夫性)。

线性链条件随机场定义为：

线性链条件随机场的一个重要应用是标注问题与找最佳路径(对其他模型所出的标注进行纠正)。

2. 条件随机场的参数化形式

tkt_ktk为转移特征，依赖于当前和前一个位置；sls_lsl为状态特征，依赖于当前位置。通常tkt_ktk与sls_lsl取值为1或0；当满足特征条件时，取值为1，否则为0。条件随机场完全由特征函数tkt_ktk与sls_lsl以及对应的权值λk\lambda_kλk,ulu_lul确定。

3. 条件随机场的简化形式

在条件随机场的参数化形式的基础上，对同一特征的各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式。

4.条件随机场的矩阵形式

三、条件随机场的三个基本问题

1.概率计算问题

条件随机场的概率计算问题是给定条件随机场P(Y∣X)P(Y |X)P(Y∣X)，输入序列xxx和输出序列yyy，计算条件概率P(Yi=yi∣x)P(Y_i=y_i|x)P(Yi=yi∣x)，P(Yi−1=yi−1,Yi=yi∣x)P(Y_{i-1}=y_{i-1},Y_i=y_i|x)P(Yi−1=yi−1,Yi=yi∣x)以及相应的数学期望的问题。条件随机场的概率计算算法是前向-后向算法。

2. 学习问题

条件随机场的学习问题是求定义在时序数据上的对数线性模型参数www。条件随机场的学习算法是改进的迭代尺度法与拟牛顿法。

3. 预测问题

条件随机场的预测问题是给定条件随机场P(Y∣X)P(Y|X)P(Y∣X)和输入序列(观测序列)xxx，求条件概率最大的输出序列y∗y^*y∗，即对观测序列进行标注。条件随机场的预测算法是维特比算法（动态规划）。

如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！