nlp基础—11.条件随机场模型(CRF)模型补充

文章目录

引言
一、概率图模型
二、CRF模型
- 1.条件随机场的矩阵形式
- 2. HMM模型与CRF模型比较
- 3. 条件随机场的三个基本问题
- - 3.1 概率计算问题
  - 3.2 预测问题(Inference)
  - 3.3 参数估计问题

nlp基础—9.条件随机场模型(CRF算法)上一节主要依据《统计学习方法》这本书来学习条件随机场模型；这一节从原论文角度来学习条件随机场模型。

引言

所谓线性链条件随机场就是逻辑回归的引申，相当于它的每一个时间步都是一个独立的逻辑回归模型，我们只需要将逻辑回归连起来就可以得到线性链的条件随机场。如果不考虑隐变量之间简单的依赖关系，就可以得到一般的条件随机场模型。

HMM模型是生成式模型，CRF模型是判别式模型。

一、概率图模型

概率图模型是由图表示的概率分布，用于刻画随机变量之间的依赖关系。我们有两种刻画方式，一种是有向图模型：

每个节点对应一个随机变量
通过条件概率P(xi│Parents(xi))P(x_i│Parents(x_i))P(xi│Parents(xi))刻画父节点对xix_ixi的影响
图中无回路

其概率为：
P(a,b,c,d,e)=P(a)P(b│a)P(c│b)P(d│b)P(e∣c,d)P(a,b,c,d,e )=P(a)P(b│a)P(c│b)P(d│b)P(e|c,d)P(a,b,c,d,e)=P(a)P(b│a)P(c│b)P(d│b)P(e∣c,d)

一种是无向图模型：

每个节点对应一个随机变量
每条边表示随机变量之间的依赖关系
联合概率分布满足局部马尔科夫性

最大团：无向图中任何两个结点均有边连接的结点子集称为团。如果C是一个团，并且不能再加进任何一个结点使其成为更大的团，则称C为最大团
Hammersley-Clifford定理：概率无向图模型的联合概率分布P(Y)可以表示为如下形式：
P(Y)=1/Z∏Cψc(Yc)Z=∑Y∏Cψc(Yc)ψc(Yc∣θ)=exp[∑j=1nwiFi(Yc)]n:特征的数量Fi(Yc):Yc这个团上所提取出的特征P(Y)=1/Z∏_Cψ_c(Y_c)\\Z=∑_Y∏_Cψ_c(Y_c)\\ψ_c(Y_c|θ)=exp[∑_{j=1}^nw_iF_i(Y_c)]\\n: 特征的数量 \\F_i(Y_c): Y_c这个团上所提取出的特征 P(Y)=1/ZC∏ψc(Yc)Z=Y∑C∏ψc(Yc)ψc(Yc∣θ)=exp[j=1∑nwiFi(Yc)]n:特征的数量Fi(Yc):Yc这个团上所提取出的特征
那么，上面无向图模型的联合概率分布为：
P(a,b,c,d,e)=1/Zψ1(a,b,d)ψ2(b,c)ψ3(c,e)P(a,b,c,d,e )=1/Zψ_1(a,b,d)ψ_2(b,c)ψ_3(c,e)P(a,b,c,d,e)=1/Zψ1(a,b,d)ψ2(b,c)ψ3(c,e)

二、CRF模型

奥卡姆剃须刀原理告诉我们：若非必要，勿增实体。在序列标注方面，HMM模型会遇到什么问题呢？HMM模型在生成每个词时，只考虑当前这个词的状态，不能很好的考虑上下文。

1.条件随机场的矩阵形式

x=(x1,x2,x3)y=(y1,y2,y3)P(y∣x,w)=1/Z(w,x)∏i=1Cexp[∑j=1nwjfj(x,yi,yi−1)]x=(x_1,x_2,x_3)\\y=(y_1,y_2,y_3)\\P(y|x,w)=1/Z(w,x)∏_{i=1}^Cexp[∑_{j=1}^nw_jf_j(x, y_i,y_i−1)]x=(x1,x2,x3)y=(y1,y2,y3)P(y∣x,w)=1/Z(w,x)i=1∏Cexp[j=1∑nwjfj(x,yi,yi−1)]
由于在各个势函数之间共享了权重，则可以写成：
P(y∣x,w)=1/Z(w,x)∏i=1Cexp[∑j=1nwjfj(x,yi,yi−1)]argmaxw∏i=1NP(y∣x,w)P(y|x,w)=1/Z(w,x)∏_{i=1}^Cexp[∑_{j=1}^nw_jf_j(x, y_i,y_i−1)]\\arg max_w∏_{i=1}^NP(y|x,w)P(y∣x,w)=1/Z(w,x)i=1∏Cexp[j=1∑nwjfj(x,yi,yi−1)]argmaxwi=1∏NP(y∣x,w)

2. HMM模型与CRF模型比较

将隐马尔可夫模型写成条件概率的形式就成了条件随机场模型。

3. 条件随机场的三个基本问题

3.1 概率计算问题

给定w,x,y，计算P(y∣x,w)给定w,x,y，计算P(y|x,w)给定w,x,y，计算P(y∣x,w)
重点：计算Z(w,x)计算Z(w,x)计算Z(w,x)
Z(w,x)=∑yexp[∑j=1nwj∑i=1Cfj(x,yi,yi−1)]=∑yexp[∑i=1C∑j=1nwjfj(x,yi,yi−1)]=∑yexp[∑i=1Cgi(x,yi,yi−1)]gi(x,yi,yi−1)=∑j=1nwjfj(x,yi,yi−1)Z(w,x)=∑_yexp[∑_{j=1}^nw_j∑_{i=1}^Cf_j(x, y_i,y_i−1)]\\=∑_yexp[∑_{i=1}^C∑_{j=1}^nw_jf_j(x, y_i,y_i−1)]\\=∑_yexp[∑_{i=1}^Cg_i(x,y_i,y_i−1) ]\\g_i(x,y_i, y_i−1)=∑_{j=1}^nw_jf_j(x, y_i,y_i−1) Z(w,x)=y∑exp[j=1∑nwji=1∑Cfj(x,yi,yi−1)]=y∑exp[i=1∑Cj=1∑nwjfj(x,yi,yi−1)]=y∑exp[i=1∑Cgi(x,yi,yi−1)]gi(x,yi,yi−1)=j=1∑nwjfj(x,yi,yi−1)
然后再用前向后向算法计算。

3.2 预测问题(Inference)

给定w,x，计算y′=argmaxyP(y∣x,w)给定w,x，计算 y^′=arg max_yP(y|x,w)给定w,x，计算y′=argmaxyP(y∣x,w)

3.3 参数估计问题

给定x,y，计算w′=argmaxwP(y∣x,w)给定x,y，计算 w^′=arg max_wP(y|x,w)给定x,y，计算w′=argmaxwP(y∣x,w)

如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！