HMM、MEMM、CRF模型的比较
一、HMM
HMM属于生成模型,模型中2个假设:
- 输出观测值XiX_iXi之间相互独立;
- 齐次一阶Markov,即状态的转移过程中当前状态只与前一状态有关。
二、MEMM
P(I∣O)=∏t=1nexp(∑a)λafa(o,i)Z(o,ii−1),i=1,⋯,nP(I | O)=\prod_{t=1}^{n} \frac{\exp \left(\sum_{a}\right) \lambda_{a} f_{a}(o, i)}{Z\left(o, i_{i-1}\right)}, i=1, \cdots, n P(I∣O)=t=1∏nZ(o,ii−1)exp(∑a)λafa(o,i),i=1,⋯,n
求和的作用在概率中是归一化,但是这里归一化放在了指数内部,管这叫local归一化。 来了,viterbi求解过程,是用dp的状态转移公式(MEMM的没展开,请参考CRF下面的公式),因为是局部归一化,所以MEMM的viterbi的转移公式的第二部分出现了问题,导致dp无法正确的递归到全局的最优。
δi+1=max1≤j≤m{δi(I)+∑iT∑kMλkfk(O,Ii−1,Ii,i)}\delta_{i+1}=\max _{1 \leq j \leq m}\left\{\delta_{i}(I)+\sum_{i}^{T} \sum_{k}^{M} \lambda_{k} f_{k}\left(O, I_{i-1}, I_{i}, i\right)\right\} δi+1=1≤j≤mmax{δi(I)+i∑Tk∑Mλkfk(O,Ii−1,Ii,i)}
- MEMM模型属于判别模型,打破了观察值之间相互独立产生的问题,但是由于状态之间的假设理论,MEMM倾向于选择拥有更少转移的状态,使得该模型存在 标注偏置问题(label bias problem)。
三、CRF(Conditional Random Field)
从概率图可以很形象的看出一个区别:
HMM是有向图,严格定义了y的有序性,只能从左至右。CRF是无向图,y无序,可左可右。HMM是生成模型,通过求联合概率获得;CRF是判别模型,通过条件概率求得。在如词性标注上的应用中CRF更合理,因为它直接求某个标注的概率,而HMM需要先算联合概率再转而求目标的概率。
对于所谓的条件和随机场的理解:
- 条件:属于生成模型
- 随机场:无向图模型
CRF模型属于判别模型,解决了标注偏置问题,去除了HMM中两个不合理的假设,当然,模型相应得也变复杂了。
CRF建模公式如下,整个过程的推导可以结合这个词性标注的案例更好理解 :CRF词性标注:
P(I∣O)=1Z(O)∏iψi(Ii∣O)=1Z(O)∏ie∑kλkfk(O,li−1,Ii,i)=1Z(O)e∑i∑kλkfk(O,Ii−1,Ii,i)P(I | O)=\frac{1}{Z(O)} \prod_{i} \psi_{i}\left(I_{i} | O\right)=\frac{1}{Z(O)} \prod_{i} e^{\sum_{k} \lambda_{k} f_{k}\left(O, l_{i-1}, I_{i}, i\right)}=\frac{1}{Z(O)} e^{\sum_{i} \sum_{k} \lambda_{k} f_{k}\left(O, I_{i-1}, I_{i}, i\right)} P(I∣O)=Z(O)1i∏ψi(Ii∣O)=Z(O)1i∏e∑kλkfk(O,li−1,Ii,i)=Z(O)1e∑i∑kλkfk(O,Ii−1,Ii,i)
因为是判别模型,所以直接为了确定边界而去建模,因为创造出来就是为了这个分边界的目的。比如说序列求概率(分类)问题,直接考虑找出函数分类边界。所以才为什么会有这个公式。所以再看到这个公式也别懵逼了。
除了建模总公式,关键的CRF重点概念与MEMM类似:判别式模型、特征函数。
HMM、MEMM、CRF模型的比较相关推荐
- 自然语言处理(NLP)学习笔记——HMM与CRF模型
一.HMM模型 1.HMM模型的输入和输出 HMM(Hidden Markov Model),中文称作隐含马尔可夫模型,因俄国数学家马尔可夫而得名.它一般以文本序列数据为输入,以该序列对应得隐含序列为 ...
- 生物信息之ME, HMM, MEMM, CRF
原文链接:http://bbs.sciencenet.cn/home.php?mod=space&uid=260809&do=blog&id=573755 注:有少量修改!如有 ...
- 自然语言处理--HMM.MEMM,CRF(三)
自然语言处理–HMM,MEMM,CRF(三) 终于到正题了,现在就来说说HMM, 隐马尔科夫模型! Hidden Markov Models HMM 要解决什么问题? 我们在学一个算法之前,我觉得先要 ...
- 下列哪个不属于CRF模型对于HMM和MEMM模型的优势( )
感想 CRF,HMM和HEMM我也用心的学过,可能公式没有怎么推过,这三个模型还是蛮复杂的,搞得我现在有点生疏,我这里也整理一下,方便后面的复习. problem 下列哪个不属于CRF模型对于HMM和 ...
- HMM、MEMM、CRF模型比较和标注偏置问题(Label Bias Problem)
本文转自:http://www.cnblogs.com/syx-1987/p/4077325.html 路径1-1-1-1的概率:0.4*0.45*0.5=0.09 路径2-2-2-2的概率:0.01 ...
- 条件随机场CRF HMM,MEMM的比较
https://blog.csdn.net/qq_29828623/article/details/51457895 CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注; HMM ...
- 条件随机场CRF HMM,MEMM的区别
http://blog.sina.com.cn/s/blog_605f5b4f010109z3.html 首先,CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标 ...
- 条件随机场(CRF)相对于HMM,MEMM的优势
条件随机场(CRF)相对于HMM,MEMM的优势 首先,CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标注,True casing.但隐马模型一个最大的缺点就是 ...
- 概率图模型 —— 串连 NB、LR、MEM、HMM、CRF
概率图模型(PGM),作为机器学习的重要分支,能串连起很多传统模型,比如 NB.LR.MEM.HMM.CRF.DBN 等.本篇文章,从串连多个模型的角度,来谈谈 PGM,顺便把这些模型回顾下. 1 W ...
- 代码实现中文命名实体识别(包括多种模型:HMM,CRF,BiLSTM,BiLSTM+CRF)
作者 | 忆臻 地址 | https://zhuanlan.zhihu.com/p/100969186 专栏 | 机器学习算法与自然语言处理 代码实现中文命名实体识别(包括多种模型:HMM,CRF,B ...
最新文章
- MonoDevelop 1.0 和 Mono 1.9(2.0 beta)发布了
- linux 修改系统时区和时间
- 推荐系统炼丹笔记:聊一聊特征交叉新方式CAN
- 【junit】junit4单元测试eclipse
- 编写并调试一个单道处理系统的作业调度模拟程序_操作系统系列(2):操作系统发展历史...
- Huge page使用的一些问题
- asp.net页面事件:顺序与回传
- BERT 之后的故事
- 一条关于swap争用的报警邮件分析(一)
- zendstudio for mac破解版
- STM32F407引脚资源总结
- 51物联卡:物联卡支持5G吗?怎么购买5G物联卡
- POJ 2818:密码
- Dynamics CRM: 表单(Form)中的显示字段变成只读的几种情况
- zend stutio安装
- java 修改pdf_Java 操作PDF书签详解 - 添加、修改、读取和删除
- 双引号等在双引号中使用时候的方法
- 相对布局的最下方怎么设置android,Android 相对布局常用属性
- 2019/01/21 一位前端实习生 艰辛过程 励志 实习周记(四)——第四 五周
- chkdsk与sfc/scannow两条命令让电脑流畅一些
热门文章
- 百度云 自然语言处理(Nlp)
- (tensorflow2.1.0安装教程) 对应Anaconda3(对应python3.7)+cuda10.1+cudnn7.6.5+Pycharm 网盘 链接
- mybatis对象包含list类型属性的resultMap配置
- 谷歌地图的离线地图下载
- 软件工程之需求说明书
- 共享充电宝APP小程序开发解决方案
- pb 系统托盘实例(定时任务管理)
- 微信公众平台H5支付
- mysql触发器trigger 实例详解
- android获取root代码,Android获取ROOT权限的实例代码