隐马尔可夫模型，最大熵马尔可夫模型和条件随机场的区别与联系

隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法主要思想如下：
•HMM模型是对转移概率和表现概率直接建模，统计共现概率。
•MEMM模型是对转移概率和表现概率建立联合概率，统计时统计的是条件概率，但MEMM容易陷入局部最优，是因为MEMM只在局部做归一化。
•CRF模型中，统计了全局概率，在做归一化时，考虑了数据在全局的分布，而不是仅仅在局部归一化，这样就解决了MEMM中的标记偏置（label bias）的问题。

当前，最后出现的CRF在多项任务上达到了统治级的表现，所以如果重头搞应用的话，大家可以首选CRF。本质上，CRF有以下三个优点：
•CRF没有HMM那样严格的独立性假设条件，因而可以容纳任意的上下文信息。特征设计灵活（与ME一样） ————与HMM比较
•同时，由于CRF计算全局最优输出节点的条件概率，它还克服了最大熵马尔可夫模型标记偏置（Label-bias）的缺点。 ————与MEMM比较
•CRF是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。

凡事都有两面，正由于这些优点，CRF需要训练的参数更多，与MEMM和HMM相比，它存在训练代价大、复杂度高的缺点。

隐马尔可夫模型，最大熵马尔可夫模型和条件随机场的区别与联系相关推荐

【一起入门MachineLearning】中科院机器学习第*课-概率图模型：隐马尔可夫模型（前向算法+维特比算法+条件随机场）
专栏介绍:本栏目为 "2021秋季中国科学院大学周晓飞老师的机器学习" 课程记录,不仅仅是课程笔记噢- 如果感兴趣的话,就和我一起入门Machine Learning吧
条件随机场（CRF）和隐马尔科夫模型（HMM）最大区别在哪里？CRF的全局最优体现在哪里？
作者:尔总的马甲链接:https://www.zhihu.com/question/53458773/answer/554436625 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商 ...
【自然语言处理】最大熵马尔可夫模型
有任何的书写错误.排版错误.概念错误等,希望大家包含指正. 由于这部分的参考资料比较少,网上大部分资料重复且不完整,对于一些关键计算没有推导,所以这里我主要讨论几篇论文和讲义.但是这些论文和讲义之间也 ...
隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注
笔记转载于GitHub项目:https://github.com/NLP-LOVE/Introduction-NLP 7. 词性标注 7.1 词性标注概述什么是词性在语言学上,词性(Par-Of- ...
标记偏置隐马尔科夫最大熵马尔科夫 HMM MEMM
转载自:http://blog.csdn.net/xum2008/article/details/38147425 隐马尔科夫模型(HMM): 图1. 隐马尔科夫模型隐马尔科夫模型的缺点: 1.HM ...
最大熵模型（ME）和最大熵马尔可夫模型（MEMM）
文章目录最大熵模型(Maximum Entropy Model, MEM) 最大熵思想最大熵模型表示最大熵模型学习最大熵模型求解过程举例最大熵模型与极大似然估计最大熵模型与逻辑回归模型学 ...
【机器学习】最大熵马尔科夫模型
点击上方蓝色字体,关注AI小白入门哟跟着博主的脚步,每天进步一点点本文介绍了最大熵马尔可夫模型,在隐马尔可夫模型(隐状态序列)的基础上应用最大熵模型思想,将一个概率生成模型转化为概率判别模型,同样 ...
最大熵马尔科夫和隐马尔科夫比较 MEMMs HMMs
MEMMs:最大熵马尔科夫模型转移概率: HMMs:隐马尔科夫模型转移概率(可以把转移概率和发射概率合起来看作转移概率): MEMMs可以利用更多的特征,如大小写,词缀,前后词等等,即可以很好的利 ...
隐马尔科夫模型HMM（一）HMM模型
2019独角兽企业重金招聘Python工程师标准>>> 隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理 ...

隐马尔可夫模型，最大熵马尔可夫模型和条件随机场的区别与联系

隐马尔可夫模型，最大熵马尔可夫模型和条件随机场的区别与联系相关推荐

最新文章

热门文章