标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM
转载自:http://blog.csdn.net/xum2008/article/details/38147425
隐马尔科夫模型(HMM):
图1. 隐马尔科夫模型
隐马尔科夫模型的缺点:
1、HMM只依赖于每一个状态和它对应的观察对象:
序列标注问题不仅和单个词相关,而且和观察序列的长度,单词的上下文,等等相关。
2、目标函数和预测目标函数不匹配:
HMM学到的是状态和观察序列的联合分布P(Y,X),而预测问题中,我们需要的是条件概率P(Y|X)。
最大熵隐马尔科夫模型(MEMM):
图2. 最大熵马尔科夫模型
MEMM考虑到相邻状态之间依赖关系,且考虑整个观察序列,因此MEMM的表达能力更强;MEMM不考虑P(X)减轻了建模的负担,同时学到的是目标函数是和预测函数一致。
MEMM的标记偏置问题:
图3. Viterbi算法解码MEMM,状态1倾向于转换到状态2,同时状态2倾向于保留在状态2;
P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09 ,P(2->2->2->2)= 0.2 X 0.3 X 0.3 = 0.018,
P(1->2->1->2)= 0.6 X 0.2 X 0.5 = 0.06,P(1->1->2->2)= 0.4 X 0.55 X 0.3 = 0.066。
图3中状态1倾向于转换到状态2,同时状态2倾向于保留在状态2;但是得到的最优的状态转换路径是1->1->1->1,为什么呢?因为状态2可以转换的状态比状态1要多,从而使转移概率降低;即MEMM倾向于选择拥有更少转移的状态。这就是标记偏置问题。而CRF很好地解决了标记偏置问题。
MEMM是局部归一化,CRF是全局归一化
另一方面,MEMMs不可能找到相应的参数满足以下这种分布:
a b c --> a/A b/B c/C p(A B C | a b c) = 1
a b e --> a/A b/D e/E p(A D E | a b e) = 1
p(A|a)p(B|b,A)p(C|c,B) = 1
p(A|a)p(D|b,A)p(E|e,D) = 1
但是CRFs可以找到模型满足这种分布。
标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM相关推荐
- 最大熵马尔科夫和隐马尔科夫比较 MEMMs HMMs
MEMMs:最大熵马尔科夫模型 转移概率: HMMs:隐马尔科夫模型 转移概率(可以把转移概率和发射概率合起来看作转移概率): MEMMs可以利用更多的特征,如大小写,词缀,前后词等等,即可以很好的利 ...
- 隐马尔可夫模型,最大熵马尔可夫模型和条件随机场的区别与联系
隐马尔可夫模型(Hidden Markov Model,HMM),最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)以及条件随机场(Conditional ...
- 【深度学习】最大熵马尔科夫、CRF、条件随机场、最大匹配法
文章目录 一 最大熵马尔科夫和CRF 二 条件随机场 三 最大匹配法 1 来源 2 正向最大匹配法 逆向最大匹配法 双向最大匹配法 一 最大熵马尔科夫和CRF 最大熵模型(MaxEnt):指的是多元逻 ...
- 【机器学习】最大熵马尔科夫模型
点击上方蓝色字体,关注AI小白入门哟 跟着博主的脚步,每天进步一点点 本文介绍了最大熵马尔可夫模型,在隐马尔可夫模型(隐状态序列)的基础上应用最大熵模型思想,将一个概率生成模型转化为概率判别模型,同样 ...
- python做马尔科夫模型预测法_Python实现HMM(隐马尔可夫模型)
1. 前言 隐马尔科夫HMM模型是一类重要的机器学习方法,其主要用于序列数据的分析,广泛应用于语音识别.文本翻译.序列预测.中文分词等多个领域.虽然近年来,由于RNN等深度学习方法的发展,HMM模型逐 ...
- 最大熵模型(ME)和最大熵马尔可夫模型(MEMM)
文章目录 最大熵模型(Maximum Entropy Model, MEM) 最大熵思想 最大熵模型表示 最大熵模型学习 最大熵模型求解过程举例 最大熵模型与极大似然估计 最大熵模型与逻辑回归 模型学 ...
- 【自然语言处理】最大熵马尔可夫模型
有任何的书写错误.排版错误.概念错误等,希望大家包含指正. 由于这部分的参考资料比较少,网上大部分资料重复且不完整,对于一些关键计算没有推导,所以这里我主要讨论几篇论文和讲义.但是这些论文和讲义之间也 ...
- 马尔可夫的各种模型 Markov chain HMM CRF
文章目录一览 马尔可夫模型 HMM 什么时候可能会用到HMM 相关定义 举例 观测序列的生成 为什么HMM是生成模型 HMM的3个基本问题 MRF 什么是随机场 概率无向图(MRF)表示的随机变量之间 ...
- 机器学习中隐马尔可夫模型(Hidden Markov Model, HMM)理论
隐马尔可夫模型(Hidden Markov Model, HMM) 前言 :内容从实际案例到模型提取.建立.求解以及应用,侧重于该模型在机器学习中的研究和应用. 参考书: <统计学习方法> ...
最新文章
- 简单的VC 操作XML 文件的的方法
- 虚拟服务器启动顺序,认识VPC2007的虚拟机系统启动顺序
- DDD“上吊绳驱动开发”,开发要想不被“吊死”,该如何自救?
- Django框架 之 Ajax
- linux下的gdb调试
- PLC与常用设备的连接
- Ubuntu 16.04 折腾日记
- 给定一个正整数,编写程序计算有多少对质数的和等于输入的这个正整数,并输出结果。...
- 生活过得很苦 不知道什么时候才能解脱
- vuereact视频截图
- 左程云算法课笔记(不再更新..)
- 不恢复余数除法原理_小学数学基础概念大全,家长收藏起来,一条一条讲给孩子听。能全背下来的,考试也不带怕的了!...
- Java初学者的建议!
- android 360开机启动,手机360设置开机启动项
- 解决序列长期依赖的法宝——注意力机制
- 《他们最幸福》之大冰的经典语录
- 软件测试高频面试题(2023全新版)你必须掌握的面试技巧,包含HR面试、基础面试、JMeter面试、Postman面试、Python面试、自动化化面试、安全性能面试题
- PDF免费转PPT值得您收藏使用的网站
- fromkeys()
- C# 按Esc键关闭窗体