马尔可夫模型与条件随机场模型

https://blog.csdn.net/s151506879/article/details/51912595

条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题。条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题。

条件随机场理论（CRFs）可以用于序列标记、数据分割、组块分析等自然语言处理任务中。在中文分词、中文人名识别、歧义消解等汉语自然语言处理任务中都有应用，表现很好。目前基于 CRFs 的主要系统实现有CRF，FlexCRF，CRF++。 缺点：训练代价大、复杂度高

机器学习方法的两种分类：产生式模型和判别式模型

假定输入x, 类别标签y

— 产生式模型（生成模型）估计联合概率 P(x, y), 因可以根据联合概率来生成样本：HMMs

— 判别式模型（判别模型）估计条件概率 P(y|x), 因为没有x的知识，无法生成样本，只能判断分类: SVMs,CRF,MEM

一个举例：

(1,0), (1,0), (2,0), (2, 1)
产生式模型：

p(x, y)：
P(1, 0) = 1/2, P(1, 1) = 0, P(2, 0) = 1/4, P(2, 1) = 1/4.

判别式模型：
P(y|x)：
P(0|1) = 1, P(1|1) = 0, P(0|2) = 1/2, P(1|2) = 1/2

o和s分别代表观察序列和标记序列

—产生式模型

— 构建o和s的联合分布p(s,o)；

—判别式模型

— 构建o和s的条件分布p(s|o)；

—产生式模型中，观察序列作为模型的一部分；判别式模型中，观察序列只作为条件，因此可以针对观察序列设计灵活的特征。

一般认为判别型模型要好于生成型模型，因为它是直接根据数据对概率建模，而生成型模型还要先求两个难度相当的概率

概率图模型，用图的形式表示概率分布。

— 当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。

—具有马尔科夫性质

—体现了一个思想：离当前因素比较遥远(这个遥远要根据具体情况自己定义）的因素对当前因素的性质影响不大。

条件随机场模型是一种无向图模型，它是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。即给定观察序列O,求最佳状态序列S。

马尔可夫模型与条件随机场模型相关推荐

一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场！(词性标注代码实现)
文章目录 1. 马尔可夫网络.马尔可夫模型.马尔可夫过程.贝叶斯网络的区别 2. 马尔可夫模型 2.1 马尔可夫过程 3. 隐马尔可夫模型(HMM) 3.1 隐马尔可夫三大问题 3.1.1 第一个问题 ...
python期望输出隐藏_【归纳综述】马尔可夫、隐马尔可夫 HMM 、条件随机场 CRF 全解析及其python实现...
PR Structured Ⅲ:马尔可夫.隐马尔可夫 HMM .条件随机场 CRF 全解析及其python实现 Content 归纳性长文,不断更新中...欢迎关注收藏本章承接概率图知识马尔可夫不 ...
一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场！
1. 马尔可夫网络.马尔可夫模型.马尔可夫过程.贝叶斯网络的区别相信大家都看过上一节我讲得贝叶斯网络,都明白了概率图模型是怎样构造的,如果现在还没明白,请看我上一节的总结: 贝叶斯网络这一节我们重 ...
隐马尔可夫(HMM)/感知机/条件随机场(CRF)----词性标注
笔记转载于GitHub项目:https://github.com/NLP-LOVE/Introduction-NLP 7. 词性标注 7.1 词性标注概述什么是词性在语言学上,词性(Par-Of- ...
马尔可夫向量自回归模型，MSVAR模型，MS-VAR模型的GiveWin软件安装和操作过程+MS-VAR各种图形制作
马尔可夫向量自回归模型,MSVAR模型,MS-VAR模型的GiveWin软件安装和操作过程+MS-VAR各种图形制作(区制转换图.脉冲图.模型预测图等等)+最优区制数和模型形式判断(MSI-VAR.M ...
马尔科夫细致平稳条件
举一个经典的例子,社会学家经常把人按其经济状况分成3类:下层.中层.上层,我们用1,2,3 分别代表这三个阶层.社会学家们发现决定一个人的收入阶层的最重要的因素就是其父母的收入阶层.如果一个人的收入属 ...
李航《统计学习方法》之HMM隐马尔可夫模型
李航<统计学习方法>之HMM隐马尔可夫模型文章目录前言一.基本概念 1.语言描述: 2.符号表示 3.基本假设 4.例子 5.隐马尔可夫模型解决的三个基本问题二.概率计算算法 1. ...
【机器学习】隐马尔可夫模型（HMM）
隐马尔可夫模型(HMM) 1.部分参考内容 2.引言 3.隐马尔可夫模型 3.1 马尔可夫过程 3.2 隐马尔可夫模型 3.3 HMM模型的五元组 4.评估问题 4.1 直接方法 4.2前向算法 4. ...
学习笔记——详解马尔可夫，马尔可夫链，马尔可夫模型，隐马
目录 (一),马尔可夫 (Markov)综述 1.1,随机过程是啥玩意儿 1.2. 马尔可夫链 (Markov Chain)又是什么鬼 1.3一个经典的马尔科夫链实例 (二), 隐马尔可夫 HMM 2 ...

马尔可夫模型与条件随机场模型

马尔可夫模型与条件随机场模型相关推荐

最新文章

热门文章