1. 马尔科夫随机场/概率无向图模型

1.1 概率无向图模型的定义

概率无向图模型是由无向图表示的联合概率分布。无向图上的节点之间的连接关系表示了联合分布的随机变量集合之间的条件独立性，即马尔科夫性。因此，概率无向图模型也称为马尔科夫随机场。
概率无向图模型是生成式模型,生成式模型最关心的是变量的联合概率分布。

1.2 概率无向图模型的因子分解

概率无向图模型的联合概率分布可以分解成无向图最大团上的正值函数的乘积形式。

2. 条件随机场

条件随机场是隐含马尔可夫模型HMM的一种扩展，它保留了HMM的一些特性，比如状态序列是马尔科夫链。

更广义地讲，条件随机场是一种特殊的马尔科夫随机场（概率图模型）。在这个图中，每个顶点代表一个随机变量，比如x1、y1x_1、y_1x1、y1，顶点之间的弧代表他们相互的依赖关系。通常采用一种概率分布比如P(x1，y1)P(x_1，y_1)P(x1，y1)描述。条件随机场的最大特点是假设输出变量之间的联合概率分布构成概率无向图模型（马尔科夫随机场），即每个状态的转移概率只取决于相邻的状态。

2.1 条件随机场与隐含马尔科夫模型

2.2 条件随机场的定义

条件随机场是给定输入变量X条件下，输出随机变量Y的条件概率分布模型P(Y|X)，其形式为参数化的对数线性模型。条件随机场是判别式模型。

对数线性模型

式（11.8）解释如下：当我们计算Y中每个节点YvY_vYv的条件概率分布时，只需要考虑与YvY_vYv有边连接的Y集合中的节点和X中的集合节点，因为与YvY_vYv没有边连接的节点与YvY_vYv完全独立。

2.3 线性链条件随机场

线性链条件随机场一般表示为给定观测序列条件下的标记序列的条件概率分布，由参数化的对数线性模型表示。

线性链条件随机场的数学表达式：

3. 条件随机场的3个基本问题

3.1 概率计算问题：前向-后向算法

3.2 学习问题：极大似然估计法

给定训练数据，通过极大化训练数据的对数似然函数以估计模型参数。具体的算法有改进的迭代尺度算法、梯度下降法、拟牛顿法等。

3.3 预测问题：维特比算法

CRF的预测问题转化为求非规范化概率最大的最优路径问题。

【ML小结14】条件随机场CRF相关推荐

条件随机场(CRF)相关理论知识
文章目录无向概率图模型条件随机场 CRF 实例线性链条件随机场的简化形式线性链条件随机场的矩阵形式 linear-CRF的三个基本问题 1,概率计算问题前向后向概率概述前向后向概率计算 l ...
通俗易懂条件随机场CRF
条件随机场CRF 条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型,在自然语言处理中得到了广泛应用.本系列主要 ...
条件随机场(CRF) - 1 - 简介
声明: 1,本篇为个人对<2012.李航.统计学习方法.pdf>的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址). 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了 ...
条件随机场(CRF) - 2 - 定义和形式
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/xueyingxue001/article/details/51498968 声明: 1,本篇为个人对 ...
条件随机场 (CRF) 分词序列谈之一(转)
http://langiner.blog.51cto.com/1989264/379166 原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 .作者信息和本声明.否则将追究法律责任.ht ...
条件随机场(CRF)相对于HMM,MEMM的优势
条件随机场(CRF)相对于HMM,MEMM的优势首先,CRF,HMM(隐马模型),MEMM(最大熵隐马模型)都常用来做序列标注的建模,像词性标注,True casing.但隐马模型一个最大的缺点就是 ...
【机器学习基础】一文读懂用于序列标注的条件随机场(CRF)模型
模型前的铺垫我们先引入一个假设,假设一个句子的产生只需要两步: 第一步:基于语法产生一个合乎文法的词性序列第二步:对第一步产生的序列中的每个词性找到符合这个词性的一个词汇,从而产生一个词汇序列,便 ...
简明条件随机场CRF介绍 | 附带纯Keras实现
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 笔者去年曾写过文章<果壳中的条件随机场(CRF In A Nutshell)>[1], ...
长文详解基于并行计算的条件随机场CRF
六月北京 | 高性能计算之GPU CUDA培训 6月22-24日三天密集式学习快速带你入门阅读全文> 正文共3974个字,29张图,预计阅读时间18分钟. 之前写过CRF的详解,只是为了让 ...
python期望输出隐藏_【归纳综述】马尔可夫、隐马尔可夫 HMM 、条件随机场 CRF 全解析及其python实现...
PR Structured Ⅲ:马尔可夫.隐马尔可夫 HMM .条件随机场 CRF 全解析及其python实现 Content 归纳性长文,不断更新中...欢迎关注收藏本章承接概率图知识马尔可夫不 ...

【ML小结14】条件随机场CRF