马尔科夫、最大熵、条件随机场

https://www.toutiao.com/a6687531170395062792/

马尔科夫模型

对于某个系统包含了n个有限状态，某个状态随着时刻推移而转移到另一个状态。如果t时刻状态与前面m个时刻相关则称为m阶马尔科夫链，即马尔可夫过程是一个随机过程，系统从一个状态到另外一个状态存在转移概率，而转移概率通过前m个状态来计算出来。这就是马尔科夫模型，即MM，也可认为是随机有限状态自动机。

马尔科夫模型例子

根据 ‘the quick brown fox jumps over the lazy dog’这句话，要得到马尔科夫链，先给每一个单词设定成一个状态，然后计算状态间转换的概率。

当用大量文本去做统计的时候，会得到更大的状态转移矩阵，例如 the 后面可以连接的单词，及相应的概率

隐马尔科夫模型

马尔科夫模型能处理直接观察的序列的概率问题，通过马尔科夫假设能建立起马尔科夫链，从而解决一些序列问题。但有时候观察的对象并不是我们待处理的目标对象，它的规律隐含在观察对象中，观察的事件和隐含事件存在一定的相关关系，这时候就要用到隐马尔科夫模型，即HMM。

实际上隐马尔科夫模型是一个双重随机过程，过程中包含状态序列和观察序列。第一重随机过程是状态经过随机转移生成状态序列，而第二重随机过程则是根据状态序列随机转移生成观察序列。

HMM重要假设

齐次马尔科夫性假设，即任意时刻t的状态只依赖于前一时刻的状态，与其他时刻的状态及观测序列无关。
观测独立性假设，即任意时刻t的观测只依赖于该时刻状态，与其他时刻的观测和状态无关。
不动性假设，即状态与具体的时间无关。

最大熵模型

最大熵模型是一种根据熵来确定的模型，最大熵模型认为在所有可能的概率模型中熵最大模型是最好的。也就是说我们只掌握未知分布的部分信息，而契合已知分布的有多个，然后通过熵最大来确定分布。

事件发生的概率只要满足所有已知约束，并且不对任何未知信息做假设，对未来做等概率处理。熵最大时，系统的不确定性最大。

最大熵马尔科夫模型

隐马尔科夫模型中存在观察独立性假设，也就是任意时刻的观察只依赖于该时刻的状态，与其它时刻的观察和状态无关。但很多场景中我们需要将观察的特征考虑进去，即认为某个时刻的状态取决于前一时刻状态和当前时刻的观察。而如果再使用最大熵模型来学习这些条件概率，则此为最大熵马尔科夫模型。

每个时刻的条件概率如下，其中Z用于归一化，lambda为每个特征函数的权重参数，f为特征函数，根据实际情况可以定义很多特征函数的。

条件随机场

对于序列的处理，如果既想要考虑观察与状态之间的特征，也要考虑前后状态之间的特性，则会考虑条件随机场，更具体的是线性条件随机场。条件随机场摒弃了隐马尔科夫中的齐次马尔科夫性假设和观测独立性假设，模型更加复杂，但能学习到更多特征。

条件随机场引入了特征函数，在实际使用中我们可以定义很多个特征函数，包括各种状态的特征和观察的特征。

如果再加上归一化，最终条件随机场的条件概率为，

条件随机场的训练与隐马尔科夫模型的训练不同，隐马尔科夫模型是对各类条件概率进行建模，而条件随机场是从整体去拟合函数，可以采用极大似然估计法。

马尔科夫、最大熵、条件随机场相关推荐

标记偏置隐马尔科夫最大熵马尔科夫 HMM MEMM
转载自:http://blog.csdn.net/xum2008/article/details/38147425 隐马尔科夫模型(HMM): 图1. 隐马尔科夫模型隐马尔科夫模型的缺点: 1.HM ...
马尔科夫随机场的基本概念
1.随机过程: 描写叙述某个空间上粒子的随机运动过程的一种方法. 它是一连串随机事件动态关系的定量描写叙述. 随机过程与其他数学分支,如微分方程.复变函数等有密切联系.是自然科学.project科学及 ...
【转】贝叶斯网络+马尔科夫毯简介
原文地址:http://blog.csdn.net/memory513773348/article/details/16973807 简介贝叶斯网络(Bayesian network),又称信念网络 ...
【深度学习】最大熵马尔科夫、CRF、条件随机场、最大匹配法
文章目录一最大熵马尔科夫和CRF 二条件随机场三最大匹配法 1 来源 2 正向最大匹配法逆向最大匹配法双向最大匹配法一最大熵马尔科夫和CRF 最大熵模型(MaxEnt):指的是多元逻 ...
条件随机场（CRF）和隐马尔科夫模型（HMM）最大区别在哪里？CRF的全局最优体现在哪里？
作者:尔总的马甲链接:https://www.zhihu.com/question/53458773/answer/554436625 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商 ...
NLP复习资料(3)-六~七章：马尔科夫模型与条件随机场、词法分析与词性标注
NLP复习资料 1.第六章马尔科夫模型与条件随机场 2.第七章词法分析与词性标注国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 1.第六章马尔科夫模型与条件随机场 ...
大道至简 —— 条件随机场与逻辑回归、隐马尔科夫模型的比较
前言大道至简 -- 白话条件随机场Conditional Random Fields 上一节我们讲到,为了建一个条件随机场,我们首先要定义一个特征函数集,每个特征函数都以整个句子,当前位置,位置和的 ...
MRF，马尔科夫随机场
之前自己做实验也用过MRF(Markov Random Filed,马尔科夫随机场),基本原理理解,但是很多细节的地方都不求甚解.恰好趁学习PGM的时间,整理一下在机器视觉与图像分析领域的MRF的相关 ...
马尔科夫随机场Markov Random Field
马尔可夫随机场,描述了具有某种特性的集合.拿种地打比方,如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关,与其它地方的庄稼的种类无关,那么这些地里种的庄稼的集合,就是一个马尔可夫随机 ...

马尔科夫、最大熵、条件随机场

马尔科夫、最大熵、条件随机场相关推荐

最新文章

热门文章