小白给小白详解维特比算法(二)
https://blog.csdn.net/athemeroy/article/details/79342048
本文致力于解释隐含马尔科夫模型和上一篇我们提到的篱笆网络的最短路径问题的相同点和不同点,尽量通俗易懂但是也有些必要的公式。如果你有数学恐惧症,请无视所有的“注”。我的概率论学的很烂,如果“注”里面有错误,请务必直接喷,不要留情,谢谢!
隐马尔科夫模型(HMM)和篱笆网络(神马关系)
咱先别”隐身”,先说说啥是马尔科夫模型?
隐马尔科夫模型,一听这个名字就和马尔科夫模型有着隐藏的联系。
所谓的马尔科夫模型,其实说的就是好好一个人,是怎么变来变去的(旁白:???)。比如说,一个人某一天可能轻微感冒,也可能正常,还可能重感冒(请原谅我对病不是很了解)。如果你认为这个是上天随机抛硬币决定的倒也可以,比如我们可以认为:
P(身体状态=正常)=0.7
P(身体状态=轻感冒)=0.2
P(身体状态=重感冒)=0.1
- 1
- 2
- 3
但是可能更多的,某一天的身体状态是由这个人长期以来作出来的……啊不是,是和前一天(或者N天)的身体状态变来的。比如正常可能会更大概率让第二天依然正常,而轻感冒比正常更容易让第二天表现为重感冒。
如果我们认为某一天的身体状态完全由前一天的身体状态来决定(这叫做一阶马尔科夫假设,这算是这个世界上最不负责任的10000个假设之一了,好在很多情况下这种假设还蛮好用),那么我们可以画这样一个图出来:
简单解释一下,如果某个人在昨天是轻感冒,那么在今天他有0.4的概率维持轻感冒的状态,0.4的概率病情好转,还有0.2的概率病情恶化。
Emmmm…看上去有点乱,如果只有这么三个状态还好,如果状态再多点,感觉就要眼花缭乱了!
所以通常来说,我们使用类似下面的表格来描述整个马尔科夫过程的。
这样是不是清楚多了!那么如果我们省去不必要的字,仅仅用一个矩阵来表示的话,可以这样来写(称为状态转移矩阵):
当然了,既然有一阶马尔科夫假设,当然就有二阶、三阶乃至N阶,他们都是假设今天(t时刻)的状态仅仅和前n天(t-1,t-2…t-n时刻)的状态来决定。比如如果基于二阶马尔科夫假设,某个人前天和昨天分别是重感冒、轻感冒,那么今天说不定感冒也就快好了(美好的祝愿),而今天的状态仅仅和昨天前天有关,和再往前的历史已经没什么关系了。
马尔科夫模型和篱笆网络
那么这个时候我们就可以把上一篇文章的篱笆网络弄过来了。
咱们把这幅图简单改一下,把A和E去掉(当然可以留下A,这个时候是所谓的”先验”,我们先不考虑这个),然后把节点的权重修改一下,就得到了“治病救人篱笆网络”:
“我能在河边,画上一整天的图!”纳特·帕格兴高采烈地说道。
我们很容易发现,只要把原本的节点间的距离,换成状态转移矩阵中的转移概率,我们就轻松地把“跑腿不累篱笆网络”改成了“治病救人篱笆网络”。
那你看这个时候你的老师就很容易考你了,“已知一个人2月1号重感冒,2月5号正常,告诉我他经历了哪条状态序列的概率最大!”(旁白:鬼知道他经历了什么,大概是吃了感冒药吧!)你会发现这个问题和上一篇文章的“跑腿不累篱笆网络”几乎没什么区别,如果硬要说有区别的话,既然每一天转移都是独立的,那么概率需要乘在一起(见下注),最后看谁最大,而不是“跑腿”中的简单做加法。
比如他经历了“重感冒、正常、轻感冒、重感冒、轻感冒、正常”(旁白:这个人也是体弱多病!)的概率是P=0.2×0.2×0.2×0.5×0.4=0.0016。我们可以算出所有路径的概率得到最大的那个,但是我们上一篇已经学会了维特比算法,你应该学会减少了很多路径。
注:为什么我们简单把路径上的概率乘在一起就可以呢?(一阶)马尔科夫假设事实上是这样一个东西(竖线|表示“给定,以…为条件”):image_1c6qsenns13e97qfd7k10bl1b6m9.png-1.9kB(来自维基百科),即在已经出现了前N个状态的条件下得到第N+1个状态的概率等于已经出现了第N个状态时出现第N+1个概率(所以才说“和前天无关只和昨天有关”)。而根据条件概率,我们有
P(Xn+1=轻感冒,Xn=重感冒)=P(Xn+1=轻感冒|Xn=重感冒)P(Xn=重感冒)(0)
即这个人昨天重感冒今天轻感冒的概率(联合概率)=在昨天重感冒的情况下今天轻感冒的概率(转移概率)×这个人昨天重感冒的概率。所以如果我们已知昨天这个人重感冒,那么P(Xn=重感冒)=1,这个联合概率和转移概率就相等了。
那么如果转移两天呢?比如我们已知一个人第n天重感冒,求第n+1天第n+2天分别是轻感冒、正常的概率呢?我们尝试着把公式写出来:
P(Xn+2=正常,Xn+1=轻感冒,Xn=重感冒)=(1)
P(Xn+2=重感冒|Xn+1=轻感冒,Xn=重感冒)×P(Xn+1=轻感冒,Xn=重感冒)
也就是说,这三天出现“重感冒、轻感冒、正常”的概率,等于在已知前两天分别是“重感冒、轻感冒”而最后一天“正常”的概率,乘以前两天分别“重感冒、轻感冒”的概率。而根据一阶马尔科夫假设,我们知道最后一天“正常”和第一天是什么状态并没有什么关系,仅仅和第二天的状态有关,也就意味着我们发现等式右边的第一项其实与第二天到第三天的转移概率相等:
P(Xn+2=正常|Xn+1=轻感冒,Xn=重感冒)=P(Xn+2=正常|Xn+1=轻感冒)
所以(1)式就变为了:
P(Xn+2=正常,Xn+1=轻感冒,Xn=重感冒)=
P(Xn+2=正常|Xn+1=轻感冒)×P(Xn+1=轻感冒,Xn=重感冒)
这时候再看最后一项:这个我们熟,在上面(0)呢:
P(Xn+1=轻感冒,Xn=重感冒)=P(Xn+1=轻感冒|Xn=重感冒)P(Xn=重感冒)所以最后(1)式就变为:
P(Xn+2=正常,Xn+1=轻感冒,Xn=重感冒)=
P(Xn+2=正常|Xn+1=轻感冒)P(Xn+1=轻感冒|Xn=重感冒)P(Xn=重感冒)
也就是说,如果我们知道了第一天“重感冒”的概率P(Xn=重感冒),想要得到接下来两天“轻感冒、正常”的概率,我们只需要把相应的转移概率乘在上面就可以了。所以说如果给定了马尔科夫链的状态序列,我们就从头到尾把所有的转移概率乘在一起就得到了最终这条状态序列出现的概率。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
什么是隐马尔科夫模型?
隐马尔科夫模型与篱笆网络
已知某人第一天轻感冒,第二天发烧,求第二天最可能的内在状态。
注:这里的0.4×0.2=0.08事实上是联合概率 P(Xn−1=轻感冒,Xn=轻感冒,Yn=发烧)(2)
=P(Yn=发烧|Xn−1=轻感冒,Xn=轻感冒)P(Xn−1=轻感冒,Xn=轻感冒) 而因为独立输出假设,第n天外在表现为“发烧”,仅仅和第n天内在的状态有关,和前一天的状态无关:P(Yn=发烧|Xn−1=轻感冒,Xn=轻感冒)=P(Yn=发烧|Xn=轻感冒)
所以最终(2)式就表现为 P(Xn−1=轻感冒,Xn=轻感冒,Yn=发烧)
=P(Yn=发烧|Xn=轻感冒)P(Xn−1=轻感冒,Xn=轻感冒)其中后一项我们上文已经讨论过很多次了,通过转移概率很容易计算,而前一项就是内在状态到外在表现的发射概率。
所以最后权重变成了这样:
从图上可以看出,第二天内在状态为轻感冒的概率最大(0,0.08,0.06)。
细心的小伙伴可以看出,三条路径加在一起并不等于1。的确是的,因为这个联合概率是要比原本的转移概率“多了一个条件的”,需要利用贝叶斯公式进行“归一化”的处理,但是因为我们只需要比较哪条路径的概率更大,所以我们简单的把他们乘在一起也不算什么错误。
注:理论上来讲,我们路径上标明的其实应该是“已知第一天轻感冒,在给定第二天发烧的条件下,求第二天内在状态是轻感冒的概率”所以事实上是一个条件概率:
P(Xn=轻感冒|Yn=发烧,Xn−1=轻感冒)而不单单是联合概率。根据贝叶斯公式我们有 P(Xn=轻感冒|Yn=发烧,Xn−1=轻感冒)=P(Xn−1=轻感冒,Xn=轻感冒,Yn=发烧)P(Yn=发烧,Xn−1=轻感冒)
=P(Yn=发烧|Xn−1=轻感冒,Xn=轻感冒)P(Xn−1=轻感冒,Xn=轻感冒)P(Yn=发烧,Xn−1=轻感冒)
=P(Yn=发烧|Xn=轻感冒)P(Xn−1=轻感冒,Xn=轻感冒)P(Yn=发烧,Xn−1=轻感冒) 而分数线下面的概率(归一化系数),输出仅与当天的内在状态有关,和前一天的状态无关
=P(Yn=发烧|Xn=轻感冒)P(Xn−1=轻感冒,Xn=轻感冒)P(Yn=发烧)P(Xn−1=轻感冒) 根据全概率公式
=P(Yn=发烧|Xn=轻感冒)P(Xn−1=轻感冒,Xn=轻感冒)∑XnP(Yn=发烧|Xn)P(Xn−1=轻感冒) 看得出这个归一化系数就是各条路径的和,它总是个常数。所以如果我们仅仅考虑哪条路径最大,是否归一化其实也区别不大。
同时,对于标注问题来说,隐马尔科夫模型求得的是一种生成模型,我们本身应该求的就是整条路径的联合概率,所以考虑这个问题其实没有特别大的意义。
下篇文章:
为什么说标注问题可以看做隐马尔科夫过程?
- n-gram语言模型
- 不是题外话的题外话:拼音输入法
- 标注问题
维特比算法怎么解决标注问题?
参考:
http://www.52nlp.cn/hmm-learn-best-practices-two-generating-patterns
小白给小白详解维特比算法(二)相关推荐
- 小白给小白详解维特比算法(一)
小白给小白详解维特比算法(一) 小白给小白详解维特比算法一 篱笆网络Lattice的最短路径问题 这个问题长什么样子 这个问题难在哪里 简化成这个模样你总能回答了吧 下一步我们该干什么 别倒立了我们再 ...
- python 快速排序_小白入门知识详解:Python实现快速排序的方法(含实例代码)...
前言: 今天为大家带来的内容是:小白入门知识详解:Python实现快速排序的方法(含实例代码)希望通过本文的内容能够对各位有所帮助,喜欢的话记得点赞转发收藏不迷路哦!!! 提示: 这篇文章主要介绍了P ...
- 史上最小白之BM25详解与实现
史上最小白之BM25详解与实现 原理 BM25算法是一种计算句子与文档相关性的算法,它的原理十分简单:将输入的句子sentence进行分词,然后分别计算句子中每个词word与文档doc的相关度,然后进 ...
- 史上最小白之Transformer详解
1.前言 博客分为上下两篇,您现在阅读的是下篇史上最小白之Transformer详解,在阅读该篇博客之前最好你能够先明白Encoder-Decoder,Attention机制,self-Attenti ...
- MySQL安装详细教程(小白式安装详解)
MySQL安装详细教程(小白式安装详解) 1.下载地址 1.1地址 https://dev.mysql.com/downloads/mysql/ 下载链接 1.2下载版本 2.安装配置 2.1路径(路 ...
- 【算法知识】详解希尔排序算法
前言 已发布: [算法知识]详解选择冒泡算法 [算法知识]详解选择排序算法 [算法知识]详解插入排序算法 当待插入元素是一个很小(当需求是从小到大排序时,从大到小排序时此处为很大)直接插入排序需要移动 ...
- 【算法知识】详解直接插入排序算法
前言 已发布: [算法知识]详解选择冒泡算法 [算法知识]详解选择排序算法 在玩扑克牌的时候,我们抽到一张牌的时候,都是将它插入到当前手中牌的合适位置的. 如下图: (上图来自算法导论) 直接插入排序 ...
- 算法详解_常用算法详解——打印杨辉三角形
杨辉三角,是二项式系数在三角形中的一种几何排列.在中国南宋数学家杨辉1261年所著的<详解九章算法>一书中出现.在欧洲,这个表叫做帕斯卡三角形.帕斯卡(1623----1662)是在165 ...
- 最形象的卷积神经网络详解:从算法思想到编程实现(转载)
mark一下,感谢作者分享! 原标题:最形象的卷积神经网络详解:从算法思想到编程实现 1 新智元推荐 查看全文 http://www.taodudu.cc/news/show-4611564.html ...
最新文章
- php调用C代码的方法详解
- 作用域和闭包的通俗理解
- 关于STM32使用RTC时复位后程序死在 RTC
- Happy Necklace dp 递推 矩阵快速幂
- Date和TimeZone的关系
- vscode 新建php模板,使用vscode快速建立vue模板
- How to custom RedHat DVD
- JDK源码解析之 Java.lang.Object
- linux mysql 没有密码忘记,在linux系统中,如果忘记了MySQL的root密码,有没有办法重新设置新密码呢?...
- [排版题] 例4.2 叠框
- 中国医科大学计算机应用基础本科在线作业,中国医科大学《计算机应用基础(本科)》在线作业.docx...
- css3 页面翻转效果.
- 在Linux上安装IDA的命令,Linux安装IDA神器
- Mac 连过的 WiFi 怎么查密码?看这→
- 五个最佳编程文本编辑器
- python脚本-fence栅栏密码
- 基于《女士品茶》分享统计学中假设检验的那些知识和应用
- iconpath 微信小程序_微信小程序 底部导航栏
- 通道布线 matlab程序,快速最优通道布线算法
- linux 的 绘画软件,Drawing Linux(简单画图工具)