作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

阅读本文之前，首先注意以下两点：

1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。

2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：HMM第三讲，本文详细推导使用EM算法求解隐马尔科夫模型Learning问题。

隐马尔科夫模型Learning问题：属于参数估计问题，即如何求解参数λ=(π,A,B)\lambda=(\pi,A,B)λ=(π,A,B)，使用EM算法求解。

首先，回顾一下EM算法的优化公式：

在本节中观测变量用OOO替代XXX，状态序列即隐变量用III替代ZZZ，并且隐变量用III是离散的，参数则用λ\lambdaλ替代θ\thetaθ，因此隐马尔科夫模型Learning问题优化公式为：

因为：

其中观测序列OOO已知，并且λt\lambda^tλt是一个常数，所以p(O,λt)p(O,\lambda^t)p(O,λt)是个已知常数，所以隐马尔科夫模型Learning问题优化公式可简化为：

这里再明确一下需要求解的参数λt+1\lambda^{t+1}λt+1

根据上一节的计算可知：

将p(O,I∣λt)p(O,I|\lambda^t)p(O,I∣λt)代入优化公式，这里令优化公式为：

为求解参数λ\lambdaλ，需要依次求解出λ=(π,A,B)\lambda=(\pi,A,B)λ=(π,A,B)三个参数，这里以参数π\piπ求解为例，参数A,BA,BA,B的求解方式类似，因此：

显然，上面是带有约束条件的优化问题，可以使用拉格朗日乘子法进行求解：

因此：

将η\etaη带回可以求得πit+1\pi_i^{t+1}πit+1值为

因此：

至此边求得了πt+1\pi^{t+1}πt+1，接下来便可使用EM算法求解出最优的参数π\piπ，同理可求解参数A,BA,BA,B

往期精彩

【知识图谱系列】Over-Smoothing 2020综述

【知识图谱系列】基于生成式的知识图谱预训练模型

【知识图谱系列】基于2D卷积的知识图谱嵌入

【知识图谱系列】基于实数或复数空间的知识图谱嵌入

【知识图谱系列】自适应深度和广度图神经网络模型

【知识图谱系列】知识图谱多跳推理之强化学习

【知识图谱系列】知识图谱的神经符号逻辑推理

【知识图谱系列】动态时序知识图谱EvolveGCN

【知识图谱系列】多关系神经网络CompGCN

【知识图谱系列】探索DeepGNN中Over-Smoothing问题

【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读

【面经系列】八位硕博大佬的字节之旅

【机器学习系列】机器学习中的两大学派

各大AI研究院共35场NLP算法岗面经奉上

干货 | Attention注意力机制超全综述

干货 | NLP中的十个预训练模型

干货|一文弄懂机器学习中偏差和方差

FastText原理和文本分类实战，看这一篇就够了

Transformer模型细节理解及Tensorflow实现

GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递

机器学习算法篇：最大似然估计证明最小二乘法合理性

Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码

原稿获取请关注公众号后回复：HMM第三讲 ，原创不易，有用就点个赞呀！

【机器学习系列】隐马尔科夫模型第三讲：EM算法求解HMM参数相关推荐

机器学习-- ＞隐马尔科夫模型(HMM)
博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习.深度学习.数据挖掘.自然语言处理等高质量论文,欢迎关注! 本篇博文将详细总结隐马模型相关知识,理解该模型有 ...
【NLP | 机器学习】隐马尔科夫模型与代码实现
1.马尔科夫模型.马尔科夫网络.马尔科夫过程.贝叶斯网络的区别前提条件:将随机变量作为节点,若两个随机变量相关或不独立,则将二者连接一条边:若给定的若干个随机变量,则构成一个有向图若该 ...
HMM学习笔记2 隐马尔科夫模型与前向算法
一序本系列文章摘自 52nlp(我爱自然语言处理: http://www.52nlp.cn/),原文链接在 HMM 学习最佳范例,有大佬做了二次整理,参见:https://blog.csdn.ne ...
隐马尔科夫模型和维特比算法
隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程.其难点是从可观察的参数中确定该过程的隐含参数.然后利用这些参数来作进一步的分析 ...
20200918：【广发金融工程】2018年重磅专题系列之九：基于隐马尔科夫模型的选股策略研究
参考链接:https://www.sohu.com/a/252454782_465470 [广发金融工程]2018年重磅专题系列之九:基于隐马尔科夫模型的选股策略研究 2018-09-07 11:26 ...
中文分词与马尔科夫模型之二：隐马尔科夫模型与维特比
转载自:http://blog.sina.com.cn/s/blog_68ffc7a40100uebv.html 前面一篇博客讲到了中文分词的机械分词算法,这种算法实现相对比较简单,但是分词效果还是有 ...
从零开始学NLP（八）隐马尔科夫模型（超详细）
目录前言一.HMM基础二.HMM定义三.HMM的三个基本问题 1.概率计算问题 2. 学习问题 3.预测问题四.HMM中的参数估计 1.前向算法 2.后向算法五.HMM实例总结前言上 ...
隐马尔科夫模型HMM之前后向算法Python代码实现，包括2个优化版本
☕️ 本文系列文章汇总: (1)HMM开篇:基本概念和几个要素 (2)HMM计算问题:前后向算法 (3)HMM学习问题:Baum-Welch算法 (4) HMM预测问题:维特比算法本篇算法原理分析 ...
隐马尔科夫模型（HMM）笔记（公式+代码）
文章目录 1. 基本概念 1.1 HMM模型定义 1.2 盒子和球模型 1.3 观测序列生成过程 1.4 HMM模型3个基本问题 2. 概率计算问题 2.1 直接计算法 2.2 前向算法 2.2.1 ...
10_隐马尔科夫模型HMM2_统计学习方法
文章目录四.学习算法 1.监督学习方法 2.非监督学习方法(Baum-Welch算法) 五.预测算法 1.近似算法 2.维特比算法 (1)最优路径特性 (2)两个变量 (3)维特比算法流程隐马尔科 ...

【机器学习系列】隐马尔科夫模型第三讲：EM算法求解HMM参数

往期精彩

【机器学习系列】隐马尔科夫模型第三讲：EM算法求解HMM参数相关推荐

最新文章

热门文章