作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

阅读本文之前，首先注意以下两点：

1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。

2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：HMM第一讲，本文主要从隐马尔科夫模型背景、定义、两大假设和三个问题来理解HMM。

一、初识HMM

先从整体角度认识一下隐马尔科夫模型HMM，如下图所示，HMM是一种加了时序信息的概率图模型，并且是混合模型。HMM和高斯混合模型GMM有两个明显的区别，其一是HMM含有时序信息，其二是HMM模型状态变量之间非独立的，而GMM的状态变量间是相互独立的。HMM、Kalman Filter和Particle Filter都属于时序混合概率图模型，但HMM状态变量是离散的，Kalman Filter和Particle Filter的状态变量是连续的，且Kalman Filter是线性的，而Particle Filter是非线性的。

二、HMM定义

隐马尔可夫模型描述的是由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型，常应用在标注问题、语音识别等领域。首先明确一下马尔科夫的定义：

1．状态集合ZZZ

2．观测集合XXX

3．状态转移概率矩阵AAA

4．观测概率矩阵BBB

5．初始状态概率π\piπ

观测变量：

状态变量：

AAA表示状态转移概率矩阵、BBB表示观测概率矩阵、π\piπ表示初始状态概率向量

隐马尔科夫概率图如下所示：

三、HMM两个重要假设

1．齐次马尔可夫假设：隐藏的马尔可夫链在任意时刻的状态只依赖于前一时刻的状态，与其他状态以及观测序列无关

2．观测独立假设：任意时刻的观测只依赖于当前时刻隐马尔可夫链的状态，与其他观测和状态无关

四、HMM三大问题

1．Evaluation问题：已知参数λ=(π,A,B)\lambda=(\pi,A,B)λ=(π,A,B)，输出观测序列OOO的概率p(O∣λ)p(O|\lambda)p(O∣λ)有多大

解决算法：前向算法、后向算法

2．Learning问题：参数估计问题，即如何求解参数λ=(π,A,B)\lambda=(\pi,A,B)λ=(π,A,B)，使用EM算法求解

3．Decoding问题：已知观测序列XXX，求解使得p(Z∣X)p(Z|X)p(Z∣X)最大的隐状态序列ZZZ，公式表示为：

从而可引申出两个问题，预测问题：p(it+1∣o1,o2,...,ot)p(i_{t+1}|o_1,o_2,...,o_t)p(it+1∣o1,o2,...,ot)；滤波问题：p(it∣o1,o2,...,ot)p(i_{t}|o_1,o_2,...,o_t)p(it∣o1,o2,...,ot)

三、往期精彩

【知识图谱系列】Over-Smoothing 2020综述

【知识图谱系列】基于生成式的知识图谱预训练模型

【知识图谱系列】基于2D卷积的知识图谱嵌入

【知识图谱系列】基于实数或复数空间的知识图谱嵌入

【知识图谱系列】自适应深度和广度图神经网络模型

【知识图谱系列】知识图谱多跳推理之强化学习

【知识图谱系列】知识图谱的神经符号逻辑推理

【知识图谱系列】动态时序知识图谱EvolveGCN

【知识图谱系列】多关系神经网络CompGCN

【知识图谱系列】探索DeepGNN中Over-Smoothing问题

【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读

【面经系列】八位硕博大佬的字节之旅

【机器学习系列】机器学习中的两大学派

各大AI研究院共35场NLP算法岗面经奉上

干货 | Attention注意力机制超全综述

干货 | NLP中的十个预训练模型

干货|一文弄懂机器学习中偏差和方差

FastText原理和文本分类实战，看这一篇就够了

Transformer模型细节理解及Tensorflow实现

GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递

机器学习算法篇：最大似然估计证明最小二乘法合理性

Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码

原稿获取请关注公众号后回复：HMM第一讲 ，原创不易，有用就点个赞呀！

【机器学习系列】隐马尔科夫模型第一讲：通俗易懂概述HMM相关推荐

机器学习-- ＞隐马尔科夫模型(HMM)
博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习.深度学习.数据挖掘.自然语言处理等高质量论文,欢迎关注! 本篇博文将详细总结隐马模型相关知识,理解该模型有 ...
【NLP | 机器学习】隐马尔科夫模型与代码实现
1.马尔科夫模型.马尔科夫网络.马尔科夫过程.贝叶斯网络的区别前提条件:将随机变量作为节点,若两个随机变量相关或不独立,则将二者连接一条边:若给定的若干个随机变量,则构成一个有向图若该 ...
隐马尔科夫模型c#语言算法实现,HMM学习最佳范例四：隐马尔科夫模型
四.隐马尔科夫模型(Hidden Markov Models) 1.定义(Definition of a hidden Markov model) 一个隐马尔科夫模型是一个三元组(pi, A, B). ...
【火炉炼AI】机器学习044-创建隐马尔科夫模型
[火炉炼AI]机器学习044-创建隐马尔科夫模型 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2 ...
10_隐马尔科夫模型HMM1_统计学习方法
文章目录一.几个基本概念 1.隐马尔可夫模型 2.马尔科夫链 3.随机过程 4.马尔科夫性质二.隐马尔科夫模型 1.隐马尔科夫模型的引入 2.隐马尔科夫模型定义 3.隐马尔科夫模型的两个假设 4. ...
隐马尔科夫模型 HMM 与语音识别 speech recognition (1)：名词解释
0.引言想在 CSDN 上看一下隐马尔科夫模型,简称HMM(Hidden Markov Model)的例子,找了几篇博文,却发现大部分都是转载的,转载的还没有出处,文中的表述与逻辑也看的人晕头转向, ...
Python语音基础操作--10.2隐马尔科夫模型的孤立字识别
<语音信号处理试验教程>(梁瑞宇等)的代码主要是Matlab实现的,现在Python比较热门,所以把这个项目大部分内容写成了Python实现,大部分是手动写的.使用CSDN博客查看帮助文件 ...
学习笔记四：HMM（隐马尔科夫模型）
第四章 HMM 1.隐马尔科夫模型的基本概念引入例子:天气和冰激凌问题想象你是2799年的气候学家,正在研究全球变暖的历史你无法找到任何关于北京2020年夏天的天气记录但你找到了小米的日记本 ...
大道至简 —— 条件随机场与逻辑回归、隐马尔科夫模型的比较
前言大道至简 -- 白话条件随机场Conditional Random Fields 上一节我们讲到,为了建一个条件随机场,我们首先要定义一个特征函数集,每个特征函数都以整个句子,当前位置,位置和的 ...
隐马尔科夫模型(Hidden Markov Models) 系列之五
隐马尔科夫模型(Hidden Markov Models) 系列之五介绍(introduction) 生成模式(Generating Patterns) 隐含模式(Hidden Patterns) ...

【机器学习系列】隐马尔科夫模型第一讲：通俗易懂概述HMM