隐马尔科夫模型（HMM）
目录
1.隐马尔科夫模型求解步骤（其它大部分模型也均遵循如下路径）
2. HMM定义
2.1 HMM的两个基本性质
2.2 HMM的确定
3. HMM的三个基本问题
3.1 概率计算问题
3.1.1直接计算（暴力算法）
3.1.2前向算法和后向算法
3.2 参数估计/学习
3.2.1若训练数据包括观测序列和状态序列，则HMM的学习非常简单，是监督学习
3.2.2若训练数据只有观测序列，则HMM的学习需要使用EM算法，是非监督学习
3.3 模型的预测
3.3.1预测的近似算法
3.3.2 Viterbi算法
4. HMM的应用——中文分词
5. HMM总结
6.GMHMM
7. 参考文献
隐马尔科夫模型，Hidden Markov Model，缩写HMM
1.隐马尔科夫模型求解步骤（其它大部分模型也均遵循如下路径）
概率计算
参数估计
模型预测
这里以logistic回归为例，具体说一下以上三个过程
2. HMM定义
（1）隐马尔科夫模型可用于标注问题，在语音识别，NLP，生物信息，模式识别等领域被实践证明是有效的算法。
（2）HMM是关于时序的概率模型，描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。
（3）隐马尔科夫模型随机生成的状态随机序列，称为状态序列；每个状态生成的一个观测，由此产生的观测随机序列，称为观测序列。
序列的每个位置可看作是一个时刻。
其中，在z1，z2不可观察的前提下，x1和z2不独立，x1和x2也不独立，即观测序列x1，x2，……xn是结构化的。结构化的空间连续或时间连续的数据，就可以尝试使用HMM。
2.1 HMM的两个基本性质
假设状态序列为： ，观测序列为
2.2 HMM的确定
HMM可以用三元符号表示，称为HMM三要素：
3. HMM的三个基本问题
3.1 概率计算问题
3.1.1直接计算（暴力算法）
3.1.2前向算法和后向算法
定义前向概率——后项概率
（1）前向算法
（2）后向算法
（3）前向后向概率的关系
单个状态的概率
两个状态的联合概率
3.2 参数估计/学习
3.2.1若训练数据包括观测序列和状态序列，则HMM的学习非常简单，是监督学习
大数定理
假设已给定训练数据包含S个长度相同的观测序列和对应的状态序列{(O1,I1), (O2,I2), ……(O3,I3)}, 那么可以直接利用Bernoulli大数定理的结论“频率的极限是概率”，给出HMM的参数估计。
3.2.2若训练数据只有观测序列，则HMM的学习需要使用EM算法，是非监督学习
3.3 模型的预测
求出参数λ ，有观测值o，求隐变量。
3.3.1预测的近似算法
3.3.2 Viterbi算法
Viterbi算法实际是用动态规划解HMM预测问题，用DP求概率最大的路径（最优路径），这是一条路径对应一个状态序列。
定义变量δt(i) :在时刻t状态为i的所有路径中，概率的最大值。
4. HMM的应用——中文分词
状态序列{Begin, Middle, End, single}, 表示的意思分别是一个词的开始，中间，结束，但字成词。
观测序列{0,1,2,……65535}表示共有0——65535个字
可以用如下已经分词好的文章，计算λ=(π,A,B) , 训练数据包括观测序列和状态序列,用大数定理计算参数
注意1：防止概率越乘越小，导致下溢出，故使用对数来解决这个问题
初始概率： ，同理，转移概率和观测概率也均需求对数。
以上可叫做对数正则。
注意2: Pi 只要统计一句话的第一个字。且一句话的第一个字肯定不是Middle 和 End，只有可能是Begin 和single。
5. HMM总结
(1)马尔科夫模型可以用来同意解释贪心法和动态规划
(2)HMM解决标注问题，在语音识别，NLP，生物信息，模式识别等领域被广泛应用。
思考：可否使用深度学习代替HMM
思考：如果观测状态是连续值，可否将多项分布改成高斯分布或者混合高斯分布。
(3) HMM是一个生成模型
6.GMHMM
HMM要求和状态序列是离散的，观测值不要求是离散，若观测值连续，且符合高斯分布，则——>高斯分布隐马尔科夫模型。
7. 参考文献
隐马尔科夫模型（HMM）相关推荐
- 隐马尔科夫模型HMM自学 （3）
Viterbi Algorithm 本来想明天再把后面的部分写好,可是睡觉今天是节日呢?一时情不自禁就有打开电脑.......... 找到可能性最大的隐含状态序列 崔晓源 翻译 多数情况下,我们都希望 ...
- 隐马尔科夫模型HMM自学 （2）
HMM 定义 崔晓源 翻译 HMM是一个三元组 (,A,B). the vector of the initial state probabilities; the state transitio ...
- 隐马尔科夫模型HMM自学（1）
介绍 崔晓源 翻译 我们通常都习惯寻找一个事物在一段时间里的变化规律.在很多领域我们都希望找到这个规律,比如计算机中的指令顺序,句子中的词顺序和语音中的词顺序等等.一个最适用的例子就是天气的预测. 首 ...
- 【NLP】用于语音识别、分词的隐马尔科夫模型HMM
大家好,今天介绍自然语言处理中经典的隐马尔科夫模型(HMM).HMM早期在语音识别.分词等序列标注问题中有着广泛的应用. 了解HMM的基础原理以及应用,对于了解NLP处理问题的基本思想和技术发展脉络有 ...
- python地图匹配_基于隐马尔科夫模型(HMM)的地图匹配(Map-Matching)算法
1. 摘要 本篇博客简单介绍下用隐马尔科夫模型(Hidden Markov Model, HMM)来解决地图匹配(Map-Matching)问题.转载请注明网址. 2. Map-Matching(MM ...
- 隐马尔科夫模型 HMM 与 语音识别 speech recognition (1)：名词解释
0.引言 想在 CSDN 上看一下隐马尔科夫模型,简称HMM(Hidden Markov Model)的例子,找了几篇博文,却发现大部分都是转载的,转载的还没有出处,文中的表述与逻辑也看的人晕头转向, ...
- 隐马尔科夫模型HMM（三）鲍姆-韦尔奇算法求解HMM参数
在本篇我们会讨论HMM模型参数求解的问题,这个问题在HMM三个问题里算是最复杂的.在研究这个问题之前,建议先阅读这个系列的前两篇以熟悉HMM模型和HMM的前向后向算法,以及EM算法原理总结,这些在本篇 ...
- 一、隐马尔科夫模型HMM
隐马尔科夫模型HMM(一)HMM模型基础 隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理,模式识别等领域得到广泛的应用. ...
- 隐马尔科夫模型 (HMM) 算法介绍及代码实现
Table of Contents Hidden Markov Model (隐马尔科夫模型) 定义 基本问题 前向算法 算法流程 实现代码 后向算法 算法流程 实现代码 Viterbi算法 算法流程 ...
- 隐马尔科夫模型(HMM)择时应用的量化策略
HMM模型 隐马尔科夫模型(HMM)择时应用的量化策略. 仅为研究学习使用, 不作为任何投资策略建议. 文章内容从各处整理汇总而成, 感谢各位大神分享. 具体策略代码均调试通过. 一.从大奖章讲起 ...
最新文章
- 使用密钥验证方式登录linux系统
- linux交换空间使用率,linux编程系统中交换空间的使用情况
- 通过options探测服务器信息,OPTIONS 方法在跨域请求（CORS）中的应用
- 常用的汇编系统功能指令（包含字符功能类，中断终止类）
- oracle中scn（系统改变号）
- 常用adb shell 命令
- 红帽考试环境之RHCSA
- Liquibase修改表字段
- 谷歌开发者版和beta版_Google工具栏Beta，工具栏API和ComputerZen Google工具栏按钮
- 上海南京路步行街向全球征集标识Logo及吉祥物设计
- PHP加密平台,在线加密sg11，混淆，Leave，EnPHPV2等
- 规划Autovue的安装
- BottomNavigationBar+viewpager底部导航切换,出现 Fragment already added
- 生僻字html乱码,Tomcat 5.5.X及以上版本的生僻字乱码解决办法
- 对vue与angular和react的对比
- [参文]GCN+交通
- centos 关于logrotate的使用
- SCI期刊写作必备（二）：代码｜手把手绘制目标检测领域YOLO论文常见的性能对比折线图，一键生成YOLOv7等主流论文同款图表，包含多种不同功能风格对比图表
- 自己写的团购网注水程序（仅供参考）来自：机敏的山猫
- 微信小程序-实现上下、左右布局