李航-HMM-直接计算法

第10章,隐马尔可夫模型(相关的python开源包是hmmlearn)
本章结构:

隐马尔可夫模型相关内容={概率计算方法={直接计算法(计算量过大)前向算法后向算法学习算法={监督学习方法Bsum−Welch算法预测算法={近似算法维特比算法隐马尔可夫模型相关内容=\left\{ \begin{aligned} {概率计算方法=\left\{ \begin{aligned} 直接计算法(计算量过大) \\ 前向算法 \\ 后向算法 \end{aligned} \right.} \\ {学习算法=\left\{ \begin{aligned} 监督学习方法 \\ Bsum-Welch算法\\ \end{aligned} \right.} \\ {预测算法=\left\{ \begin{aligned} 近似算法 \\ 维特比算法 \\ \end{aligned} \right.} \end{aligned} \right.隐马尔可夫模型相关内容=⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧概率计算方法=⎩⎪⎨⎪⎧直接计算法(计算量过大)前向算法后向算法学习算法={监督学习方法Bsum−Welch算法预测算法={近似算法维特比算法

上述的三个小括号分别用来解决隐马尔科夫模型的三个问题:
(1)概率计算问题
(2)学习问题
(3)预测问题

书上的例子为:

|盒子|1 | 2 |3|4|
|–|--|–|--|
|红球数| 5 | 3 | 6 |8|
|白球数| 5 | 7 | 4 |2|
状态集合:
Q={盒子1,盒子2,盒子3,盒子4}

观测集合:
V={红,白}

初始概率分布π\piπ=(0.25,0.25,0.25,0.25)T(0.25,0.25,0.25,0.25)^T(0.25,0.25,0.25,0.25)T

状态转移概率分布:

A=[01000.400.6000.400.6000.50.5]A= \begin{bmatrix} 0 & 1 & 0&0 \\ 0.4 & 0 & 0.6&0 \\ 0&0.4&0&0.6\\ 0&0&0.5&0.5 \end{bmatrix} A=⎣⎢⎢⎡00.400100.4000.600.5000.60.5⎦⎥⎥⎤

观测概率:
B=[0.50.50.30.70.60.40.80.2]B= \begin{bmatrix} 0.5 & 0.5\\ 0.3 & 0.7 \\ 0.6&0.4\\ 0.8&0.2 \end{bmatrix} B=⎣⎢⎢⎡0.50.30.60.80.50.70.40.2⎦⎥⎥⎤
观测概率矩阵第一列的意思就是每个盒子能观察到多少红色球.

#概率计算问题

10.2.1直接计算法

模型λ=(A,B,π)\lambda=(A,B,\pi)λ=(A,B,π)
"想要的"的观测序列:O=(o1,o2,⋅⋅⋅,oT)O=(o_1,o_2,···,o_T)O=(o1,o2,⋅⋅⋅,oT)
根据模型判断上述观测序列出现的概率P(O∣λ)P(O|\lambda)P(O∣λ)

P(I∣λ)=πi1⋅αi1i2⋅αi2i3⋅⋅⋅αiT−1iTP(I|\lambda)=\pi_{i_1}·\alpha_{i_1i_2}·\alpha_{i_2i_3}···\alpha_{i_{T-1}i_T}P(I∣λ)=πi1⋅αi1i2⋅αi2i3⋅⋅⋅αiT−1iT
这里的πi1\pi_{i_1}πi1指的是你在"初始概率分布π\piπ"序列中的第i1i_1i1个状态.

####然后是书上原话(start)#####################
对于固定的状态序列I=(i1,i2,⋅⋅⋅,iT)I=(i_1,i_2,···,i_T)I=(i1,i2,⋅⋅⋅,iT),观测序列O=(o1,o2,⋅⋅⋅,oT)O=(o_1,o_2,···,o_T)O=(o1,o2,⋅⋅⋅,oT)的概率是
P(O∣I,λ)=bi1(o1)bi2(o2)⋅⋅⋅biT(oT)P(O|I,\lambda)=b_{i_1}(o_1)b_{i_2}(o_2)···b_{i_T}(o_T)P(O∣I,λ)=bi1(o1)bi2(o2)⋅⋅⋅biT(oT)

这个说法很拗口,这个"固定的状态序列"是啥意思?
也就是说整个隐马尔科夫转移过程还没发生,自己YY了一个状态转移序列,想知道这种序列发生的可能性.

上面提到的"观测序列"的意思是:我想要的"这个盒子之间跳转来、跳转去的序列I"输入这个模型λ\lambdaλ以后,出来我想要的"球颜色序列O"的概率多大
这里的I:input
这里的O:output
#######然后是书上原话(end)###################

O和I同时出现的联合概率是:
P(O,I∣λ)P(O,I|\lambda)P(O,I∣λ)
=P(O∣I,λ)⋅P(I∣λ)=P(O|I,\lambda)·P(I|\lambda)=P(O∣I,λ)⋅P(I∣λ)
=πi1bi1(o1)ai1i2⋅bi2(o2)⋅⋅⋅aiT−1iTbiT(oT)=\pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}·b_{i_2}(o_2)···a_{i_{T-1}i_T} b_{i_T}(o_T)=πi1bi1(o1)ai1i2⋅bi2(o2)⋅⋅⋅aiT−1iTbiT(oT)

因为目标是P(O∣λ)P(O|\lambda)P(O∣λ)
P(O∣λ)=∑IP(O∣I,λ)P(I∣λ)P(O|\lambda)=\sum_{I}P(O|I,\lambda)P(I|\lambda)P(O∣λ)=I∑P(O∣I,λ)P(I∣λ)
=∑i1,i2,⋅⋅⋅,iTπi1bi1(o1)ai1i2⋅bi2(o2)⋅⋅⋅aiT−1iTbiT(oT)=\sum_{i_1,i_2,···,i_T}\pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}·b_{i_2}(o_2)···a_{i_{T-1}i_T} b_{i_T}(o_T)=i1,i2,⋅⋅⋅,iT∑πi1bi1(o1)ai1i2⋅bi2(o2)⋅⋅⋅aiT−1iTbiT(oT)

上面的东西呢,没啥用(因为计算复杂度太高),但是呢,还是要缕清楚,因为这样就知道这个"概率计算算法"是干嘛的了,也就是说:
给个模型,输入个序列(盒子状态序列),出来想要的序列(球颜色序列)概率是多少.

为了收拾这个烂摊子呢,出来了"前向算法"和"后向算法",注意,这两个算法和神经网络中的前向传输、后向传输没有任何关系.

#概率计算问题(完)

李航-HMM-直接计算法相关推荐

李航《统计学习方法》之HMM隐马尔可夫模型
李航<统计学习方法>之HMM隐马尔可夫模型文章目录前言一.基本概念 1.语言描述: 2.符号表示 3.基本假设 4.例子 5.隐马尔可夫模型解决的三个基本问题二.概率计算算法 1. ...
李航《统计学习方法》第2版第10章 HMM实现分词（代码实现）
利用HMM模型实现分词: 四种状态: B:词语的开头 M:一个词语的中间词 E:一个词语的结果 S:非词语,单个词学习:Baum-Welch算法预测:维特比算法数据集:人民日报1998年中文标注 ...
viterbi维特比算法和隐马尔可夫模型(HMM)
阅读目录隐马尔可夫模型(HMM) 回到目录隐马尔可夫模型(HMM) 原文地址:http://www.cnblogs.com/jacklu/p/7753471.html 本文结合了王晓刚老师的ENG ...
《统计学习方法》(李航)读书笔记(转)
<统计学习方法>(李航)读书笔记(转) http://www.cnblogs.com/limitlessun/p/8611103.html#_label4 阅读目录知识点感知机 k近邻 ...
隐马尔科夫模型（HMM）笔记（公式+代码）
文章目录 1. 基本概念 1.1 HMM模型定义 1.2 盒子和球模型 1.3 观测序列生成过程 1.4 HMM模型3个基本问题 2. 概率计算问题 2.1 直接计算法 2.2 前向算法 2.2.1 ...
《统计学习方法》(李航)读书笔记(完结)超级火爆的总结
阅读目录知识点感知机 k近邻法朴素贝叶斯决策树 logistic回归和最大熵模型支持向量机提升方法 EM算法隐马尔可夫模型(HMM) 统计学习方法总结神经网络 K-Means Bagg ...
维特比算法(基于李航)
文章目录前言维特比算法第一步:初始化第二步:向下递推第三步:得到最优路径的概率和终点第四步:逆向得到完整的状态序列后记本文完全基于李航老师的<统计学习方法第2版> 前言先 ...
隐马尔科夫链（HMM）
目录阐述 1.1 观测序列O出现的概率 1.1.1 穷举法(直接计算法) 1.1.2前向算法 1.1.3 后向算法 1.2 根据观测序列预测状态序列 1.2.1 维特比算法(动态规划) 1.3 估计 ...
HMM预测算法——Viterbi算法
**HMM预测算法--Viterbi算法** HMM是一个生成模型,表示状态序列和观测序列的联合分布,但是状态序是隐藏的,不可观测的. Viterbi算法实际上用动态规划(dynamic progra ...

李航-HMM-直接计算法

李航-HMM-直接计算法相关推荐

最新文章

热门文章