关于HMM（隐马尔可夫模型）

什么是HMM

隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。

常见的例子

抛硬币
假设小明有两个硬币A、B，这两个硬币的正反面的概率是不一样的，我们假设A硬币正面的概率为0.6，B硬币正面的概率为0.7，那么如果我们在未来6次的硬币抛掷过程中，得到如下的结果：

硬币（Z）	A	B	B	A	B	A
结果（x）	正	反	正	正	反	正

这种时候就会存在三个问题：

第一次即初始投的硬币是A还是B？
若知道前一次投的硬币的种类，那后一次硬币是A还是B？
每次投掷硬币时，结果是正面还是反面？
针对第一个问题，那么就有一个初始的概率P（π），它决定了第一个位置是A还是B，然后假设确定了初始的位置为A，那么我们就需要知道第一次投掷硬币的结果是正还是反，这就是一个生成概率P（A），然后呢我们还得知道第二次硬币是A还是B，假设是B，那么就有一个P（B|A）的转移概率。这就是HMM模型的三个参数。

针对我们上面的投掷硬币的问题，HMM模型的三个参数为（π，A，B）

其中π代表第一个位置P（A）=0.3，P（B）=0.7
A代表转移矩阵P(A|A)=0.3, P(B|A)=0.5, P(A|B)=0.4, P(B|B)=0.6
B代表生成矩阵P(正|A)=0.4,P(反|A)=0.6,P(正|B)=0.2,P(反|B)=0.8
那么下面针对HMM的三大经典问题来做出说明：

1. 概率问题

假设前提是我们知道了HMM模型的三个参数λ=(π, A, B)，那么需要计算得到上图所示的观测值x=（正-反-正-正-反-正）的概率。

暴力解法

而这个时候，我们有一个量是不知道的，即状态序列Z，如果这时候要求x的概率的，那么最暴力的解法就是直接将能产生x的所有的情况列举出来，然后计算每种情况下的概率，然后求和即可。具体的情况在此就不一一列举了。

F B算法

  F/B算法分为Forward和Backward算法，其中通过p(Zk|x)=p(Zk, X1:k)*p(Xk+1|Zk)可以算出概率

2. 预测问题

假设前提是我们知道了HMM模型的三个参数λ=(π, A, B)，和观测值x=（正-反-正-正-反-正），需要求解最可能的状态Z。
这种时候我们需要使用Viterbi算法。
通俗一点来讲，Viterbi算法就是将整个求解最好的Z序列分解成一个个的小任务，如先求解Zi。

硬币（Z）	z1	z2	z3	z4	z5	z6
结果（x）	正	反	正	正	反	正

拿Z6来看，x=（正-反-正-正-反-正），Z=(z1,z2,z3,z4,z5,z6),那么
p(Z6)=p(Z5) * p(z6|z5) * p(正|z6) 那么：
p(Z5)=p(Z4) * p(z5|z4) * p(反|z5)
p(Z4)=p(Z3) * p(z4|z3) * p(正|z4)
p(Z3)=p(Z2) * p(z3|z2) * p(正|z3)
p(Z2)=p(Z1) * p(z2|z1) * p(反|z2)
p(Z1)=p(正|z1)* π

然后我们反过来看，首先p(Z1)=p(正|z1) * π, 那么
p(Z1-A)=p(正|A)p(A)=0.40.3=0.12或者
p(Z1-B)=p(正|B)p(B)=0.20.7=0.14
然后p(Z2)=p(Z1) * p(z2|z1) * p(反|z2) ,那么
p(Z2-A-1)=p(Z1-A)*p(A|A)*p(反|A)=0.0216
p(Z2-A-2)=p(Z1-B)*p(A|B)*p(反|A)=0.0336
由于0.0336>0.0216，那么可将0.0336这条路径记录下来，舍弃0.0216这条
这时候
p(Z2-A)=p(Z1-B)*p(A|B)*p(反|A)=0.0336
同样可得
p(Z2-B)=p(Z1-A)*p(B|A)*p(反|B)=p(Z1-B)*p(B|B)*p(反|B)=0.0672
(这里到B的两条路径概率一样，可任取一条)
…………
然后一直算下次，算到Z6
过程中把每次概率大的那条路径存储下来，这样就可以减少算法的复杂。

3.学习问题

已知观测序列X={x1,x2,…,xT}，估计模型λ=(A,B,π)的参数，使得在该模型下观测序列P(x|λ)最大。