首先感谢以下博主的分享，第一，二个链接是讲的HMM模型，第三个文章讲的是Viterbi算法

结巴分词3--基于汉字成词能力的HMM模型识别未登录词 - 老顽童2007 - 博客园​www.cnblogs.com

一文搞懂HMM（隐马尔可夫模型） - skyme - 博客园​www.cnblogs.com

https://blog.csdn.net/lilong117194/article/details/81008651​blog.csdn.net

其次讲解我个人的浅显理解, 通过质疑的方式理解这两者在分词上的应用。

(一) HMM模型是什么

(1) 首先给出HMM模型的参数：

HMM模型包括5个参数，分别为观察序列，状态序列，状态初始概率，状态转移概率，输出概率。

举个例子：（图来源博客园，作者cloudsky）

这里有3个骰子，一个6面体，一个4面体，一个8面体，随机拿骰子的概率是1/3。

假设随机拿取骰子3次，得到的序列是(2, 4, 6).

这里的观察序列就是(2, 4, 6)，状态序列可能是(D6,D4,D8)。 状态初始概率是(1/3,1/3,1/3),

状态转移概率是一个矩阵，指的是从这个状态到下一个状态的概率，这里从6面体到6面体概率是1/3，从6面体到4面体概率是1/3，从6面体到8面体概率是1/3。那么就得到了3*3的矩阵。

输出概率是指如果已知这个状态，得到某一个特定值的概率。例如，我们知道第二次扔的是一个4面体，那么数字为4的概率是1/4, 即发射概率就为1/4。

(2) HMM模型的假设

• 1.齐次马尔科夫性假设，即假设隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其它时刻的状态及观测无关，也与时刻t无关；
  P(状态[t] | 状态[t-1], 输出[t-1],...,状态[1], 输出 [1]) = P(状态[t] | 状态[t-1]) t = 1,2,...,T
• 2.输出独立性假设，即假设任意时刻的输出只依赖于该时刻的马尔科夫链的状态，与其它输出和状态无关，
  P(输出[t] | 状态[T], 输出[T],...,状态[1], 输出 [1]) = P(输出 [t] | 状态[t]) t = 1,2,...,T
• 3. 输出独立性假设 P(输出1，输出2，输出3 | 状态1，状态2，状态3)= P(输出1| 状态1) P(输出2 | 状态2)* P(输出3 | 状态3)

齐次马可夫性假设通俗的理解就是，假设我们已知前两次的状态是D4,D6, 那么第三次状态是D8的概率只与前一时刻D6有关，和D4没有关系的，即 P(D8 | D6, D4, 2, 4 )= P(D8 | D6).

输出独立性假设的理解即为，假设我们已知前两次的状态是D4,D6, P(2 | D6, D4, 2, 4 )=P(2| D4).

(3) HMM模型的数学理解

这里推导的很详细，就是在讲将已知观测序列的情况下，求解状态序列的概率转换为转移概率和输出概率的乘积，这里用到了HMM的假设和概率乘积P(ABC)=P(A) P(B |A) P(C |AB)。

举个小例子：给出状态序列={阴天，阳光明媚}，观察序列={睡觉，逛街}，天气预报说从阴天转换为阳光明媚的概率是0.2，从阴天转换为阴天的概率是0.8，从阳光明媚转换到阴天概率是0.5，从阳光明媚转换到阳光明媚概率是0.5，这样就得到了状态转移矩阵；阴天睡觉的概率是0.8，散步是概率是0.2，阳光明媚睡觉的概率是0.1，散步的概率是0.9，这样就得到了输出矩阵。

假如我们现在知道了两天的观察序列，转移矩阵和输出矩阵，我们要推算这两天的天气，就可以使用HMM模型啦~

(二) HMM模型，Viterbi算法如何应用到分词中

上面已经知道了HMM模型是什么，即它有三个假设，能够将一种问题转换为另外一种问题的求解(已知观察序列求解状态序列的问题转换为状态转移概率乘以输出概率的乘积)。这句话可真拗口。。。那么HMM模型是如何套到分词里面的呢？

给出序列标注的定义 (图片来源于博客老顽童2007)

简单的来讲，就是每个字在词组中的位置有4种，分别为首，中，尾，单。首指的是位于一个词的开头，例如北大中的北。中指的是中间的位置，例如北京大学中的京和大，尾就是末尾，例如学，单指的是一个字，例如我叫敏敏中的我。

那么假如我现在有一段话需要分词，即观察序列为=我叫敏敏呀，状态转移序列和输出序列是词库中已经知道的，那么我们如果知道了状态序列，就得到了分词结果。这里的状态序列组成的元素就是4-tag,也就是B, M, E, S. 所以这样HMM的模型就可以套用在分词里面了。

但是此时又涉及到一个问题，计算量大啊。。。比如语句：去北京大学玩，可以分词成 去/北京/大学/玩, 和 去/北京大学/玩， 这样是两种情况，穷举出来然后利用词库中概率的乘积得到最优值就可以，但是要分词一篇文章时候，计算量就上去了，所以要解决这个计算量的问题，用到了viterbi算法

所以综上，HMM模型用于套在语句中，得到状态序列，此时状态序列不一定是一个，在得到状态序列的基础上，Viterbi算法用于得到最优的状态序列。

欢迎大家指正，补充呀~