1 基本概念介绍

1.1 HMM

两种算法模型：

生成式P(x, Y)

 与nlg的生成概念不同Y可能是隐变量y=(smeo)，可能是回归值，可能是类别. 优势：能力强大；缺陷：成本高x->y, y->x, x,y可以用来采样朴素贝叶斯、混合高斯模型GMM、隐马尔科夫模型(HMM)、贝叶斯网络 Sigmoid Belief Networks 、深度信念网络（DBN）

判别式P(Y|X)
优势：目标导向，成本低；缺陷：只能解决单一问题
x->y
线性回归/逻辑回归（Logistic Regression）、K近邻（KNN）、感知机、神经网络（NN）、支持向量机（SVM）、决策树、最大熵模型（maximum entropy model, MaxEnt）、高斯过程（Gaussian Process）、条件随机场（CRF）、boosting方法

马尔可夫链（Markov link）：一种特殊的随机过程，其随机性只与当前状态有关，与过往已发生的状态和将来可能发生的状态都无关
隐马尔可夫链（hidden Markov method）：用来描述一个变化状态是隐藏的，且是离散的马尔可夫过程（特殊随机过程）。
隐马尔可夫模型（Hidden Markov Model，HMM）: 统计模型，描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。

统计模型：是一组数学模型，它包含了一组关于样本数据的假设。统计模型通常以相当理想化的形式表示数据生成过程。
马尔可夫过程（Markov Process）：一类随机过程。马尔可夫过程是研究离散事件动态系统状态空间的重要方法，它的数学基础是随机过程理论。

1.1.1 参数定义

隐状态序列：S=s1s2...snS = s_1s_2...s_nS=s1s2...sn (S: state, 不能观测到的状态)
观测序列：O=o1o2...onO = o_1o_2...o_nO=o1o2...on(O: objective, 我们所观测到的状态)
隐状态集合：H=h1,h2,...,hnH ={ h_1, h_2, ..., h_n}H=h1,h2,...,hn(H: hidden, 就是一系列的隐状态所组成的集合，sis_isi属于H)
观测值集合：R=r1,r2,...,rnR ={ r_1, r_2, ..., r_n}R=r1,r2,...,rn(R: Reality，已成事实，观测到啥样就是啥样；一系列的观测状态所组成的集合，oio_ioi属于R)
参数 λ=(π,A,B)\lambda = (\pi, A, B)λ=(π,A,B)

π\piπ : 初始状态概率分布，即第一个隐状态s1s_1s1为各状态H={h1,h2,...hN}H=\{h_1,h_2,...h_N\}H={h1,h2,...hN}的概率分别是多少。
A中的元素aijA中的元素a_{ij}A中的元素aij : 当前时间点它的状态是hih_ihi，下一个时间点变成hjh_jhj的概率，因为HHH有NNN个元素，所以它是个N×NN\times NN×N方阵，每一个时间点的转移矩阵都是相同的，此为时间无关性。
B中元素bik=P(ot=rk∣st=hi)=bst→otB中元素b_{ik}=P(o_t=r_k|s_t=h_i)=b_{s_t \to o_t}B中元素bik=P(ot=rk∣st=hi)=bst→ot : 一个N×MN\times MN×M矩阵，隐状态hih_ihi到观测值rkr_krk的概率，也是与时间先后无关的。

一个例子

假设我手里有三个不同的骰子。第一个骰子6个面（称这个骰子为D6），每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

我们开始掷骰子：
1.）我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。
2.）然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。

最后得到这么一串可见的数字称之为可见状态链（掷骰子10次）：1 6 3 5 2 7 3 5 2 4
还有一个隐含状态链，是你用的哪种骰子的序列D6 D8 D8 D6 D4 D8 D6 D6 D4 D8

1.2 二个假设

齐次markov性假设（当前状态至于其前一个状态有关，与观测序列无关）： P(st+1∣s1s2...st;o1o2...ot)=P(st+1∣st)P(s_{t+1}|s_1s_2...s_t;o_1o_2...o_t)=P(s_{t+1}|s_t)P(st+1∣s1s2...st;o1o2...ot)=P(st+1∣st)
观测独立性假设（观测值至于其隐状态有关，与其他状态无关）：P(ot∣s1s2...st;o1o2...ot−1)=P(ot∣st)P(o_t|s_1s_2...s_t;o_1o_2...o_{t-1})=P(o_t|s_t)P(ot∣s1s2...st;o1o2...ot−1)=P(ot∣st)
假设式为了增加模型泛化能力的先验，也是为了方便求解做出的妥协。

1.3 三种问题

Evaluation概率计算，正向、反向算法
给定

[机器学习] 小傻学HMM：嚼烂HMM相关推荐

[nlp] 小傻学数据预处理
[nlp] 小傻学数据预处理 1. 分词 1.1 分词方法 1.1.1 基于规格(词典.词库) 1.1.2 基于知识理解 1.1.3 基于(词频)统计 1.2 分词工具 1.3 jieba分词原理 1 ...
小透明学弟的华为上岸之路
分享直系学弟 "离奇" 的求职经历和心路历程. 大家好,我是鱼皮,今天给大家分享一位同校同系学弟的亲身经历. 这位学弟自称小透明,就读软件工程专业,即将本科毕业入职华为,职位是 ...
一周程序员新书精选：机器学习、深度学习书成为焦点
小编已经好久没有给大家推荐新书榜单了,今天仔细看了一下,机器学习.深度学习书占了新书的大部分.成为上周上榜新书焦点,所以小编觉着有必要给大家分享一下.请仔细阅读.排序根据榜单前后排列. 1.MySQL ...
机器学习小抄，轻松搞定理解机器学习！
机器学习小抄表翻译自Chris Albon博士.Chris 是一位很有热情的机器学习从业者.数据科学家,也是初创公司NewKnowldgeAI的联合创始人. 小抄共284页,通俗易懂,如图背托福单词的 ...
写给大家看的机器学习书【Part1】什么是机器学习？机器学到的到底是什么？
写给大家看的机器学习书[Part1]什么是机器学习?机器学到的到底是什么? 机器学习深度学习神经网络人工智能阅读1390
机器学习小抄.pdf（像背托福单词一样理解机器学习）
机器学习小抄表翻译自Chris Albon博士.Chris 是一位很有热情的机器学习从业者.数据科学家,也是初创公司NewKnowldgeAI的联合创始人. 小抄共284页,通俗易懂,如图背托福单词的 ...
【机器学习基础】机器学习小抄.pdf（像背托福单词一样理解机器学习）
机器学习小抄表翻译自Chris Albon博士.Chris 是一位很有热情的机器学习从业者.数据科学家,也是初创公司NewKnowldgeAI的联合创始人. 小抄共284页,通俗易懂,如图背托福单词的 ...
机器学习小抄-（像背托福单词一样理解机器学习）
机器学习小抄表翻译自Chris Albon博士.Chris 是一位很有热情的机器学习从业者.数据科学家,也是初创公司NewKnowldgeAI的联合创始人. 小抄共284页,通俗易懂,如图背托福单词的 ...
小余学调度：学习记录（2022.4）
系列文章目录小余学调度系列文章,记录小余同学入职电力调度员一路的学习记录,由于工作性质,在这个系列,只写能公开的知识点,不涉及机密. 提示:专栏解锁后,可以查看该专栏所有文章文章目录系列文章目录 ...

[机器学习] 小傻学HMM：嚼烂HMM