机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）

一、贝叶斯公式

在学习概率图模型之前先要了解贝叶斯公式：

由公式(1),(2)可得：

这便是贝叶斯公式，其中条件概率P(A/B)称为后验概率，概率P(A),P(B)称为先验概率，条件概率P(B/A),称为似然函数。即我们在已知条件概率P(B/A)和概率P(A),P(B)的情况下，可以计算出条件概率P(A/B)。
又由于已知公式：

将贝叶斯公式中的P(B)替换得：

这里列举一个应用贝叶斯概率公式进行建模的例子—朴素贝叶斯的文本分类：
给定M封邮件，每个邮件被标记为垃圾邮件或者非垃圾邮件，给出第M+1封非标记邮件，求其是垃圾邮件的概率。
朴素贝叶斯的基本假设：1、一个特征出现的概率，与其他特征（条件）独立（特征独立性）；2、每个特征同等重要。
分析：
类别C：垃圾邮件C1，非垃圾邮件C2。词汇表，有两种建立方法：1、使用现成的单词词典；2、将所有邮件中出现的单词都统计出来，得到词典。记单词数目为N。将每个邮件M映射成维度为N的向量X：若单词Wi在邮件M中出现过，则xi=1，否则，xi=0。即邮件的向量化：M->(x1,x2,…,xN)。
利用贝叶斯公式：P(C1/X)=P(X/C1)*P(C1)/P(X); P(C2/X)=P(X/C2)*P(C2)/P(X)。其中P(X/C)可以由给定的M封邮件统计得到。这样就可以根据第M+1封邮件中的单词情况来估计它为垃圾邮件或非垃圾邮件的概率。

二、概率图模型

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。
如下所示：

其中事件E可以影响事件R和事件A，事件B可以影响事件A，事件A又可以影响事件C。该图的联合概率P(E,B,R,A,C) 由下面公式可求得：

即所有父节点的先验概率，叶节点的后验概率相乘。我们只需要统计计算出概率P(E),P(B),P(R/E),P(A/E,B)和P(C/A)，就可以得到联合概率了。
求出一个概率图的联合概率密度以后，图上的任意一个先验概率和后验概率就都可以求得了。例如：

对应任何一个问题，我们都可以建立它的概率图模型，通过求出其联合概率就能计算出每个事件，每种情况下的概率是多少了。

三、隐马尔科夫模型HMM

隐马尔科夫模型是一种特殊的概率图模型。它认为t时刻的状态由t-1时刻的状态决定，t时刻的观测仅与t时刻的状态相关。如下图所示：

其中1,2,3表示3个时刻，X表示各个时刻的状态，Y表示各个时刻状态对外变现出的观测值。其中状态是隐形的，我们看不到；而观测值是显性的，我们能够看到。
首先，像前面一样，计算其联合概率：

所以我们先得统计得到概率P(X1),P( X2/X1 ),P( Y1/X1 ),P( Y2/X2 ),P( X3/X2 )和P( Y3/X3 )。其中，P(Xt/Xt-1)称为状态转移概率，P(Yt/Xt)称为发射概率。为了计算简便，HMM认为P(Xt/Xt-1)=P(Xt-1/Xt-2)。HMM模型的目的是计算P(X3/Y1,Y2,Y3)的大小，计算分为预测和更新两个过程。
预测：
这里用到了公式P(AB/C)=P(A/BC)*P(B/C),预测的过程是得到P(Xt/Y1:t-1)，计算如下：

其中第二步到第三步是因为状态Xt与Y1:t-1相互独立。求出最后结果P(Xt/Xt-1)是已知的，P(Xt-1/Y1:t-1)为一递归公式，递归到最后P(X1)已知，所以P(Xt/Y1:t-1)就能求出。
更新：
这个过程用到公式P(A/BC)=P(B/AC)P(A/C)/P(B/C),更新过程由P(Xt/Y1:t-1)得到最终的P(Xt/Y1:t)，计算如下：

最后P(Yt/Xt),P(Xt/Y1:t-1)都是已知的，所有最终概率P(Xt/Y1:t)就可以计算出来了。

机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）相关推荐

机器学习算法拾遗：（七）隐马尔科夫模型(前向后向算法、鲍姆-韦尔奇算法、维特比算法)
1.隐马尔科夫模型HMM 隐马尔科夫模型的图结构如下从上图中主要有两个信息:一是观测变量xi 仅仅与与之对应的状态变量yi 有关:二是当前的状态变量yi 仅仅与它的前一个状态变量yi-1 有关. 隐 ...
机器学习知识点(二十五)Java实现隐马尔科夫模型HMM之jahmm库
1.隐马尔可夫模型HMM的应用场景,关乎于序列和状态变化的都可以. 发现java有可库,专为开发HMM,可惜只能在CSDN上有得下载. 2.jahmm是java开发隐马尔科夫模型的一个j ...
中文分词与马尔科夫模型之二：隐马尔科夫模型与维特比
转载自:http://blog.sina.com.cn/s/blog_68ffc7a40100uebv.html 前面一篇博客讲到了中文分词的机械分词算法,这种算法实现相对比较简单,但是分词效果还是有 ...
隐马尔科夫模型(HMMs)之三：隐马尔科夫模型
隐马尔科夫模型(Hidden Markov Models) 定义隐马尔科夫模型可以用一个三元组(π,A,B)来定义: π 表示初始状态概率的向量 A =(aij)(隐藏状态的)转移矩阵 P(Xit ...
【深度】从朴素贝叶斯到维特比算法：详解隐马尔科夫模型
详解隐马尔科夫模型作者:David S. Batista 选自:机器之心本文首先简要介绍朴素贝叶斯,再将其扩展到隐马尔科夫模型.我们不仅会讨论隐马尔科夫模型的基本原理,同时还从朴素贝叶斯的角度讨论 ...
用机器学习识别不断变化的股市状况—隐马尔可夫模型(HMM)股票指数预测实战
"了解不同的股市状况,改变交易策略,对股市收益有很大的影响. 弄清楚何时开始或何时止损,调整风险和资金管理技巧,都取决于股市的当前状况. ▼ 有些策略在波澜不惊的股市中表现良好,而有些策略可 ...
条件随机场（CRF）和隐马尔科夫模型（HMM）最大区别在哪里？CRF的全局最优体现在哪里？
作者:尔总的马甲链接:https://www.zhihu.com/question/53458773/answer/554436625 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商 ...
从零开始学NLP（八）隐马尔科夫模型（超详细）
目录前言一.HMM基础二.HMM定义三.HMM的三个基本问题 1.概率计算问题 2. 学习问题 3.预测问题四.HMM中的参数估计 1.前向算法 2.后向算法五.HMM实例总结前言上 ...
20200918：【广发金融工程】2018年重磅专题系列之九：基于隐马尔科夫模型的选股策略研究
参考链接:https://www.sohu.com/a/252454782_465470 [广发金融工程]2018年重磅专题系列之九:基于隐马尔科夫模型的选股策略研究 2018-09-07 11:26 ...
隐马尔科夫模型-前向算法
转载自隐马尔科夫模型-前向算法隐马尔科夫模型-前向算法在该篇文章中讲了隐马尔科夫模型(HMM)一基本模型与三个基本问题隐马尔科夫模型-基本模型与三个基本问题,这篇文章总结一下隐马尔科夫链(H ...

机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）

机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）相关推荐

最新文章

热门文章