贝叶斯网络(概率图模型)

概率图模型分为贝叶斯网络和马尔可夫两大类。其中贝叶斯网络是一个有向无环图结构，而马尔可夫是一个无向图结构。本文只讲解贝叶斯网络，马尔可夫会在后面的博客进行讲解。

在开始之前需要复习下概率论的一些公式：

乘法法则： $P(x_{1},x_{2}) = P(x_{1}|x_{2})P(x_{2})=P(x_{2}|x_{1})P(x_{1})$

链式法则： $P(x_{1},x_{2},...,x_{n})= \prod_{i=1}^{n}P(x_{i}|x_{1},x_{2},...,x_{i-1})$

放个例子帮助理解链式法则，当n=4时，上面的例子为：

$P(x_{1},x_{2},x_{3},x_{4})=P(x_{1})P(x_{2}|x_{1})P(x_{3}|x_{1},x_{2})P(x_{4}|x_{1},x_{2},x_{3})$

证明，根据乘法法则有:

$P(x_{1},x_{2},x_{3},x_{4})=P(x_{4}|x_{1},x_{2},x_{3})P(x_{1},x_{2},x_{3})$

$P(x_{1},x_{2},x_{3})=P(x_{3}|x_{1},x_{2})P(x_{1},x_{2})$

$P(x_{1},x_{2}) = P(x_{2}|x_{1})P(x_{1})$

所以由上面3个式子，可推出:

$P(x_{1},x_{2},x_{3},x_{4})=P(x_{1})P(x_{2}|x_{1})P(x_{3}|x_{1},x_{2})P(x_{4}|x_{1},x_{2},x_{3})$

另外，还有一个有向图的因子分解公式：

$P(x_{1},x_{2},...,x_{n})= \prod_{i=1}^{n}P(x_{i}|x_{pa(i)})$

其中， $x_{pa(i)}$ 为 $x_{i}$ 的父亲集合

贝叶斯网络的结构形式一般可以大统的分为三种，下面一一对他们进行解剖：

（1）tail-tail（看中间节点c的两条边）边的头和尾是这样看： tail(尾)→head(头)，因为节点c都是连接两条边的tail，所以是tail-tail

若c被观测，则a与b独立，即 $a\perp b\mid c$ ,证明如下：

首先上图结构根据因子分解为：

$P(a,c,b) = P(c)P(a|c)P(b|c)$ $(1)$

上图结构根据链式法则又可写成：

$P(a,c,b)=P(b|a,c)P(a,c)=P(b|a,c)P(a|c)P(c)$ $(2)$ $\tag{2}$

由(1)=(2) 推出 $P(b|a,c)=P(b|c)$ ，所以a与b独立： $a\perp b\mid c$

总结tail-tail结构：若c被观测，则路径被堵塞，a与b独立。

(2)head-tail结构：

若c被观测，则a与b独立，即 $a\perp b\mid c$ ,证明如下：

因子分解为：

$P(a,c,b) = P(a)P(c|a)P(b|c)$ $(3)$

链式法则：

$P(a,c,b)=P(b|a,c)P(a,c)=P(b|a,c)P(c|a)P(a)$ $(4)$

由式(3)=(4) 推出 $P(b|a,c)=P(b|c)$ ，所以a与b独立： $a\perp b\mid c$

总结head-tail结构：若c被观测，则路径被堵塞，a与b独立。

(2)head-head结构：

这个head-head结构和上面两个结构刚好相反，默认情况下，a与b是独立的，若c被观察，则a与b不独立，证明如下：

因子分解：

$P(a,c,b) = P(a)P(b)P(c|a,b)$ $(5)$

链式法则：

$P(a,c,b) = P(c|a,b)P(a,b)=P(c|a,b)P(a|b)P(b)$ $(6)$

由式(5)=(6) 推出 $P(b)=P(b|a)$ ，所以a与b独立： $a\perp b$

总结head-head结构：默认情况下，a与b是独立的，路径是阻塞的，若c被观测，则路径是通的，a与b不独立。

（head-head这个结构可以这样理解，把c看成父母a与b的孩子，若c没生出来，a与b是独立的，是没有关系的，若c生了出来，则a与b就有关系了，不是独立的）

贝叶斯网络(概率图模型)相关推荐

机器学习笔记之概率图模型(四)基于贝叶斯网络的模型概述
机器学习笔记之概率图模型--基于贝叶斯网络的模型概述引言基于贝叶斯网络的模型场景构建朴素贝叶斯分类器混合模型基于时间变化的模型特征是连续型随机变量的贝叶斯网络动态概率图模型总结引言 ...
超详细 | 贝叶斯网络基础——有图有真相
Hello,大家好,我是starz.这是本系列的第二篇<概率基础Ⅱ>,虽说是概率基础,但作为过渡,它开始以图为载体这节的主要内容有: 贝叶斯网络三种结构 D-划分贝叶斯球马尔科夫毯 ...
斯坦福 CS228 概率图模型中文讲义四、贝叶斯网络
四.贝叶斯网络原文:Bayesian networks 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译我们从表示的话题开始:我们如何选择概率分布来为世界的一些有趣方面建模? ...
【Ryo】SPSS Modeler：贝叶斯网络在预测银行信贷风险中的应用
对银行信贷来说,如何量化客户违约的可能性,对潜在的风险进行预测是管理决策层关注的重中之重.面对复杂的信息结构和庞大的人群数据,运用贝叶斯网络能够理清相关影响因素的关联关系,是现在提高信贷违约风险预测正 ...
贝叶斯网络计算机系统性能建模,基于贝叶斯网络的AIBNS系统建模研究及其应用-计算机应用技术专业论文.docx...
摘要智能授导系统ITS研究的重点在于增加远程网络教学系统的适摘要智能授导系统ITS研究的重点在于增加远程网络教学系统的适应性和智能性.学生模型是ITS的基础和核心,是其他模块进行工作的前提.论 ...
Stanford概率图模型：第一讲有向图-贝叶斯网络
原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
概率图模型（PGM） —— 贝叶斯网络（Bayesian Network）
概率图模型是图论与概率方法的结合产物.Probabilistic graphical models are a joint probability distribution defined over ...
机器学习-白板推导-系列（九）笔记：概率图模型: 贝叶斯网络/马尔可夫随机场/推断/道德图/因子图
文章目录 0 笔记说明 1 背景介绍 1.1 概率公式 1.2 概率图简介 1.2.1 表示 1.2.2 推断 1.2.3 学习 1.2.4 决策 1.3 图 2 贝叶斯网络 2.1 条件独立性 2. ...
【人工智能】— 贝叶斯网络、概率图模型、全局语义、因果链、朴素贝叶斯模型、枚举推理、变量消元
[人工智能]- 贝叶斯网络频率学派 vs. 贝叶斯学派贝叶斯学派 Probability(概率): 独立性/条件独立性: Probability Theory(概率论): Graphical mo ...

贝叶斯网络(概率图模型)

贝叶斯网络(概率图模型)相关推荐

最新文章

热门文章