概率图模型（PGM）学习笔记（二）贝叶斯网络-语义学与因子分解

概率分布（Distributions）

如图1所示，这是最简单的联合分布案例，姑且称之为学生模型。

图1

其中包含3个变量，分别是：I（学生智力，有0和1两个状态）、D（试卷难度，有0和1两个状态）、G（成绩等级，有1、2、3三个状态）。

表中就是概率的联合分布了，表中随便去掉所有包含某个值的行，就能对分布表进行缩减。

例如可以去掉所有G不为1的行，这样就只剩下了1、4、7、10行，这样他们的概率之和就不为1了，所以可以重新标准化（Renormalization）。如图2所示。

图2

反之也可以把所有含有某个值得行相加，就是边缘化（Marginalization），如图3所示。

图3

条件概率分布（Conditional ProbabilityDistribution, CPD）

已知学生的智力和试卷难度，学生得分的分布就是条件概率。如图4所示。

图4

因子（Factors）

因子是随机变量的函数。

因子是处理概率分布的的基本手段。

因子是高维空间中用以定义概率分布的基本单元。

$/Phi/left( {{X_1}, /ldots ,{X_k}} /right)$

因子可以相乘（图5）、边缘化（图6）以及缩减（图7）。

图5

图6

图7

前面提到的学生模型，其条件概率分布可以画在一张图里面，如图8.

每个节点代表一个因子，其中有些CPD已经蜕化成非条件概率了。

图8

贝叶斯网络的链式法则（Chain Rule）

如图9所示。概率分布由因子的积来定义。

$P/left({D,I,G,S,L} /right) = P/left( D /right)P/left( I /right)P/left( {G/left| {I,D}/right.} /right)P/left( {S/left| I /right.} /right)P/left( {L/left| G /right.}/right)$

图9

例如

$P/left({{d^0},{i^1},{g^3},{s^1},{l^1}} /right) = 0.6 /times 0.3 /times 0.02 /times0.01 /times 0.8$

因此，通过链式法则，贝叶斯网络能够表示联合概率分布：

$P/left({{X_1}, /ldots ,{X_n}} /right) = /prod/limits_i {P/left( {{X_i}/left|{Pa{r_G}/left( {{X_i}} /right)} /right.} /right)}$

贝叶斯网络的重要性质是概率和为1

$/begin{array}{l}/sum/limits_{D,I,G,S,L}{P/left( {D,I,G,S,L} /right)} =/sum/limits_{D,I,G,S,L} {P/left( D /right)P/left( I /right)P/left( {G/left|{I,D} /right.} /right)P/left( {S/left| I /right.} /right)P/left( {L/left| G/right.} /right)} // = /sum/limits_{D,I,G,S,L} {P/left( D/right)P/left( I /right)P/left( {G/left| {I,D} /right.} /right)P/left( {S/left|I /right.} /right)/sum/limits_L {P/left( {L/left| G /right.} /right)} } // = /sum/limits_{D,I,G,S,L} {P/left( D/right)P/left( I /right)P/left( {G/left| {I,D} /right.} /right)/sum/limits_S{P/left( {S/left| I /right.} /right)} } //{/rm{= }}/sum/limits_{D,I,G,S,L} {P/left( D /right)P/left( I /right)P/left( {G/left|{I,D} /right.} /right)} // = /sum/limits_{D,I,G,S,L} {P/left( D/right)P/left( I /right) = 1}/end{array}$

一个简单的概率图是血型模型

其中G指基因型，B指血型。可以看到血型只由自己的基因型决定，而基因型则由父母两人的基因型决定。如图10.

图10

概率图模型（PGM）学习笔记（二）贝叶斯网络-语义学与因子分解相关推荐

Stanford概率图模型：第一讲有向图-贝叶斯网络
原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系 ...
斯坦福 CS228 概率图模型中文讲义四、贝叶斯网络
四.贝叶斯网络原文:Bayesian networks 译者:飞龙协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译我们从表示的话题开始:我们如何选择概率分布来为世界的一些有趣方面建模? ...
概率图模型（一）：贝叶斯网络
这部分文章主要是总结斯坦福大学的概率图模型课程(coursera链接) Graohical Model主要分为两种: 贝叶斯网络(Bayesian Network)和马尔科夫随机场(Markov Ne ...
概率图模型基于R语言(一)贝叶斯模型
概率图模型基于R语言[一]贝叶斯模型条件概率贝叶斯模型 R 参考书:<概率图模型基于R语言> 记录一些代码和自己的想法和目前版本代码的写法(书中有一些无法用了) 随时更新条件概率熟 ...
Algorithm之PGM之BNet：贝叶斯网络BNet的相关论文、过程原理、关键步骤等相关配图
Algorithm之PGM之BNet:贝叶斯网络BNet的相关论文.过程原理.关键步骤等相关配图目录 BNet的相关论文 BNet的过程原理 BNet的关键步骤 BNet的相关论文更新-- BNe ...
css中怎么加入立体模型,CSS学习笔记二：css 画立体图形
继上一次学了如何去运用css画平面图形,这一次学如何去画正方体,从2D向着3D学习,虽然有点满,但总是一个过程,一点一点积累,然后记录起来. Transfrom3D 在这一次中运用到了一下几种属性: ...
多元统计分析、混合效应模型、结构方程模型、极值统计学、贝叶斯网络、copula
生态环境视角下的多元统计分析 1.多元数据分析:概念.定义.及应用困惑; 2.生态环境数据多元统计方法及应用情景; 3.生态环境多元数据分析预处理; 时长:2小时24分钟结构方程模型(SEM)原理. ...
【人工智能】— 贝叶斯网络、概率图模型、全局语义、因果链、朴素贝叶斯模型、枚举推理、变量消元
[人工智能]- 贝叶斯网络频率学派 vs. 贝叶斯学派贝叶斯学派 Probability(概率): 独立性/条件独立性: Probability Theory(概率论): Graphical mo ...
贝叶斯网络学习总结与中科院…
原文地址:贝叶斯网络学习总结与中科院贝叶斯网络视频教程下载作者:jiang-19861112 贝叶斯网络结构学习总结贝叶斯网络视频下载网址:http://www.abab123.com/bbs/d ...
人工智能学习（十）：什么是贝叶斯网络——伯克利版
目录 10.1 概率建模 10.1.1 独立性 10.1.2 条件独立 10.1.2.1 条件独立和链式法则 10.2 贝叶斯网络 10.2.1 图形化的模型符号 10.2.2 贝叶斯网络的构建 10 ...

概率图模型（PGM）学习笔记（二）贝叶斯网络-语义学与因子分解

概率图模型（PGM）学习笔记（二）贝叶斯网络-语义学与因子分解相关推荐

最新文章

热门文章