概率图模型（PGM） —— 贝叶斯网络（Bayesian Network）

概率图模型是图论与概率方法的结合产物。Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。

图模型分为两种：

有向图（directed graphs）：bayesian networks
无向图（undirected graphs）：Markov random fields

1. 定义

贝叶斯网络定义：

DAG（Directed Acyclic Graph）：有向无环图；
结点 (X1,X2,…,Xn)\left(X_1,X_2,\ldots,X_n\right) 表示的是随机变量（random variables）；
网络中的每一个结点 XiX_i，都有条件概率分布，P(Xi∣∣ParG(Xi))P\left(X_i\big | \text{Par}_G(X_i)\right)
- ParG(Xi)\text{Par}_G(X_i)：表示的是 XiX_i 在网络中的父节点；
贝叶斯网络最终刻画的是结点所代表的随机变量的联合概率密度（joint distribution）
P(X1,…,Xn)=∏iP(Xi∣∣ParG(Xi))

P(X_1, \ldots,X_n)=\prod_{i} P\left(X_i\big |\text{Par}_G(X_i)\right)

Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。如下图所示：

也即此贝叶斯网络表示了如下的联合概率分布：

p(Lo,Li,S)=P(Lo)P(Li|Lo)P(S|Lo)

2. 贝叶斯网对应的“分布”

贝叶斯网络对应的“分布”是一种合法的概率分布（legal distribution），也即需满足

Pi≥0P_i\geq 0：显然成立
∑Pi=1\sum P_i=1

需要证明，比如这样一个简单的例子，应用链式法则（chain rule），展开得：

∑D,I,G,S,LP(D,I,G,S,L)======∑D,I,G,S,LP(D)P(I)P(G|I,D)P(S|I)P(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)∑LP(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)⋅1∑D,I,GP(D)P(I)P(G|I,D)∑SP(S|I)1⋯1

\begin{split}\sum_{D,I,G,S,L}P(D, I, G, S, L)=&\sum_{D,I,G,S,L}P(D)P(I)P(G|I, D)P(S|I)P(L|G)\\=&\sum_{D,I, G,S}P(D)P(I)P(G|I, D)P(S|I)\sum_{L}P(L|G)\\=&\sum_{D,I, G,S}P(D)P(I)P(G|I, D)P(S|I)\cdot 1\\=&\sum_{D,I,G}P(D)P(I)P(G|I, D)\underbrace{\sum_SP(S|I)}_{1}\\=&\cdots\\=&1\end{split}
- ∑LP(L|S)=1\sum_LP(L|S)=1，这是 CPD（conditional probability distribution）的性质（也即对条件概率分布的一行进行求和）；

概率图模型（PGM） —— 贝叶斯网络（Bayesian Network）相关推荐

贝叶斯网络(Bayesian Network)
贝叶斯网络贝叶斯网络(Bayesian Networks)也被称为信念网络(Belif Networks)或者因果网络(Causal Networks),是描述数据变量之间依赖关系的一种图形模式,是 ...
贝叶斯网络在计算机,贝叶斯网络 Bayesian network
定义贝叶斯网络,是目前不确定知识表达和推理领域最有效的理论模型之一.贝叶斯网络, 由代表变量节点及连接这些节点有向边构成. 节点代表随机变量,节点间的有向边代表了节点间的互相关系,用条件概率进行表达 ...
贝叶斯网络( Bayesian network)和马尔科夫网络(Markov networks)
概率图模型(PGM)(或简称图模型)在形式上是由图结构组成的.图的每个节点(node)都关联了一个随机变量,而图的边(edge)则被用于编码这些随机变量之间的关系. 根据图是有向的还是无向的,我们可以 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
条件独立(conditional independence) 结合贝叶斯网络(Bayesian network) 概率有向图（PRML8.2总结）...
本文会利用到上篇,博客的分解定理,需要的可以查找上篇博客 D-separation对任何用有向图表示的概率模型都成立,无论随机变量是离散还是连续,还是两者的结合. 部分图为手写,由于本人字很丑,望见谅 ...
【ML】贝叶斯网络(Bayesian Network)
PGM：有向图模型：贝叶斯网络
http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值 ...
算法杂货铺——分类算法之贝叶斯网络(Bayesian networks)
算法杂货铺--分类算法之贝叶斯网络(Bayesian networks) 2010-09-18 22:50 by T2噬菌体, 66011 阅读, 25 评论, 收藏, 编辑 2.1.摘要在上一篇文 ...
机器学习——贝叶斯网(bayesian Network)一
把某个研究系统按照设计的随机变量,感觉是否条件独立绘制在一个有向图中,这就近形成了贝叶斯网络. 贝叶斯网络一个有向无环图(Directed Acyclic Graph,DAG),是一种概率图模型,根据 ...
图网络算法——概率图介绍与贝叶斯网络
图网络算法--概率图综述 1 概率论回顾在介绍概率图之前,我们先来回顾一下概率论中的相关的知识. 样本空间(Ω): 样本空间描述的是一个随机试验中所有可能输出的集合.比如我们随机抛了一千次硬币,那么 ...

概率图模型（PGM） —— 贝叶斯网络（Bayesian Network）

1. 定义

2. 贝叶斯网对应的“分布”

概率图模型（PGM） —— 贝叶斯网络（Bayesian Network）相关推荐

最新文章

热门文章