有向图对概率模型的表达

概率图模型将抽象的图赋予了概率的含义，而概率图模型的核心是多维随机变量的联合概率分布p(x1,x2,...,xp)p(x_{1},x_{2},...,x_{p})p(x1,x2,...,xp)的计算，高维是导致使用链式法则的原因，现在要基于有向图，思考利用条件独立性化简表达。贝叶斯网络表达的概率模型如下：

有向图中，每个节点代表的都是随机变量的特征，父子节点之间的连接则表达了条件概率，它反映了父子节点之间的关系，比如：

可见，xix_{i}xi是xjx_{j}xj的父节点，因此这个图中xix_{i}xi和xjx_{j}xj两个节点以及二者之间的有向关系表示为条件概率p(xj∣xi)p(x_{j}|x_{i})p(xj∣xi)

贝叶斯网络的三种基本结构

实际上，在贝叶斯网络中，无论节点有多少，网络有多复杂，本质还是由三类基本结构组成：

第一类：tail to tail结构

第二类：head to tail结构

第三类：head to head结构

贝叶斯网络对联合概率的拆解

此处需要借助有向图中的一个定义：有向图的因子分解公式，利用它我们可以在有向图中将联合概率拆解为若干条件概率连乘的形式：
p(x1,x2,x3,...,xp)=∏i=1pp(xi∣xpa(i))p(x_{1},x_{2},x_{3},...,x_{p})=\prod_{i=1}^{p}p(x_{i}|x_{pa(i)})p(x1,x2,x3,...,xp)=i=1∏pp(xi∣xpa(i))
而其中的xpa(i)x_{pa(i)}xpa(i)是xix_{i}xi的父节点集合。

因子分解公式套用在之前的六个节点的贝叶斯网络中，联合概率表达为：
p(x1,...,x6)=p(x1)p(x2∣x1)p(x3)p(x4∣x1)p(x5∣x2,x3)p(x6∣x5)p(x_{1},...,x_{6})=p(x_{1})p(x_{2}|x_{1})p(x_{3})p(x_{4}|x_{1})p(x_{5}|x_{2},x_{3})p(x_{6}|x_{5})p(x1,...,x6)=p(x1)p(x2∣x1)p(x3)p(x4∣x1)p(x5∣x2,x3)p(x6∣x5)
我们进一步探索因子分解公式，实际可以在贝叶斯网络拓扑中，找到条件独立性。

还是在三个基本结构中看：

首先是tail to tail结构：

按照因子分解，联合概率写为：p(a,b,c)=p(a)p(b∣a)p(c∣a)p(a,b,c)=p(a)p(b|a)p(c|a)p(a,b,c)=p(a)p(b∣a)p(c∣a)

如果用链式法则表达，则为：p(a,b,c)=p(a)p(b∣a)p(c∣a,b)p(a,b,c)=p(a)p(b|a)p(c|a,b)p(a,b,c)=p(a)p(b∣a)p(c∣a,b)

联立两式子：p(a)p(b∣a)p(c∣a)=p(a)p(b∣a)p(c∣a,b)p(a)p(b|a)p(c|a)=p(a)p(b|a)p(c|a,b)p(a)p(b∣a)p(c∣a)=p(a)p(b∣a)p(c∣a,b)，从而有：p(c∣a)=p(c∣a,b)p(c|a)=p(c|a,b)p(c∣a)=p(c∣a,b)；

对比前面的章节，这正是条件独立的表达，在aaa给定后，ccc与bbb无关，相互独立；

现在分析head to tail结构：

按照因子分解为：p(a,b,c)=p(a)p(b∣a)p(c∣b)p(a,b,c)=p(a)p(b|a)p(c|b)p(a,b,c)=p(a)p(b∣a)p(c∣b)，与链式法则联立得到：p(c∣b)=p(c∣a,b)p(c|b)=p(c|a,b)p(c∣b)=p(c∣a,b)；

最后是head to head结构：

因子分解为：p(a,b,c)=p(a)p(b)p(c∣a,b)p(a,b,c)=p(a)p(b)p(c|a,b)p(a,b,c)=p(a)p(b)p(c∣a,b)，联立链式法则为：p(b)=p(a∣b)p(b)=p(a|b)p(b)=p(a∣b)，此处结论反映的是aaa和bbb相互独立。

贝叶斯网络与概率模型的关系

对比之前的内容，朴素贝叶斯其实是最简单的贝叶斯网络：

随机过程的马尔科夫链也是一种贝叶斯网络：

第十七课.有向图模型与条件独立性相关推荐

【机器学习系列】概率图模型第二讲：深入浅出有向图中的条件独立性和D划分
作者:CHEONG 公众号:AI机器学习与知识图谱研究方向:自然语言处理与知识图谱前言: 文中含有大量公式,若需获取本文全部的手书版原稿资料,扫码关注公众号[AI机器学习与知识图谱],回复: 概率 ...
D-separation 概率图模型判断条件独立性
英文转载自 andrew.cmu.edu Contents History and Motivation D-separation Explained, with Applet Formal Defi ...
【机器学习系列】概率图模型第三讲：深入浅出无向图中的条件独立性和因子分解
作者:CHEONG 公众号:AI机器学习与知识图谱研究方向:自然语言处理与知识图谱阅读本文之前,先注意一下两点: 1. 机器学习系列文章常含有大量公式推导证明,为了更好理解,文章在最开始会给出本文 ...
PGM：有向图模型：贝叶斯网络
http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值 ...
NeHe OpenGL教程第四十七课：CG顶点脚本
转自[翻译]NeHe OpenGL 教程前言声明,此 NeHe OpenGL教程系列文章由51博客yarin翻译(2010-08-19),本博客为转载并稍加整理与修改.对NeHe的OpenGL管线 ...
NeHe OpenGL教程第三十七课：卡通映射
转自[翻译]NeHe OpenGL 教程前言声明,此 NeHe OpenGL教程系列文章由51博客yarin翻译(2010-08-19),本博客为转载并稍加整理与修改.对NeHe的OpenGL管线 ...
Asp.Net Web API 2第十七课——Creating an OData Endpoint in ASP.NET Web API 2（OData终结点）...
原文:Asp.Net Web API 2第十七课--Creating an OData Endpoint in ASP.NET Web API 2(OData终结点) 前言很久没更新博客了,加上刚过 ...
多元高斯分布是非参_（二）多元高斯分布与概率图条件独立性假设
Author: Pan Date: 2020/7/15 首先,我们通过随机向量的介绍来引出多元高斯分布,通过多元高斯分布,我们将介绍概率图的条件独立性假设. 先快速过一遍随机向量: 1.随机向量 ...
李宏毅机器学习2016 第二十一讲隐马尔可夫模型和条件随机场
视频链接:李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源:Hung-yi Lee 课程相关PPT已经打包命名好了:链接:https://pan.baidu.com ...

第十七课.有向图模型与条件独立性

目录

有向图对概率模型的表达

贝叶斯网络的三种基本结构

贝叶斯网络对联合概率的拆解

贝叶斯网络与概率模型的关系

第十七课.有向图模型与条件独立性相关推荐

最新文章

热门文章