文章目录

d-separation
- 公式推导
- - 链式法则
  - Serial connection （head-to-tail）
  - - 不观测XkX_kXk
    - 观测XkX_kXk
  - Diverging connection （tail-to-tail）
  - - 不观测XkX_kXk
    - 观测XkX_kXk
  - Converging connection
  - - 不观测XkX_kXk
    - 观测XkX_kXk
- 定义
- 参考

d-separation

三种类型：

Serial connection （head-to-tail）
Diverging connection （tail-to-tail）
Converging connection

公式推导

链式法则

P(X1,X2,...,Xn)=P(X1∣X2,...,Xn)P(X2∣X3,...,Xn)...P(Xn−1∣Xn)P(Xn)P(X_1,X_2,...,X_n)=P(X_1|X_2,...,X_n)P(X_2|X_3,...,X_n)...P(X_{n-1}|X_n)P(X_n)P(X1,X2,...,Xn)=P(X1∣X2,...,Xn)P(X2∣X3,...,Xn)...P(Xn−1∣Xn)P(Xn)

贝叶斯网络定义：
P(X1,X2,...,Xn)=∏i=1nP(Xi∣PA(Xi))P(X_1,X_2,...,X_n)=\prod^n_{i=1}P(X_i|PA(X_i))P(X1,X2,...,Xn)=i=1∏nP(Xi∣PA(Xi))

Serial connection （head-to-tail）

不观测XkX_kXk

P(Xi,Xj)=∑xkP(Xi,Xj,Xk)=P(Xi)P(Xj∣Xi)P(X_i,X_j)=\sum_{x_k}P(X_i,X_j,X_k)=P(X_i)P(X_j|X_i)P(Xi,Xj)=xk∑P(Xi,Xj,Xk)=P(Xi)P(Xj∣Xi)

结果：X与Y并不是独立事件

观测XkX_kXk

P(Xi,Xk,Xj)=P(Xi)P(Xk∣Xi)P(Xj∣Xk)P(X_i,X_k,X_j)=P(X_i)P(X_k|X_i)P(X_j|X_k)P(Xi,Xk,Xj)=P(Xi)P(Xk∣Xi)P(Xj∣Xk)

P(Xi,Xj∣Xk)=P(Xi,Xk,Xj)P(Xk)=P(Xi)P(Xk∣Xi)P(Xj∣Xk)P(Xk)=P(Xi,Xj)P(Xj∣Xk)P(Xk)=P(Xi∣Xk)P(Xj∣Xk)P(X_i,X_j|X_k)=\frac{P(X_i,X_k,X_j)}{P(X_k)} =\frac{P(X_i)P(X_k|X_i)P(X_j|X_k)}{P(X_k)}=\frac{P(X_i,X_j)P(X_j|X_k)}{P(X_k)}=P(X_i|X_k)P(X_j|X_k)P(Xi,Xj∣Xk)=P(Xk)P(Xi,Xk,Xj)=P(Xk)P(Xi)P(Xk∣Xi)P(Xj∣Xk)=P(Xk)P(Xi,Xj)P(Xj∣Xk)=P(Xi∣Xk)P(Xj∣Xk)

结果： Xi,XjX_i,X_jXi,Xj关于XkX_kXk条件独立

Diverging connection （tail-to-tail）

不观测XkX_kXk

P(Xi,Xj)=∑xkP(Xi,Xj,Xk)=∑xkP(Xk)P(Xj∣Xk)P(Xi∣Xk)P(X_i,X_j)=\sum_{x_k}P(X_i,X_j,X_k)=\sum_{x_k}P(X_k)P(X_j|X_k)P(X_i|X_k)P(Xi,Xj)=xk∑P(Xi,Xj,Xk)=xk∑P(Xk)P(Xj∣Xk)P(Xi∣Xk)

结果：X与Y并不是独立事件

观测XkX_kXk

P(Xi,Xk,Xj)=P(Xk)P(Xi∣Xk)P(Xj∣Xk)P(X_i,X_k,X_j)=P(X_k)P(X_i|X_k)P(X_j|X_k)P(Xi,Xk,Xj)=P(Xk)P(Xi∣Xk)P(Xj∣Xk)
P(Xi,Xj∣Xk)=P(Xi,Xk,Xj)P(Xk)=P(Xk)P(Xi∣Xk)P(Xj∣Xk)P(Xk)==P(Xi∣Xk)P(Xj∣Xk)P(X_i,X_j|X_k)=\frac{P(X_i,X_k,X_j)}{P(X_k)} =\frac{P(X_k)P(X_i|X_k)P(X_j|X_k)}{P(X_k)}==P(X_i|X_k)P(X_j|X_k)P(Xi,Xj∣Xk)=P(Xk)P(Xi,Xk,Xj)=P(Xk)P(Xk)P(Xi∣Xk)P(Xj∣Xk)==P(Xi∣Xk)P(Xj∣Xk)

结果：Xi,XjX_i,X_jXi,Xj关于XkX_kXk条件独立

Converging connection

不观测XkX_kXk

P(Xi,Xj)=∑xkP(Xi,Xj,Xk)=P(Xi)P(Xj)∑xkP(Xk)=P(Xi)P(Xj)P(X_i,X_j)=\sum_{x_k}P(X_i,X_j,X_k)=P(X_i)P(X_j)\sum_{x_k}P(X_k)=P(X_i)P(X_j)P(Xi,Xj)=xk∑P(Xi,Xj,Xk)=P(Xi)P(Xj)xk∑P(Xk)=P(Xi)P(Xj)

结果：X与Y是独立事件

观测XkX_kXk

P(Xi,Xj∣Xk)=P(Xi,Xk,Xj)P(Xk)=P(Xi)P(Xj)P(Xk∣Xi,Xj)P(Xk)P(X_i,X_j|X_k)=\frac{P(X_i,X_k,X_j)}{P(X_k)} =\frac{P(X_i)P(X_j)P(X_k|X_i,X_j)}{P(X_k)} P(Xi,Xj∣Xk)=P(Xk)P(Xi,Xk,Xj)=P(Xk)P(Xi)P(Xj)P(Xk∣Xi,Xj)

结果：Xi,XjX_i,X_jXi,Xj关于XkX_kXk 不是 条件独立

定义

在不同的已知条件下判断A，B是否属于D-Separationd时会得到不同的结果。
比如已知了C下可能判断出A 和B是d分离的，
但如果不知道c或者已知为节点D的状态或者不知道任何其他节点的状态，则可能得出的结果是A，B未分离的。

定义 D-Separation： 对于 DAG 图 E，且A，B是图中的两个节点，对于A和B之间的每个结点C，如果节点C满足如下两个条件之一，则认为A，B是D-Separationd：

the connection of C is serial or diverging and the state of C is observed;
the connection of C is converging and neither the state of C nor the state of any descendant of C is observed

简单的来说：在C可观测时候且 C是 serial 或者 diverging 连接时候，A，B是d分离的（独立）；在C不可观测时候且 C是 converging 连接时候，A，B是d分离的（独立）
反之：在C 不可观测时候且 C是 serial 或者 diverging 连接时候，A，B不是d分离的（独立）；在C 可观测时候且 C是 converging 连接时候，A，B 不是 d分离的（独立）

参考

参考_d-seperation_知乎
参考_d-seperation_博客园
参考_d-seperation_CSDN

概率图模型的d-separation概念相关推荐

概率图模型的一些基本概念与例子
概率图模型的一些基本概念与例子本文转自机器之心,作者Prasoon Goyal 原文链接如下:http://www.sohu.com/a/207319466_465975 概率图模型是人工智能领域内 ...
概率图模型（PGM）/马尔可夫随机场（MRF）/条件随机场基本概念(CRF)
概率图模型: 1:为什么引入图模型:一般的问题我们都可以用概率模型去很好的解决,那么为什么又要在概率的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率模型的结构可视化,应用图这是一种直 ...
机器学习笔记：概率图模型
公众号关注 "视学算法" 设为 "星标",DLCV消息即可送达! 来自 | 知乎作者丨苏一来源丨https://zhuanlan.zhihu.com/p/5 ...
【经典书】概率图模型：原理与技术
来源:专知本文为书籍,建议阅读5分钟概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向. 概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向.<概率图模型: ...
送你一份概率图模型笔记
来源:NewBeeNLP 本文长度为2700字,建议阅读6分钟本文为你分享一份概率图模型学习笔记,一起交流. 写在前面其实接触概率图模型也有一段时间了,从开始入坑NLP起,也陆陆续续看了很多关于图 ...
科普丨深度学习 vs 概率图模型 vs 逻辑学
今天,我们一起来回顾过去50年人工智能(AI)领域形成的三大范式:逻辑学.概率方法和深度学习.如今,无论依靠经验和"数据驱动"的方式,还是大数据.深度学习的概念,都已经深入人心,可 ...
深度学习 vs. 概率图模型 vs. 逻辑学
深度学习 vs. 概率图模型 vs. 逻辑学发表于2015-04-30 21:55|6304次阅读| 来源quantombone|1 条评论| 作者Tomasz Malisiewicz 深度学习de ...
林华达视角-概率图模型与计算机视觉
1. 概率模型与计算机视觉上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project: "lin ...
想了解概率图模型？你要先理解图论的基本定义与形式
图论一直是数学里十分重要的学科,其以图为研究对象,通常用来描述某些事物之间的某种特定关系.而在机器学习的世界里,我们希望从数据中挖掘出隐含信息或模型.因此,如果我们将图中的结点作为随机变量,连接作为相 ...
三维重建16：概率图模型模板类编程
刚刷了一部分网络题,又出了个模板类编程.没人能从面试中得到自己想要的方法,只能得到能看得到的结果!!! 一概率图模型贝叶斯模型,真是推导不出来了!贝叶斯函数貌似也写不出来了! 参考:斯坦福概率图模 ...

概率图模型的d-separation概念

文章目录

d-separation

公式推导