主题.

图模型 GraphicalModels\rm Graphical~ModelsGraphical Models 与统计分析因果性 Causality\rm CausalityCausality 之间的关系。

因果模型.

图模型是我们用于研究因果性的重要助力，Pearl\rm PearlPearl 在该文章中重点就是讨论图模型如何与因果模型关联起来。
区别于一般的联合分布告诉我们某个事件发生的可能性有多大，因果模型还会给出系统中出现外部干预时概率的变化情况。
基于图模型来研究因果性面临着以下两个挑战：
①①① 如何将复杂的外部干预融入图模型中予以组织、表示；
②②② 如何利用图模型来促进对于外部干预影响的预测任务。
在图模型中引入外部干预非常易于执行，这一良好性质根源于图模型本身。Simon\rm SimonSimon 于 197719771977 年对其进行了简要的论述：

Pearl\rm PearlPearl 和 Verma\rm VermaVerma 于 199119911991 年提出了概率因果理论，即有向无环图 G\mathcal GG 中的每个节点与其父亲节点集合之间的关系由函数 fff 形式化描述：Xi=fi(pai,ϵi)(1)X_i=f_i({\rm pa}_i,\epsilon_i)\tag{1}Xi=fi(pai,ϵi)(1)并且整个概率图的联合分布依旧满足马尔可夫性：P(x1,x2,⋯,xn)=∏i=1nP(xi∣pai)(2)P(x_1,x_2,\cdots,x_n)=\prod_{i=1}^nP(x_i|{\rm pa}_i)\tag{2}P(x1,x2,⋯,xn)=i=1∏nP(xi∣pai)(2)
(1)(1)(1) 式中函数 fif_ifi 代表了一种确定性映射法则，如果将由于外部干预而造成法则 fif_ifi 的改变表示为随机变量 FiF_iFi，那么 (1)(1)(1) 式可以更加普遍地写为：Xi=hi(pai,Fi,ϵi)(3)X_i=h_i({\rm pa}_i,F_i,\epsilon_i)\tag{3}Xi=hi(pai,Fi,ϵi)(3)当 Fi=fiF_i=f_iFi=fi 时，有 hi(pai,Fi,ϵi)=fi(pai,ϵi).h_i({\rm pa}_i,F_i,\epsilon_i)=f_i({\rm pa}_i,\epsilon_i).hi(pai,Fi,ϵi)=fi(pai,ϵi).
(3)(3)(3) 式的意义在于，对于任意外部干预引起的映射法则变化 FiF_iFi 可以通过为 XiX_iXi 增加父亲节点这一操作融入图模型中进行表示。

外部干预.

最简单的外部干预 FiF_iFi 就是将随机变量 XiX_iXi 的取值固定，例如：Fi=set(Xi=a)(4)F_i={\rm set}(X_i=a)\tag{4}Fi=set(Xi=a)(4)这一外部干预等价于用 Xi=aX_i=aXi=a 这一等式关系替换 (1)(1)(1) 式。
(4)(4)(4) 式代表的外部干预反映在 DAG\rm DAGDAG 图中为一条新增的边 Fi→XiF_i\rightarrow X_iFi→Xi ，下图中分别以 Γ,Γ′\Gamma,\Gamma'Γ,Γ′ 表示原概率图和新概率图：
如果 Fi∈{null,set(Xi=a)}F_i\in\big\{{\rm null},{\rm set}(X_i=a)\big\}Fi∈{null,set(Xi=a)}，那么变量 XiX_iXi 的父结点集合更新为 pai′=pai⋃{Fi}{\rm pa}_i'={\rm pa}_i\bigcup\{F_i\}pai′=pai⋃{Fi}，对应的条件概率分布更新如下：P(xi∣pai′)={P(xi∣pai),F=null1,F=set(Xi=a)∧xi=a0,F=set(Xi=a)∧xi≠a(5)P(x_i|{\rm pa}_i')=\left\{\begin{aligned}&P(x_i|{\rm pa}_i)~,~F={\rm null}\\ &1~~~~~~~~~~~~~~~,~F={\rm set}(X_i=a)\wedge x_i=a\\ &0~~~~~~~~~~~~~~~,~F={\rm set}(X_i=a)\wedge x_i\neq a\\ \end{aligned}\right.\tag{5}P(xi∣pai′)=⎩⎪⎨⎪⎧P(xi∣pai) , F=null1 , F=set(Xi=a)∧xi=a0 , F=set(Xi=a)∧xi=a(5)其中 null\rm nullnull 表示不做外部干预。
(2)(2)(2) 式中的联合分布 P(x1,x2,⋯,xn)P(x_1,x_2,\cdots,x_n)P(x1,x2,⋯,xn) 由于外部干预 set(Xi=a){\rm set}(X_i=a)set(Xi=a) 的影响，更新为 Pa(x1,x2,⋯,xn)P_{a}(x_1,x_2,\cdots,x_n)Pa(x1,x2,⋯,xn)：Pa(x1,x2,⋯,xn)=P′(x1,x2,⋯,xn∣Fi=set(Xi=a))(6.1)P_a(x_1,x_2,\cdots,x_n)=P'\Big(x_1,x_2,\cdots,x_n|F_i={\rm set}(X_i=a)\Big)\tag{6.1}Pa(x1,x2,⋯,xn)=P′(x1,x2,⋯,xn∣Fi=set(Xi=a))(6.1)其中 P′P'P′ 是由新概率图 Γ′=Γ⋃{Fi}\Gamma'=\Gamma\bigcup\{F_i\}Γ′=Γ⋃{Fi} 确定的联合分布。
对 (6.1)(6.1)(6.1) 式进一步分析可知：P′(x1,x2,⋯,xn∣Fi=set(Xi=a))=P′(xi∣x1,x2,⋯,xi−1,xi+1,⋯,xn,Fi=set(Xi=a))⋅P′(x1,x2,⋯,xi−1,xi+1,⋯,xn∣Fi=set(Xi=a))=P′(xi∣Fi=set(Xi=a))⋅P′(x1,x2,⋯,xi−1,xi+1,⋯,xn)\begin{aligned}&P'\Big(x_1,x_2,\cdots,x_n\Big|F_i={\rm set}(X_i=a)\Big)\\&=P'\Big(x_i\Big|x_1,x_2,\cdots,x_{i-1},x_{i+1},\cdots,x_n,F_i={\rm set}(X_i=a)\Big)\\&\cdot P'\Big(x_1,x_2,\cdots,x_{i-1},x_{i+1},\cdots,x_n\Big|F_i={\rm set}(X_i=a)\Big)\\ &=P'\Big(x_i\Big|F_i={\rm set}(X_i=a)\Big)\cdot P'\Big(x_1,x_2,\cdots,x_{i-1},x_{i+1},\cdots,x_n\Big) \end{aligned}P′(x1,x2,⋯,xn∣∣∣Fi=set(Xi=a))=P′(xi∣∣∣x1,x2,⋯,xi−1,xi+1,⋯,xn,Fi=set(Xi=a))⋅P′(x1,x2,⋯,xi−1,xi+1,⋯,xn∣∣∣Fi=set(Xi=a))=P′(xi∣∣∣Fi=set(Xi=a))⋅P′(x1,x2,⋯,xi−1,xi+1,⋯,xn)并且有：P′(xi=a∣Fi=set(Xi=a))=1P'\Big(x_i=a|F_i={\rm set}(X_i=a)\Big)=1P′(xi=a∣Fi=set(Xi=a))=1P′(xi≠a∣Fi=set(Xi=a))=0P'\Big(x_i\neq a|F_i={\rm set}(X_i=a)\Big)=0P′(xi=a∣Fi=set(Xi=a))=0因此得到如下表达式：Pa(x1,x2,⋯,xn)={P(x1,x2,⋯,xn)P(xi∣pai),xi=a0,xi≠a(6.2)P_a(x_1,x_2,\cdots,x_n)=\left\{\begin{aligned} &\cfrac{P(x_1,x_2,\cdots,x_n)}{P(x_i|{\rm pa}_i)}~,~x_i=a\\ &0~~~~~~~~~~~~~~~~~~~~~~~~~~~~~,~x_i\neq a\\ \end{aligned}\right.\tag{6.2}Pa(x1,x2,⋯,xn)=⎩⎪⎨⎪⎧P(xi∣pai)P(x1,x2,⋯,xn) , xi=a0 , xi=a(6.2)观察 (6.2)(6.2)(6.2) 式发现，Pa(x1,x2,⋯,xn)P_a(x_1,x_2,\cdots,x_n)Pa(x1,x2,⋯,xn) 的值等于从联合分布 ∏k=1nP(xk∣pak)\prod_{k=1}^n P(x_k|{\rm pa}_k)∏k=1nP(xk∣pak) 中移除了第 iii 项 P(xi∣pai).P(x_i|{\rm pa}_i).P(xi∣pai).
(6.2)(6.2)(6.2) 式是容易理解的，因为外部干预 FiF_iFi 的存在，原父亲节点集合 pai{\rm pa}_ipai 对于 XiX_iXi 不再产生影响。

从 (6.1)(6.1)(6.1) 式可以推知以下等式：Pa(S∣pai)=P(S∣xi=a,pai)(7)P_a(S|{\rm pa}_i)=P(S|x_i=a,{\rm pa}_i)\tag{7}Pa(S∣pai)=P(S∣xi=a,pai)(7)其中 SSS 是任意变量集合。(7)(7)(7) 式之所以成立，是因为集合 {Xi}⋃pai\{X_i\}\bigcup{\rm pa}_i{Xi}⋃pai 有向分割 d−separated-{\rm separate}d−separate 了 FiF_iFi 与 G\mathcal GG 的其余部分，因此有以下的条件独立性成立：S⊥⁣ ⁣ ⁣ ⁣⊥(Fi∣{Xi}⋃pai)S\perp\!\!\!\!\perp\Big(F_i\Big|\{X_i\}\bigcup{\rm pa}_i\Big)S⊥⊥(Fi∣∣∣{Xi}⋃pai)
【疑惑】参考概率图 Γ′\Gamma'Γ′，实际上集合 {Xi}\{X_i\}{Xi} 就能够有向分割 FiF_iFi 与 G\mathcal GG 的其他部分。

(6.2)(6.2)(6.2) 式明确如下事实：我们可以从进行干预前的分布 P(x1,x2,⋯,xn)P(x_1,x_2,\cdots,x_n)P(x1,x2,⋯,xn) 中推知干预后的分布 Pa(x1,x2,⋯,xn).P_a(x_1,x_2,\cdots,x_n).Pa(x1,x2,⋯,xn).

当估计 (6.2)(6.2)(6.2) 式中分母 P(xi∣pai)P(x_i|{\rm pa}_i)P(xi∣pai) 有难度时，可以从 (6.1)(6.1)(6.1) 式入手。以概率 Pa(xj)P_a(x_j)Pa(xj) 为例，根据 (6.1)(6.1)(6.1) 式可得：Pa(xj)=P′(xj∣Fi=set(Xi=a))=∑SP′(xj∣S,Fi)⋅P′(S∣Fi)\begin{aligned}P_a(x_j) &=P'\Big(x_j\Big|F_i={\rm set}(X_i=a)\Big)\\ &=\sum_SP'\Big(x_j\Big|S,F_i\Big)\cdot P'\big(S|F_i\big)\\ \end{aligned}Pa(xj)=P′(xj∣∣∣Fi=set(Xi=a))=S∑P′(xj∣∣∣S,Fi)⋅P′(S∣Fi)观察发现：P′(xj∣S,Fi)=∑xiP′(xj∣xi,S,Fi)⋅P′(xi∣S,Fi)=P′(xj∣Xi=a,S,Fi)⋅P′(Xi=a∣S,Fi)=P′(xj∣Xi=a,S,Fi)\begin{aligned}P'\Big(x_j\Big|S,F_i\Big)&=\sum_{x_i}P'\Big(x_j\Big|x_i,S,F_i\Big)\cdot P'\Big(x_i\Big|S,F_i\Big)\\ &=P'\Big(x_j\Big|X_i=a,S,F_i\Big)\cdot P'\Big(X_i=a\Big|S,F_i\Big)\\ &=P'\Big(x_j\Big|X_i=a,S,F_i\Big) \end{aligned}P′(xj∣∣∣S,Fi)=xi∑P′(xj∣∣∣xi,S,Fi)⋅P′(xi∣∣∣S,Fi)=P′(xj∣∣∣Xi=a,S,Fi)⋅P′(Xi=a∣∣∣S,Fi)=P′(xj∣∣∣Xi=a,S,Fi)将其代入上式得到：Pa(xj)=∑SP′(xj∣Xi=a,S,Fi)⋅P′(S∣Fi)(8.1)P_a(x_j)=\sum_SP'\Big(x_j\Big|X_i=a,S,F_i\Big)\cdot P'\big(S|F_i\big)\tag{8.1}Pa(xj)=S∑P′(xj∣∣∣Xi=a,S,Fi)⋅P′(S∣Fi)(8.1)
如果有 S⊥⁣ ⁣ ⁣ ⁣⊥FiS\perp\!\!\!\!\perp F_iS⊥⊥Fi 和 Xj⊥⁣ ⁣ ⁣ ⁣⊥(Fi∣{Xi}⋃S)X_j\perp\!\!\!\!\perp\Big(F_i\Big|\{X_i\}\bigcup S\Big)Xj⊥⊥(Fi∣∣∣{Xi}⋃S) 成立，那么 (8.1)(8.1)(8.1) 式可以简化为：Pa(xj)=∑SP(xj∣S,Xi=a)⋅P(S)=ES[P(xj∣S,Xi=a)](8.2)P_a(x_j)=\sum_SP\Big(x_j\Big|S,X_i=a\Big)\cdot P(S)=\mathbb E_S\Big[P\Big(x_j\Big|S,X_i=a\Big)\Big]\tag{8.2}Pa(xj)=S∑P(xj∣∣∣S,Xi=a)⋅P(S)=ES[P(xj∣∣∣S,Xi=a)](8.2)(8.2)(8.2)(8.2) 式的意义在于指明可以通过对分布 P(xj∣S,Xi=a)P\Big(x_j\Big|S,X_i=a\Big)P(xj∣∣∣S,Xi=a) 求取期望来获得对 Pa(xj)P_a(x_j)Pa(xj) 的估计。
另外可以证明，所以满足 Back−DoorCriterion\rm Back-Door~CriterionBack−Door Criterion 的集合 SSS 都满足 (8.2)(8.2)(8.2) 式的简化条件。

【XAI】Comment: Graphical Models, Causality and Intervention相关推荐

【Python】django模型models的外键关联使用
[Python]django模型models的外键关联使用 Python 2.7.10,django 1.8.6 外键关联:http://www.bubuko.com/infodetail-61830 ...
【ReID】Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional...
[ReID]Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Bas ...
【XAI】Adversarial Defense Framework for Graph Neural Network
文章目录简述. DefNet. Dual-Stage Aggregation. Bottleneck Perceptron. Adversarial Contrastive Learning. 实验 ...
【机器视觉】 comment算子
00. 目录文章目录 00. 目录 01. 概述 02. 签名 03. 描述 04. 注意 05. 参数 06. 结果 07. 附录 01. 概述 comment - 为程序添加一行注释. 02. ...
【XAI】Nettack IG-JSMA
文章目录前言. 问题形式化. Nettack. IG-JSMA. 实验. Nettack. IG-JSMA. 细节与补充. 前言. Nettack\rm NettackNettack 和 IG−JS ...
【XAI】Axiomatic Attribution for Deep Networks
【机器视觉】机器视觉博客汇总
00. 目录文章目录 00. 目录 01. 机器视觉概述 02. 机器视觉环境搭建 03. Halcon初级教程 04. Halcon中级教程 05. Halcon高级教程 06. Halcon与Q ...
PRML读书会第五期——概率图模型(Graphical Models)【上】
PRML读书会第五期--概率图模型(Graphical Models) 前言本人系浙江大学人工智能协会(ZJUAI)会员.本学期协会正在举办PRML读书会系列活动,笔者在活动中负责部分记录工作. 下 ...
【RS】Local Latent Space Models for Top- N Recommendation-利用局部隐含空间模型进行Top-N推荐...
[论文标题]Local Latent Space Models for Top- N Recommendation (KDD-2018 ) [论文作者]-Evangelia Christakopou ...

【XAI】Comment: Graphical Models, Causality and Intervention

文章目录

主题.

因果模型.

外部干预.

【XAI】Comment: Graphical Models, Causality and Intervention相关推荐

最新文章

热门文章