因果推断理论框架 Potenial Outcomes Framework
1.Potenial Outcomes Framework
因果效应通常无法直接计算(无法同时观测一个样本施加和不施加干预的结果)，所以通常是通过观测数据推断，由于相关性≠\neq=因果性，观测结果不直接等于ATE，Potenial Outcomes Framework提供了一套从观测结果获得因果效应的理论
定义：
XXX： 协变量
TTT：T=1干预组，T=0对照组
YYY：observed outcome观测结果
Y0,Y1Y_0,Y_1Y0,Y1：potential outcome潜在结果，如果接受干预T=1或者T=0时的潜在结果
E(Y0),E(Y1){E}(Y_0),{E}(Y_1)E(Y0),E(Y1)：潜在结果的均值，如果所有人接受干预T=1(或者T=0)的均值
ATE(average causal treatment effect) ：
Δ=μ1−μ0=E(Y1)−E(Y0)\Delta = \mu_1-\mu_0 = {E}(Y_1) - {E}(Y_0) Δ=μ1−μ0=E(Y1)−E(Y0)
2.Observation Studies
针对某个样本无法同时获得T=1和T=0的结果，样本的潜在结果Y可以写为：Y=Y1T+Y0(1−T)Y = Y_1T + Y_0(1-T)Y=Y1T+Y0(1−T)。通常情况下是无法从观测数据直接得到ATE的。由于confounders的存在，T=1和T=0组无法直接比较，导致相关性≠\neq=因果性，相关性可由观测结果得到，因果性即为需要计算的ATE。
相关性：E(Y∣T=1)−E(Y∣T=0)E(Y|T=1)-E(Y|T=0)E(Y∣T=1)−E(Y∣T=0) 因果性：E(Y1)−E(Y0)E(Y_1)-E(Y_0)E(Y1)−E(Y0)
2.1 相关性≠\neq=因果性举例
一组观测数据发现穿鞋睡觉和醒来头痛有强相关性，这明显不符合常识：
E(Y∣T=1)−E(Y∣T=0)=E(头痛=1∣穿鞋睡觉=1)−E(头痛=1∣穿鞋睡觉=0)E(Y|T=1)-E(Y|T=0)=E(头痛=1|穿鞋睡觉=1)-E(头痛=1|穿鞋睡觉=0)E(Y∣T=1)−E(Y∣T=0)=E(头痛=1∣穿鞋睡觉=1)−E(头痛=1∣穿鞋睡觉=0)
但是穿鞋睡觉和头痛相关，实际上是由confounder喝酒引起的。从下图中可以看到，T=1穿鞋睡觉组和T=0组喝酒人数占比相差很大。所以，要得到穿鞋睡觉对头痛的因果效应(ATE)，需刨除喝酒影响，使得两组喝酒人数占比一致，这样两组数据结果才是可比的。 
2.2 相关性≠\neq=因果性证明
Y‾(1)\overline Y^{(1)}Y(1)为观测到的T=1的所有样本均值
Y‾(1)=E(Y∣T=1)=E(Y1T+Y0(1−T)∣T=1)=E(Y1∣T=1)(1)\overline Y^{(1)} = {E}(Y|T=1) = {E}( Y_1T + Y_0(1-T)|T=1) = {E}( Y_1|T=1) \tag1Y(1)=E(Y∣T=1)=E(Y1T+Y0(1−T)∣T=1)=E(Y1∣T=1)(1) 但是 E(Y1∣T=1)≠E(Y1){E}(Y_1|T=1) \neq {E}(Y_1)E(Y1∣T=1)=E(Y1) ，因为E(Y1){E}(Y_1)E(Y1)是所有样本接受干预的潜在结果的均值。
E(Y1∣T=1)−E(Y0∣T=0)=E(Y1−Y0∣T=1)⏞ATT+E(Y0∣T=1)−E(Y0∣T=0)⏞bias≠Δ≠E(Y1)−E(Y0)(2)\begin{aligned} {E}(Y_1|T=1)-{E}(Y_0|T=0) &= \overbrace{ {E}(Y_1-Y_0|T=1)}^{ATT} +\overbrace{ {E}(Y_0|T=1) - {E}(Y_0|T=0)}^{bias} \\ &\neq \Delta \neq {E}(Y_1) - {E}(Y_0) \tag2 \end{aligned} E(Y1∣T=1)−E(Y0∣T=0)=E(Y1−Y0∣T=1)ATT+E(Y0∣T=1)−E(Y0∣T=0)bias=Δ=E(Y1)−E(Y0)(2)
3.RCT随机实验
和观测数据比，RCT实验数据符合一下条件：
(Y0,Y1)⊥T⟺X⊥T{(Y_0,Y_1)} \bot {T} \iff X \bot T (Y0,Y1)⊥T⟺X⊥T Y1⊥T{Y_1} \bot {T}Y1⊥T表示对于观测到T=0的样本，如果接受干预，其潜在结果和T=1的样本一致。即是否接受干预对潜在结果无影响(直观理解是由于T⊥XT \bot XT⊥X，T=1和T=0两组人群可比，所以施加干预得到的潜在结果一致)：
E(Y1∣T=1)=E(Y1∣T=0)=E(Y1)(3){E}(Y_1|T=1) = {E}(Y_1|T=0)= {E}(Y_1) \tag3E(Y1∣T=1)=E(Y1∣T=0)=E(Y1)(3) E(Y1∣T=0){E}(Y_1|T=0)E(Y1∣T=0)是反事实对照结果，表示如果未干预组样本接受干预的潜在结果。由于一致性假设(将在下面阐述)，T=1的潜在结果和实际观测结果一致，即E(Y1∣T=1)=Y‾(1)E(Y_1|T=1)=\overline Y^{(1)}E(Y1∣T=1)=Y(1)
由于3式成立，
Y‾(1)−Y‾(0)=Δ=E(Y1)−E(Y0)\overline Y^{(1)}-\overline Y^{(0)} = \Delta = {E}(Y_1) - {E}(Y_0)Y(1)−Y(0)=Δ=E(Y1)−E(Y0)
4. 获得ATE无偏估计的假设
4.1 Unconfoundedness
conditional ignorability ??
exchangeability
- 对于RCT实验数据，exchangeability：Y1⊥T{Y_1} \bot {T}Y1⊥T，如公式3所示，表示干预T与潜在结果YtY_tYt无关；
- 对于观测数据，conditional exchangeability：Y1⊥T∣X{Y_1} \bot \ T|XY1⊥ T∣X
- Unconfoundedness is an untestable assumption
4.2 Positivity
- 0<P(T=1∣X)<10<P(T=1|X)<10<P(T=1∣X)<1 ，在某个x下，如果全是treatment要么全是control，则无法计算真实ATE，此时causal effect是ill-defined（且在部分概率推到中导致除0）
- 根据贝叶斯公式，这条假设也叫Overlap between P(X|T=1) & P(X|T=0)
- 如果某些变量违背此假设，叫positivity violation，某些情况下我们可以外推结果
4.3 Consistency
- T=t⇒Y=Y(t)T=t \Rightarrow Y=Y(t)T=t⇒Y=Y(t) ，此假设一般默认成立，排除confounder影响后或在实验设计中，所有样本施加同样的T，结果是一致的。举例：T为是否养狗，Y为是否开心，如果只要养狗，Y就等于开心则假设成立。如果养了一只金毛T=1，结果Y=1；养了一只哈士奇T=1,，结果Y=0。说明T定义不合理，需重新设计实验。
5. Adjustment
Adjustment by regression modeling
如果X包含所有confounders(sufficient adjustment sets)，则数据满足如下条件：
(Y0,Y1)⊥T∣X{(Y_0,Y_1)} \bot {T|X} (Y0,Y1)⊥T∣X 给可以理解为，给定XXX条件下TTT和Y1Y_1Y1垂直，取某个X值时，组里X都是一样，结果差异不由confounders导致，阻断了X->Y的因果路径。
通过观测数据推断因果效应(ATE)公式推导如下：
参考资料
因果推断—原理与方法（深度好文）
Propensity Score Methods总结
Potential Outcome - Brady Neal
因果推断理论框架 Potenial Outcomes Framework相关推荐
- 因果推断笔记——自整理因果推断理论解读（七）
之前有整理过一篇:因果推断笔记-- 相关理论:Rubin Potential.Pearl.倾向性得分.与机器学习异同(二) 不过,那时候刚刚开始学,只能慢慢理解,所以这边通过一轮的学习再次整理一下手里 ...
- 因果推断1--基本方法介绍（个人笔记）
目录 一.因果推断介绍 1.1 什么是因果推断 1.2为什么研究因果推断 1.3因果推断阶梯 1.4因果推断问题分类 二.因果推断理论框架 2.1 定义(这些定义后面会经常用到) 2.2 Assump ...
- AI研习丨专题：因果推断与因果性学习研究进展
来源:<中国人工智能学会通讯> 2020年 第10卷 第5期 机器学习及其应用专题 0 引言 因果关系一直是人类认识世界的基本方式和现代科学的基石.爱因斯坦就曾指出,西方科学的发展是 ...
- 现代统计的思想飞跃，因果推断！
丁鹏 | 作者 雷博文.孔令仁 | 编辑 <数学文化>2021/第 12 卷第 2 期 | 来源 1. 引言 探求事物的原因,是人类永恒的精神活动之一.从古希腊的哲学到中国先秦的诗歌,都充 ...
- 因果推断——现代统计的思想飞跃
来源:数学文化"公众号 编辑:李达 审核:范杰.李祺垣 1 引言 探求事物的原因,是人类永恒的精神活动之一.从古希腊的哲学到中国先秦的诗歌,都充满了对原因的追问和对因果关系的思考.比如,亚里 ...
- 因果推断—现代统计的思想飞跃：过去、现在到未来（伯克利丁鹏博士万字长文）...
来源:专知本文约12400字,建议阅读10+分钟 本文将回顾统计因果推断的历史背景,评述中国因果推断研究的现状,并且大胆推测它未来的发展前景. 转载自<数学文化>2021/第 12 卷第 ...
- 【机器学习】机器学习视角下的因果推断
机器学习可以通过样本直接匹配以及提升倾向性得分(PSM)准确度来实现样本的精准匹配,使得样本对反事实预测的研究更具有随机化实验的特性.本文从匹配法.断点回归法.双重差分法.合成控制法四个方面讲解机器学 ...
- 因果推断中期学习小结
废话文学一下:入门学习因果推断三周,总算是入了个门 来集结一下前十篇分别是: 因果推断笔记--因果图建模之微软开源的dowhy(一)[1] 因果推断笔记-- 相关理论:Rubin Potential. ...
- 【因果学习】因果推断分析
#01.因果推断概念 相关不是因果,事物间的因果关系常常是我们经常要面对和分析的问题,研究因果的意义是我们需要理解数据并据此做出进一步的行动和决策.比如对于我们而言,常常会想要知道"学历越高 ...
- 史上最全因果推断合集-10（滴滴的国际化外卖团队智能补贴实战）
桔妹导读:随着因果推断理论体系(Casual Inference)的建立和补充,智能营销/智能补贴近年来在业界有了越来越多的落地成果.滴滴的国际化外卖团队DiDi Food自2020年上半年起开始推进 ...
最新文章
- 2019ug最新版本是多少_UGNX将在2019年发布最新版本，也是最后一个版本，让人更意想不到的是它的这项新功能！...
- nefu 628 Garden visiting
- 10分钟教你看懂mongodb的npm包
- ASP.NET 2.0 学习笔记 1: session 与 script 应用
- easyui一行显示多行_easyui datagrid以及oracle中的多行合并一行
- 消息中间件系列(六)：什么是流量削峰？如何解决秒杀业务的削峰场景
- CPU：别再拿我当搬砖工！
- VS2005常用插件
- 【分治】动态点分治 （[ZJOI2007]捉迷藏）
- 对HTML（HyperText Markup Language)的认识以及总结
- PyQt+PyQtWebEngine+Spyder问题小结
- ei会议和ei源刊的区别_ei和核心期刊的区别在哪里?
- 服务器上的光信号出现红点怎么办,光纤猫光信号闪红灯无法上网怎么办
- 在线观看北京奥运会直播 在网上看奥运会直播
- 网络工程设计教程系统集成方法第3版-第1章 网络工程设计概述
- 事务transactional详解
- OTG 线结构原理及注意事项
- 定时启动软件的脚本。同时也适用于定时打开游戏。
- LiveVideoStackCon 2018参会见闻
- 数字化转型大咖群研讨实录20210506