因果推断：Bundle Treatment

1 摘要& 2 introducation
- 介绍Bundle Treatment的定义
- - 介绍confounding bias
  - 介绍假设
  - 挑战
  - 思路
3 Problem Statement and Approach
- 证明Z和T独立等价于X和T独立
- 证明加权后的样本能够最优化反事实预测误差
- 3.2 使用VAE 学习潜表征Z
- 3.3 学习一个二分类器，满足给定一个数据点，输出label=0/label=1的概率（即样本权重）

1 摘要& 2 introducation

介绍Bundle Treatment的定义

treatment有很多种形式，例如二元、连续型、多值（ multi-level）等，bundle treatment通常被描述成一种高维的二值向量的集合，例如，在推荐系统中，bundle treatment可以是一些同时曝光的项目，这些项目是从一个大的候选池中选择的，处理的每个维度意味着相应的项目是否在捆绑中。

介绍confounding bias

例如，推荐系统中的产品曝光率通常与用户信息和访问历史相混淆。导致收集观察数据的分布和随机分配treatment的分布之间的差异，这种差异可能导致预测模型关注被分配策略赋予更大概率的treatment的结果估计，而忽略了其他treatment，因此，为了获得可靠的估计，我们需要通过分离混杂因素和治疗的关联性来减少观察性数据的混杂偏差。

介绍假设

假设原始处理一般是由一个低维的潜变量产生的。例如，在推荐系统中，被一起曝光的推荐项目通常由几个潜在因素决定，如项目类别和价格。捆绑处理设置下的数据生成过程可以被抽象为图1中的图示。因此，与其将高维的原始处理和混杂因素进行分离（T和X分离），不如通过推断处理的潜伏因素并将其与混杂因素进行分离（X和Z）来消除混杂偏差，这是一种自然的想法。

挑战

高维的treatment对于分离数据的confounding bias比较困难。（解决手段：假设引起高维bundle treatment的潜变量其结构是低维的，通过对潜表征的学习，并提出了一种variational sample re-weighting（VSR）的方法分离treatment和confounder，进而消除confounding bias）

思路

使用VAE去学习潜表征，并推导出基于神经网络的密度比估计来分离X和Z，通过汇总潜变量的整个变异分布中的密度比来计算样本权重的分布，而不是点估计。

3 Problem Statement and Approach

证明Z和T独立等价于X和T独立

证明加权后的样本能够最优化反事实预测误差

3.2 使用VAE 学习潜表征Z

得到encoderP(T∣Z)P(T|Z)P(T∣Z)和decoder P(Z∣T)P(Z|T)P(Z∣T)

3.3 学习一个二分类器，满足给定一个数据点，输出label=0/label=1的概率（即样本权重）

因果推断领域的经典样本权重学习方法几乎都集中在二元treatment的处理中，很难扩展到对潜变量和混杂因素的分离。为了解决这个问题，我们引入了基于深度神经网络的密度比估计方法[30]。
我们将来自观察数据集(xi,z),1≤i≤n{(x_i , z)}, 1≤i≤n(xi,z),1≤i≤n , z∼q(z∣ti)z ∼ q(z|t_i)z∼q(z∣ti)的转换数据点作为正样本(L = 1)，将去除相关的目标数据集(xi,z),1≤i≤n{(x_i,z)}, 1≤i≤n(xi,z),1≤i≤n, z∼p(z)z ∼ p(z)z∼p(z)(高斯分布)的数据点作为负样本(L = 0)。将这些数据点拟合到基于深度神经网络的分类器pθ（L∣X，Z）p_θ（L|X，Z）pθ（L∣X，Z）中后，我们可以通过贝叶斯定理得到空间X×Z的密度比。

其中p(L∣X,Z)p(L|X, Z)p(L∣X,Z)是由分类器pθ(L∣X,Z)p_θ(L|X, Z)pθ(L∣X,Z)估计的，而p(L=1)/p(L=0)对所有数据点都等于1(?)。我们的VSR算法的示意图如图2所示。上述整个过程可以看作是对训练数据的预处理，通过预处理可以有效减少原始数据中的混杂偏差，之后可以无缝地应用任何现成的预测模型。

参考链接：
https://hub.baai.ac.cn/view/4476

因果推断1:Counterfactual Prediction for Bundle Treatment(NeurIPS 2020)相关推荐

因果推断研究获2021诺贝尔经济学奖
来源:集智俱乐部北京时间2021 年 10 月 11 日 17 时许,2021 年诺贝尔经济学奖,授予了三位经济学家--David Card因为对"对劳动经济学的实证研究贡献" ...
因果推断与反事实预测——盒马KDD2021的一篇论文（二十三）
文章目录 1 已有研究者的描述 1.1 YuyangZhangFTD 1.1.1 Introduction 1.1.2 Problem Formulation 1.1.3 Counterfactual ...
因果推断笔记——工具变量、内生性以及DeepIV（六）
文章目录 1 理论介绍 1.1 工具变量的三个条件 1.2 工具变量的效应估计 1.3 工具变量第四类条件:同质性 1.4 工具变量第四类条件:单调性 1.5 工具变量三个条件的剖析 1.6 一些对和 ...
因果推断与反事实预测——几篇关联论文（二十六）
有几篇关联的论文,如果论文开源代码了,笔者比较喜欢读+code练习,所以看这类文献比较慢,先Mark再精读了- 文章目录 1 Auto IV: Counterfactual Prediction vi ...
因果推断笔记——数据科学领域因果推断案例集锦（九）
文章目录 1 腾讯看点:启动重置问题 1.1 观测数据 . 实验数据的理论介绍 2.2 启动重置问题阐述:短期.长期.异质 2.3 短期影响的解决 2.4 长期影响构造准实验 2.5 异质性用户 1. ...
因果推断笔记——自整理因果推断理论解读（七）
之前有整理过一篇:因果推断笔记-- 相关理论:Rubin Potential.Pearl.倾向性得分.与机器学习异同(二) 不过,那时候刚刚开始学,只能慢慢理解,所以这边通过一轮的学习再次整理一下手里 ...
因果推断笔记——因果图建模之微软开源的EconML（五）
文章目录 1 EconML介绍 1.1 EconML介绍 1.2 一些理论解答 1.3 常规CATE的估计器 1.4 IV工具变量 + CATE的估计器 1.5 动态处理效应的估计器 2 智能营销案例 ...
因果推断, 因果效应概述
概述 Q1: 因果推断定义? A: 从观测数据中学习规律, 然后预测不同的treatment对结果的不同影响. Q2: 为什么需要因果推断, 与传统有监督机器学习的区别? A: 传统的机器学习任务不涉 ...
因果推断1--基本方法介绍（个人笔记）
目录一.因果推断介绍 1.1 什么是因果推断 1.2为什么研究因果推断 1.3因果推断阶梯 1.4因果推断问题分类二.因果推断理论框架 2.1 定义(这些定义后面会经常用到) 2.2 Assump ...

因果推断1:Counterfactual Prediction for Bundle Treatment(NeurIPS 2020)