■ 数万年前,人类意识到某些事情的变化,会导致另外一些事情的发生,这开启了人们对因果的直觉性思考,使人类创造出了有组织的社会,直至我们今天的科技文明。
■ 2000多年前,哲学家亚里士多德提出四因说,他认为:只有理解了事物产生的原因,即事物的本原,才能真正了解这个事物,开启了人们对因果的哲学辩论。
■ 500多年前,现代科学诞生,科学界开始了对因果观念的逻辑分析。

只是近一个世纪以来,科学家们信奉“相关关系不等于因果关系”这句统计论断,统计学的传统教育逐渐形成了讳忌讨论因果的局面。

直到图灵奖得主、推动机器进行概率推理的“贝叶斯网络之父” Judea Pearl打破禁忌。他对AI深陷概率关联泥潭进行尖锐批评,放弃了概率推理,转而支持因果推断理论,认为实现强AI的突破口就在于因果推断理论。

2021年瑞典皇家科学院将诺贝尔经济学奖颁发给了三位对因果推断理论做出杰出贡献的科学家,因果推断一时炙手可热。

本文和后续的系列文章,将通过回答在科学史和思想史中的灵魂三问:什么是因果推断?为什么研究因果推断?怎么进行因果推断研究?由浅入深解读因果推断。


01 什么是因果推断?

关于因果关系,在《牛津哲学词典》的定义是,“当一个事件的出现导致、产生或决定了另一个事件的出现,这两个事件之间的关系就被称为因果关系。例如,外面正在下雨,不带雨具出门会被淋湿衣服。下雨和淋湿衣服之间就是因果关系, 下雨是原因,淋湿衣服是结果。

因果推断是统计学和数据科学的核心问题之一,在一种现象已经发生的情况下,推出因果关系结论的过程,就是因果推断。它在生物医学、经济管理和社会科学中有都有广泛应用,可以揭示变量之间的因果关系,发现现象背后的深层原因,比如:吸烟是否致癌?社会招聘是否存在性别歧视?也可以估计定量的因果效应,分析当原因改变时结果变量的响应,以帮助人们更科学的做决策干预,比如:教育水平如何影响一个人未来的收入?比如一种药物会使得病人生存期延长多少?等等。

因果推断也被认为是人工智能领域的一次范式革命,是近年来该领域的研究热点之一。未来,能否让AI像人一样思考?强人工智能是否能实现?为AI模型赋予因果关系思维似乎成了解答这些问题的必要因素和必经之路。

02 为什么研究因果推断?

当前的机器学习主要利用数据中的统计相关性进行建模。相关性的主要来源有:因果(causation)、混淆(confounding)、样本选择偏差(selection bias),三类分别对应以下三种结构:

上图:相关性的三个来源。其中,T表示原因;Y表示结果;X表示混淆变量;S表示选择偏差。黑色实心箭头表示直接因果关系,灰色虚线箭头表示假性相关关系。

其中,只有由因果(causation)产生的相关,即因果关系,是一种稳定的机制,不随环境变化而变化;也只有这种稳定的结构是可解释的。例如,无论是在哪个国家,夏天时候天气变热(原因:T ),会导致冰淇淋的数量(结果:Y )上升。

混淆(confounding)是指存在一个变量X ,该变量构成了T 和Y 的共同原因,如果忽略了X 的影响,那么T 和Y 之间存在假性相关关系:即T 并非产生Y 的直接原因。如果我们在夏天时候发现游泳溺水的人数增加,如果忽略了气温的影响,仅凭冰淇淋销量与溺水人数呈现出来的正向相关关系,则可能得出吃冰淇淋会导致游泳溺水的错误结论。

样本选择偏差(selection bias)也会产生相关性。当两个相互独立的变量T 和Y 产生了一个共同结果变量S ,引入S 则为T 和Y 之间打开了一条通路,从而误以为T 和Y 之间存在关联关系。例如,有些非常勤奋的人去参加了就业培训,同时因为他们的勤奋得到了非常好的工作,此时,如果只考虑这部分勤奋的人群,那么在样本选择偏差的背景下,会产生参加就业培训帮助人们得到了更好的工作;而现实的情况可能是就业培训对找工作并没有什么帮助。

大量研究表明:过于依赖统计相关的建模方式,存在着严重的理论缺陷:缺乏因果关系考虑,仅从数据中学习到的相关性可能是错误的。首先,利用相关性学习的模型,泛化能力和稳定性差,极易受到场景变化或数据中异常值的影响;再者,过度依赖数据拟合的机器学习模型就像是一个黑盒子,缺乏可解释性。

随着人工智能的应用从互联网领域向工业、医疗、金融等领域的拓展,人工智能技术的优化方向也逐渐开始从「性能驱动」转向「风险敏感」。在这样的背景下,缺乏稳定性和可解释性极大地限制了AI模型的落地。在机器学习模型中加入因果机制,似乎已经成为弥补机器学习理论缺陷,进一步发展人工智能技术的必经道路。因果关系的稳定性和可解释性,强大到可以让人们有足够的信心去做科学且安全的决策,进而提高效率、降低成本、防止损失。

工业界和学术界存在大量使用因果推断改进人工智能模型的研究和应用案例。例如,在传统的网络营销中,为了研究网页上【了解更多】按钮还是【获取方案】按钮更促进转化,我们需要进行严格的控制实验,通过A/B测试去测量各个元素的转化效果。这种方法往往受到很多现实因素的限制,且成本昂贵。然而,我们可以通过在现有数据上使用因果推断来实现该目标。

03 怎么进行因果推断研究?

当前有关因果推断的研究主要包括两个方向:一是因果发现(Causal Discovery),二是因果效应的估计(Causal Effect Estimation)。因果发现旨在从纷繁的数据中,挖掘出变量之间的因果关系,其本质是要找到用于描述变量间因果关系的图网络结构。因果效应估计主要研究原因变量对结果变量的影响程度,其本质是建立因果模型并输出对增量的预测值。

以电商平台中对商品进行动态调价的应用为例。平台上商品价格往往不是一成不变的,需要随产品生命周期和市场需求波动等动态变化,准确的定价往往对于完成销售及盈利目标等具有关键意义。

基于因果发现方法,可以从大量产品属性、店铺属性、促销日、商品价格、商品销量数据中挖掘出它们内在的因果关系。通过构建一张完备的因果图,定性地刻画不同变量之间的作用关系,从数据中挖掘出的本质规律,会帮助提供合理的定价决策方向。

为了进一步研究商品价格与销量之间的关系,我们以因果图为指导,使用因果效应估计方法,定量地确定出每家店铺中每一种商品的价格对销量的影响程度,用于制定精准的价格调整策略。

在现实生活中,人们通过行为干预(Intervention)认知因果。以冰淇淋的销量为例,虽然我们不能直接干预天气变化,但是我们可以通过选择在干旱地区,即那些即使在夏天也无人游泳的区域,比较冬天和夏天冰淇淋的销量,得出冰淇淋的销量会随着气温上升而增加的结论;同样,我们可以选择比较干旱地区和湿润地区的冰淇淋销量,得知冰淇淋销量的增加与溺水人数并无因果关系。这样的行为干预,直接表现为控制实验(Controlled Experiment)。严格的控制实验,已经成为了研究因果关系的经典方法。然而,因果革命还带来了另一个重要成果,即允许我们在不实际实施控制实验的情况下,仅仅从观测数据中进行因果发现,并对因果效应进行估计。

入门:因果推断 简介相关推荐

  1. 计算机术语表达因果,因果推断简介之五:因果图 (Causal Diagram)

    原标题:因果推断简介之五:因果图 (Causal Diagram) 编辑部于2019年10月在微信端开启<朝花夕拾>栏目,目的是推送2013年(含)之前主站发表的优秀文章,微信端与主站的同 ...

  2. 丁鹏:多角度回顾因果推断的模型方法

    来源:集智俱乐部本文约23000字,建议阅读20+分钟 本文整理自丁鹏老师的8篇短文,从多角度回顾了因果推断的各种模型方法. [ 导读 ] 推断因果关系,是人类思想史与科学史上的重要主题.现代因果推断 ...

  3. 多角度回顾因果推断的模型方法

    来源:AI干货知识库 推断因果关系,是人类思想史与科学史上的重要主题.现代因果推断的研究,始于约尔-辛普森悖论,经由鲁宾因果模型.随机试验等改进,到朱力亚·珀尔的因果革命,如今因果科学与人工智能的结合 ...

  4. 因果系列文章(1):因果推断及相关论文

    序 大家好,好久没有更新因果技术的文章了,从今天开始,我会开启一个新的专栏,和大家聊聊因果推断,一方面是给自己做一个技术沉淀,另一方面也是希望可以制造一个场,让对因果有兴趣的朋友们一起来讨论技术. 前 ...

  5. 因果推断, 因果效应概述

    概述 Q1: 因果推断定义? A: 从观测数据中学习规律, 然后预测不同的treatment对结果的不同影响. Q2: 为什么需要因果推断, 与传统有监督机器学习的区别? A: 传统的机器学习任务不涉 ...

  6. python 因果推断_因果推断书Causal inference:What if简介(附:因果推断书单推荐)...

    Causal Inference: What If 内容简介:本书由哈佛大学 Miguel Hernan.Jamie Robins 教授编著,对因果推理的概念和方法做了系统性阐述.该书在知乎等各大平台 ...

  7. 入门学习因果推断在智能营销/权益应用的通用框架

    废话文学一下:入门学习因果推断三周,总算是入了个门- 就着智能权益方面的两个问题(给什么人发券?+ 发什么券?)简单总结一下两个问题的通用框架 (借一张哈罗顺风车的图,如上) 可以从很多已经落地工程化 ...

  8. 收藏 | 因果推断书籍代码合集

    来源:计量经济学服务中心本文约2700字,建议阅读8分钟 本文为你介绍了因果推断书籍的代码合集. 1.Causal Inference: The Mixtape 来源: https://mixtape ...

  9. python 因果推断_KDD 2018:微软推出用于因果推断的Python库

    随着计算机系统在各领域的应用,例如医疗.教育.政府机关,正确预测并理解这些设备的因果影响是非常重要的.没有A/B测试,建立在模式识别和相关性分析上的传统的机器学习方法,是不足以解释因果推理的. 与用来 ...

最新文章

  1. Nat. Commun. | 条件GAN网络和基因表达特征用于类苗头化合物的发现
  2. RCP中product文件的用法
  3. .net中窗体之间的数据交换总结
  4. SQL CROSS JOIN
  5. 计算机怎么录制视频教程,怎么录制视频教程?查看电脑具体录屏方法
  6. 渗透测试入门14之渗透测试工具1
  7. Java反射详解_java反射详解
  8. 社区团购还是两看,从消极这个角度
  9. mysql oracle 左链接_mysql左连接与oracle(+)使用对照
  10. fastboot 刷入第三方 Recovery——Android 安装 Xposed 框架那点事
  11. 如何制作动态桌面(视频版)
  12. 数据挖掘案例实战:利用LDA主题模型提取京东评论数据(一)
  13. 【IObit】五大软件激活码( Advanced Systemcare....)
  14. 十七、HBase更新数据
  15. 女孩取名:带日字旁好听有内涵的女孩名字
  16. 支付 VS 清算 VS 结算
  17. python中for c in s是什么意思_以下程序s=3for c in Python:s=s+2print(s)的输出结果是:()...
  18. mysql 的 虚拟表(DUAL)的介绍及使用场景---条件插入insert
  19. 百度token怎么获取_【专栏精选】实战:百度语音识别
  20. gmsv源代码c语言,石器时代ABLua的原理、简介、过程、运用、收发

热门文章

  1. 2023年华数杯国际赛数学建模
  2. 万维网支持用户资源上行至服务器,万维网服务器
  3. 开发过程中 勘误表errata注意事项
  4. 希尔排序大详解,保证10分钟内学会希尔排序(进化版插入排序)
  5. Dynamo相关下载教程分享!(附软件包和Revit使用插件Revit Lookup下载教程)
  6. 把英文单词转换成ASCII画
  7. 电脑提示计算机缺失程序怎么办,电脑安装扫描仪驱动程序,提示文件丢失怎么办?这样解决...
  8. #include<intrins.h>中包含的函数说明
  9. python中pip安装、升级包用法详解
  10. 根据高程值批量修改等高线为计曲线工具,FME实现等高线批量修改成计曲线,根据高程值自动识别计曲线,解决地形图计曲线丢失问题,等高线批量提取计曲线,首曲线根据高程批量转换成计曲线