所谓高手,就是把自己活成了贝叶斯定理
原创: Anglophile 自私的美德 2018-10-27

人生中最重要的问题,在绝大多数情况下,真的就只是概率问题。 --- 皮埃尔-西蒙·拉普拉斯(1749-1827)

先讲一个真实的故事。

我的一个夫妻朋友有了二胎,由于太太年龄较大,所以医生警告说,你们的孩子有可能会得唐氏综合症。朋友很紧张,那怎么办?医生说,可以做羊水穿刺,以确诊是不是真的得了。朋友很开心。不过呢,医生又说,羊水穿刺也有可能会失败,那样你们的孩子就没了。这下朋友纠结了,一边是唐氏综合症,一边是孩子没了,这可怎么做决定?

医生后来又说,高龄产妇得唐氏综合症的概率大约是2%,羊水穿刺检测失败的概率大约是1%。这下简单了,坚决不做啊。

所以,我们发现,一旦知道了某件事情发生的准确概率,我们的决定就瞬间简单了起来。但问题是,我们怎么能知道这些概率呢?​​

很多人觉得所谓的概率,都是计算出来的。一枚硬币,正反面各50%,一个袋子里100个球,30个黑球,70个红球 ,摸出一个红球的概率是70%。

那假设一个黑盒子,你事先不知道里面多少黑球,多少红球,怎么办呢?其实,现实世界里,我们面临的绝大多数情况都没法计算,都是黑盒子却需要去判断概率的问题。

频率派和贝叶斯派

传统的方法叫频率派。关于频率和概率的区别,很多人不熟悉。简单的说,概率说的是事情未来发生的可能性,而频率说的是对某事情进行观察或者实验,发生的次数和总次数的比值。概率是事情本身的一个固有属性,是一个固定值,而频率是变化的,样本越大,频率越接近概率。根据大数定理,当样本无穷大时,频率等于概率。

你抛硬币10次,不见得会正面反面各5次,但是你抛1万次,那基本是正反各50%。比如那个黑盒子,你不断的从里面随机的拿球出来,统计黑球和红球的比例,次数“足够多”时,你得到的那个频率,就接近真实的概率。

这个方法用了上百年,现在仍然被广泛使用,比如某某疾病的发病率,飞机和火车的出事概率等等 ,都是利用大样本的统计,逼近真实概率。

但是,我们稍微深入的思考一下,就会发现这个方法的两个局限:第一,你只有积累了一定数量的样本,才能有一个对概率的初步判断,你只扔5次,只取10个球,基于小样本得出的概率很可能错的离谱。第二,如果这个黑盒子够黑,你连里面总共有多少个球都没概念,甚至里面的球的总数量都是变化的,这时你就没法判断什么叫“足够多”。

现实世界里,我们碰到的大量问题,根本找不到这么多现成的数据。还有很多新兴事物,压根没有先例,一种新发现的疾病,一个新的产品,一种新的市场策略,那怎么判断概率呢?瞎蒙吗?

也对,也不对。

这就需要贝叶斯学派了。

贝叶斯学派的观点是,概率是个主观值,完全就是我们自己的判断,我可以先估计一个初始概率 ,然后每次根据出现的新情况,掌握的新信息,对这个初始概率进行修正,随着信息的增多,我就会慢慢逼近真实的概率。这个方法完美的解决了频率派的两个问题,我不用等样本累积到一定程度,先猜一个就行动起来了,因为我有修正大法,而且我也不关心是不是“足够多”,反正我一直在路上。

贝叶斯学派诞生两百多年来,一直倍受争议,甚至连co-founder拉普拉斯自己都放弃了,因为大家觉得这个摸着石头过河的方法太扯了,太不科学了。直到最近几十年,随着计算机技术的进步才大放异彩,现在的人工智能、图像识别、机器翻译等,背后无不采用了贝叶斯方法。

那我们需要看看,贝叶斯方法究竟是怎么摸着石头过河的。

贝叶斯定理(Bayes’ Theorem)

这一部分涉及一些数学公式和计算,但说实话 ,只需要小学算术水平就可以了。

贝叶斯定理如下:

A是你要考察的目标事件,P(A) 是这个目标事件的先验概率,又叫初始概率,或者基础概率。B是新出现的一个新事件。P(A|B) 的意思是当B出现时A的概率,在这里就是我们需要的后验概率。P(B|A) 是当A出现时B的概率。P(B) 是B出现的概率,在这里具体计算稍微复杂一些,指当A出现时B的概率和当A不出时(用A_来表示)时B的概率的总和,用公式表达就是 P(B) = P(B|A) * P(A) + P(B|A_) * P(A_)。P(B|A) / P(B) 可以看作一个修正因子。

上述解释你可以忽略,简化的理解为:

后验概率 = 先验概率 x 修正因子

举个例子。

比如你新进入一家公司,你不确定这里MBA学历对员工升迁的作用,而这个对你的个人发展很重要,因为你要决定接下来是不是去读一个MBA学位。由于新来,压根没有样本,这时候你可以采用贝叶斯定理。

P(A) 是你根据过往经验事先估计的,MBA对升迁有多大好处?比如你先预估一个30%。这时候,出现了一个新信息B,小王升迁了,而且小王是MBA。那么,P(B|A) 是说当MBA管用时,小王升迁的概率,比如你现在的判断是80%。小王可能本身就有能力且业绩突出,就算没有MBA也可能会升迁啊,所以P(B|A_) = 50%(发现了吗,这个公式自动的帮助我们避免走极端)。

套入贝叶斯公式,P(A|B) = 30% * 80% / (80% * 30% + 50% * 70%) = 41%。从30%提高到了41%。那么当小王升迁这个新情况出现以后,你对MBA作用的概率判断从30%提高到了41%。

但是,过了段时间,你发现同样是MBA的小李,熬了很多年也没有升迁,最后辞职了。现在你对小李因为MBA有效而升迁的概率判断降为20%了。套入公式,新的P(A|B) = 41% * 20% / (20%*41% + 50%*59%) = 22%。从刚才的41%跌了近一半。

这样几次下来,你就能对这个这家公司对MBA的看法有个相对靠谱​​的判断了。

或许你会说,搞这么复杂干嘛,有了新情况,我原来的看法会改变,新情况和自己的预期一致就强化原来的看法,否则就弱化,这不就是常识吗,还用得着什么数学定理吗?​​

很好,的确一针见血。拉普拉斯说过,所谓的概率就是把人们的常识用数学表达出来。也有人说,人脑就是采用贝叶斯方法来工作的。

但是我们人脑有偏差啊,有误区啊,会犯浑啊,这个公式让我们忽然获得了一个上帝视角,来审视一下,我们自己究竟是怎么做判断,做决定的,计算机又是怎么模仿并超越我们的,这岂不是很美妙的一件事情 。

让我们再来看一个复杂一点的例子,这是一个经典的案例 ,网上随处都可以找到。

艾滋病毒(HIV)检测技术的准确度相当惊人。如果一个人真是HIV阳性,血液检测的手段有99.9%的把握把他这个阳性给检查出来而不漏网。如果一个人不携带HIV,那么检测手段的精度更高,达到99.99%——也就是说只有0.01%的可能性会冤枉他。已知一般人群中HIV携带者的比例是0.01%。现在假设我们随便在街头找一个人给他做检查,发现检测结果是HIV阳性,那么请问,这个人真的携带HIV的可能性是多大呢?

我们使用贝叶斯定理。A表示“这个人真的携带HIV”,B表示“检测出HIV”,那么根据现有条件,P(A) = 0.01%,P(B|A) = 99.9%,P(B|A-) = 0.01%,带入公式,计算得到P(A|B) = 0.01% * 99.9% * (99.9%*0.01% + 0.01%*99.99%) = 50%!

答案或许和你的直觉不一致,即使在这么惊人的检测准确度之下,哪怕这个人真的被检测到HIV阳性,他真有HIV的可能性也只有50%。

我们看到,如果是一种非常罕见的病毒,人群中只有万分之一的人感染,在这种情况下即使你的检测手段再高,也很有可能会冤枉人。甚至,如误诊率不是0.01%,而是0.1%的话,也就是检测手段再差一档,这个结果就会瞬间从50%降到9%。但是,我们也可以反过来想 ,这么罕见的疾病,一旦被检测出来了,也有50%的概率真的会得,这个跃迁是从万分之一,一下子到了50%。而如果我们假设这个病毒的感染率不是万分之一,而是千分之一,那么在原来的检测精度下,可能性就从50%升到了90%。

这其实可以解释为什么我们说一叶知秋,为什么说当你家发现了一只蟑螂,那么你家里一定已经有很多蟑螂了。罕见事件,可以对初始概率做出数量级的改变。同时,这也解释了我们有时也不能反应过度,有人叛逃到国外了,我们难道需要彻底关闭海关吗?真的需要在墨西哥修建长城吗?

贝叶斯定理,把我们的思考的方式给撕开了,揉碎了。

贝叶斯定理给我们的启示

塔勒布说过,数学不仅仅是计算,而是一种思考方式。

现实世界中,我们没法时时刻刻拿出电脑来演算一下公式,但是我们仍然可以通过这个定理得到一些宝贵的启示:

1、先行动起来。

大胆假设,小心求证。不断调整,快速迭代。这就是贝叶斯方法。

当信息不完备时,对概率的判断没有把握时,当然可以选择以静制动,但是​不行动也是有代价的,你可能会错过时机,你也没有机会进步。这个时候,贝叶斯方法给我们提供了一个很好的思路,先做一个预判,动起来,利用新的信息不断修正原来的预判。

2、听人劝、吃饱饭,但又不能听风就是雨。

当我们没有把握时,我们很容易根据新信息调整看法。更大的挑战是,我们已经形成了一个看法,甚至有了成功经验时,当新情况出现后,我们能不能也去调整自己看法。那个黑盒子,我们摸索了一段时间,估计出了里面红球、黑球的概率,但是我们有没有想过,这个黑盒子里的球的比例会变化呢​​?

有了新信息,我们要对原来的看法做多大程度的修正呢?

这些,不可能有标准答案,但是明白了这个道理,有助于我们及时又谨慎的做出调整。

3、初始概率很重要。

初始概率越准确,我们就能越容易、越快速的得到真实的概率。疑邻盗斧,以貌取人,会让我们离真相越来越远。而如何获得相对靠谱的初始概率,是个硬功夫,它需要你的经验、人脉、平时的深度思考,有时甚至和底层的价值观、思维方式都有关。

丹尼尔.卡尼曼在他的《思考,快与慢》里,就特地强调了初始概率对贝叶斯方法的重要性。

4、对出现的特殊情况要引起足够的重视。

前面我们已经看到了,万分之一概率的事情,也有可能因为特殊事件,一下子变成了50%。所以,每当出现特殊的、罕见的情况时,我们要保持高度警惕,黑盒子里的球的比例是不是变化了?但同时我们也看到,如果检测精度不够高,即便出现了罕见事件,真实概率也可能不到10%。所以,具体要怎么采取行动,还需要进一步观察。

5、信息的收集,信息的质量,以及对信息的判断,是提高决策水平的最重要环节。

只要有新信息,就可以修正,哪怕初始判断错了,新信息足够多,也能修正过来。但是没有信息,就没有修正。所以,在做决定之前,尽可能多的收集信息是必须的。但是错误的信息、低质量的信息,会让你的修正偏离真相越来越远,你能不能区分信息来源的可靠性、能不能进行交叉验证、逻辑推理,就显得至关重要。

要做到这些,甚至某一些,都并不容易,掌握里面的平衡,就更加困难。

所谓高手,就是把自己活成了贝叶斯定理。

所谓高手,就是把自己活成了贝叶斯定理相关推荐

  1. 丑闻上身Soul:我本小师妹,怎么就活成了灭绝师太?

    作者:云游小生 来源:纯洁的微笑 最近一个"开车APP"不幸翻车,相信很多人都知道了.总结来说就是:手法愚蠢.伎俩下作,套路眼熟. Soul是圈内颇有几分名气的"撩天&q ...

  2. 高校青年教师:不好意思,没有活成别人眼中的“卖家秀”

    别人眼中的大学老师是高学历高智商高收入,上班时间少.休息时间多,寒暑假不上班还能有工资,社会地位还很高--妥妥的人生赢家.不过有青椒对此调侃道,别人眼中的大学老师是传说中的"卖家秀" ...

  3. 抖音有这样一个姑娘她活成了大家都想要的样子

    懒了好长一段时间没有写文章,今天想跟大家介绍抖音上的一个姑娘. 她叫itsRae,是一个纽约留学生,把自己生活中点点滴滴汇聚成短小精悍的小视频.看她的视频是一种享受,像阔别已久的老朋友跟你分享她在异国 ...

  4. 朱一龙左娜扎右热巴,王栎鑫:我想活成你的样子

    王栎鑫想活成朱一龙的样子 在微博之夜活动现场,朱一龙左右两边分别坐着娜扎和迪丽热巴两位女演员,随后"左边娜扎右边热巴"登上热搜. 随后,王栎鑫在微博发出一组朱一龙的照片,并配文:& ...

  5. 抖音终于活成了自己讨厌的样子

    大家都知道,并非所有大型公司都会热衷于游戏开发.然而,所有那些说过不做游戏的公司,近几年纷纷转过头来喊了"真香".去年的阿里把<旅行青蛙>带到了中国,算是悄悄打了马云的 ...

  6. 我活成了自己曾经很鄙视的样子

    我活成了自己曾经很鄙视的样子 笔者已经步入中年了,上有老下有小,工作不算太辛苦,但是也不敢有丝毫懈怠.笔者惊奇的发现,自己目前所处的状态,其实是年前时候极为鄙视或者说是不屑的状态,笔者竟然活成了自己鄙 ...

  7. 中科院博士论文致谢登上热搜:计算机终成一生事业与希望!网友:他把自己活成了光

    来源|大数据文摘 文|Caleb 根据2019年的一项数据显示,在我国,每年被授予博士学位的人数超过了87万人. 也就是说,每年都有87万份博士论文被提交. 那为何一篇博士论文会突然火起来?火的还是其 ...

  8. 人生不过是生老病死,我也是没活成想要的样子

    时光荏苒,犹如白驹过隙. 不去对比年龄,我都不知道我也是30岁的人了. 没有甜甜的恋爱,没有儿女绕膝的烦恼. 我的生活,每天就是上班,下班,打游戏. 虽然孤独,但却很自由,安逸. 身边的人逐渐从一个人 ...

  9. 欧阳娜娜作息时间公开,怎样活成所有女生羡慕的样子

    点击上方"小晨说数据"关注本公众号 娱乐圈00后的小花中,欧阳娜娜被誉为活成了所有女生羡慕的样子,我想并不是因为外貌,而是才华和勤奋. 去年中国爱乐交响乐团建团20周年系列音乐会, ...

  10. 自由职业的方向:一个人活成一家公司

    今天,我想讲个真实的故事,是在Product Hunt上发现的,主人公是一个92年的小伙子Andrey,他正在演绎一个有趣的「一个人活成一家公司」的励志故事. Andrey,有一个梦想--每月赚100 ...

最新文章

  1. 机器学习入门(09)— 偏导数、梯度概念、梯度下降法理论和实现
  2. linux系统 大分区,linux大硬盘怎么分区
  3. R语言ggplot2可视化:可视化堆叠的直方图、在bin中的每个分组部分添加数值标签、使用position_stack函数设置
  4. Leetcode | Minimum/Maximum Depth of Binary Tree
  5. iOS 10、Xcode 8 遇到部分问题解决记录(包括控制台日志不输出)
  6. Leetcode1963. 使字符串平衡的最小交换次数[C++题解]:贪心
  7. 关于图片缩放的两种方式
  8. ubuntu基于apache+postgresql编译安装zabbix
  9. PHP学习总结(正则表达式、日期与时间)
  10. Linux安装或升级openssh步骤和可能遇到的问题
  11. flask 路由 php文件,Flask 请求处理流程(一):WSGI 和 路由
  12. ZZULIOJ 1076: 三位数求解
  13. python中如何导入图片,Unreal中的python如何导入图片资源到引擎
  14. MATLAB里sortrows是什么意思,Matlab中sortrows函数解析
  15. spring 多线程 写入数据库 和 写入 xml文件
  16. idea环境下lombok插件的安装和使用
  17. Opencv3 core模块解析之convertTo
  18. 浅谈C/C++编程中的字符编码转换
  19. C语言指针用法完善篇
  20. BZOJ 3505: [Cqoi2014]数三角形 数学

热门文章

  1. Ubuntu修改open files数
  2. ThreatARMOR添加零日恶意软件防御功能
  3. [K/3Cloud]有关单据显示行数限制和数据导出的建议
  4. Jquery一款非好的图片轮换效果
  5. sql server 连接
  6. MySQL-快速入门(10)触发器
  7. multiprocessing模块
  8. form表单提交的时候,传过去的值是键值对的形式
  9. [BZOJ3555] [Ctsc2014]企鹅QQ(Hash)
  10. qTip2 精致的jQuery提示信息插件