一文读懂贝叶斯原理（Bayes' theorem）

前言：贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介：

一、简介

所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆向概率问题。

贝叶斯定理的思想出现在18世纪，但真正大规模派上用途还得等到计算机的出现。因为这个定理需要大规模的数据计算推理才能凸显效果，它在很多计算机应用领域中都大有作为，如自然语言处理，机器学习，推荐系统，图像识别，博弈论等等。

二、定义

贝叶斯定理是关于随机事件 A 和 B 的条件概率：

其中P(A|B)是在 B 发生的情况下 A 发生的可能性。
在贝叶斯定理中，每个名词都有约定俗成的名称：

P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。

P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。

P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。

P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。

按这些术语，贝叶斯定理可表述为：

后验概率 = (相似度 * 先验概率)/标淮化常量

也就是说，后验概率与先验概率和相似度的乘积成正比。
另外，比例P(B|A)/P(B)也有时被称作标淮相似度（standardised likelihood），Bayes定理可表述为：

后验概率 = 标淮相似度 * 先验概率

条件概率就是事件 A 在另外一个事件 B 已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。
联合概率表示两个事件共同发生（数学概念上的交集）的概率。A 与 B 的联合概率表示为。

三、推导

我们可以从条件概率的定义推导出贝叶斯定理。

根据条件概率的定义，在事件 B 发生的条件下事件 A 发生的概率为：

同样地，在事件 A 发生的条件下事件 B 发生的概率为：

结合这两个方程式，我们可以得到：

这个引理有时称作概率乘法规则。上式两边同除以 P(A)，若P(A)是非零的，我们可以得到贝叶斯定理:

四、解释

通常，事件 A 在事件 B 发生的条件下的概率，与事件 B 在事件 A 发生的条件下的概率是不一样的；然而，这两者是有确定关系的，贝叶斯定理就是这种关系的陈述。

贝叶斯公式的用途在于通过己知三个概率来推测第四个概率。它的内容是：在 B 出现的前提下，A 出现的概率等于 A 出现的前提下 B 出现的概率乘以 A 出现的概率再除以 B 出现的概率。通过联系 A 与 B，计算从一个事件发生的情况下另一事件发生的概率，即从结果上溯到源头（也即逆向概率）。

通俗地讲就是当你不能确定某一个事件发生的概率时，你可以依靠与该事件本质属性相关的事件发生的概率去推测该事件发生的概率。用数学语言表达就是：支持某项属性的事件发生得愈多，则该事件发生的的可能性就愈大。这个推理过程有时候也叫贝叶斯推理。

五、参考文献

WikiPedia 贝叶斯定理
Mbalib 贝叶斯法则
《决策与判断》
《进化心理学》
刘未鹏数学之美番外篇：平凡而又神奇的贝叶斯方法
Peter Norvig，徐宥译怎样写一个拼写检查器
原文：http://blog.csdn.net/kesalin/article/details/40370325

一文读懂贝叶斯原理（Bayes‘ theorem）相关推荐

独家 | 一文读懂贝叶斯优化
作者:Apoorv Agnihotri,Nipun Batra 翻译:王雨桐校对:张一然本文约6200字,建议阅读10+分钟. 本文将贝叶斯优化拆解为易于理解的小部分. 许多现代的机器学习算法都涉 ...
独家 | 一文读懂贝叶斯网络
作者:Devin Soni 翻译:车前子校对:孙韬淳本文约1400字,建议阅读8分钟. 本文从概率论出发,为你阐述贝叶斯网络. 贝叶斯网络是一种利用贝叶斯推断进行概率计算的概率图模型.贝叶斯网络的 ...
推荐：一文读懂贝叶斯网络
作者:Devin Soni 翻译:车前子校对:孙韬淳本文约1400字,建议阅读8分钟. 本文从概率论出发,为你阐述贝叶斯网络. 贝叶斯网络是一种利用贝叶斯推断进行概率计算的概率图模型.贝叶斯 ...
python贝叶斯算法的论文_3个范例带你读懂贝叶斯法则
贝叶斯法则可能是概率论中最有生命力的一个公式.它可以用来计算条件概率或者主观概率. 贝叶斯法则的思想非常简单:随机事件发生的概率随着相关条件的发生而改变,一个命题真假的信念即主观概率随着相关证据的发现 ...
一文读懂CDN加速原理
一文读懂CDN加速原理什么是 CDN 工作原理传统访问过程 CDN 访问过程组成要素智能调度 DNS 缓存功能服务负载均衡设备内容 Cache 服务器共享存储名词解释 CNAME记录( ...
【机器学习】一文看懂贝叶斯优化/Bayesian Optimization
点击上方,选择星标,每天给你送干货! 来自:AI部落联盟今天想谈的问题是:什么是贝叶斯优化/Bayesian Optimization,基本用法是什么? 本文的定位是:帮助未接触.仅听说过.初次接触 ...
一文读懂扩散模型原理、推断加速和可控生成
在刚刚过去的2022年,扩散模型(Diffusion Models)成为了深度生成模型中新的SOTA.近期,中国人民大学助理教授李崇轩和清华大学博士生鲍凡在由智源社区主办的"2022大模型创 ...
一文读懂遗传算法工作原理（附Python实现）
Datawhale干货选自:AnalyticsVidhya,编译:机器之心近日,Analyticsvidhya 上发表了一篇题为<Introduction to Genetic Algori ...
一文读懂网络通信技术原理
一.网络的由来? 互联网的本质就是一系列的网络协议. 一台硬设有了操作系统,然后装上软件你就可以正常使用了,每个人都拥有一台自己的机器,然而彼此孤立. 如何能让大家一起玩耍,就有了初步的网络,其实两台 ...

一文读懂贝叶斯原理（Bayes‘ theorem）