条件概率、联合概率和贝叶斯公式

一、概率：

概率的本质是寻找随机性背后的规律，通常用公式：

P（A）=随机事件A所包含的单位事件的数量/随机变量空间所包含所有单位事件的数量

任何一个随机时间，随机事件A都是随机事件总集合里的一个子集。

如下图集合O代表所有单位事件的数量f(O)，A、B代表两个不同随机事件的单位事件数量f(A)、f(B)，则：

P（A）=f(A)/f(O)

P（B）=f(B)/f(O)

假设凤凰新闻网今天有100篇新闻，有50篇娱乐新闻，20篇体育新闻，30篇军事新闻，则今天军事新闻的概率是30/100=30%，体育新闻的概率则是20/100=20%。

二、条件概率：

条件概率是指限定在随机事件A的条件下，随机事件B发生的概率。假设随机事件A出现的次数为f(A)，限定在A事件条件下同时出现事件B的次数为f(C)，则条件概率为f(C)/f(A)。

用公式P(B|A)=f(A∩B)/f(A)表示。

注：P(B|A)=f(A∩B)/f(A)=f(C)/f(A)=P(C)/P(A)

假如凤凰新闻今天有100篇新闻，国际新闻有50篇，科技新闻有30篇，国际新闻中有科技新闻10篇，则在国际新闻中出现科技新闻的概率是10/50=20%，在科技新闻中出现国际新闻的概率是10/30=33.33%。

三、联合概率：

在随机事件集合O中，我们现在有随机事件A，随机事件B，如果事件C需要随机事件A与随机事件B同时发生（C⊆A∩B），则随机事件C发生的概率叫联合概率。

用公式P(B,A)= f(A∩B)/f(O)=P(C)表示。

假如凤凰新闻今天有100篇新闻，国际新闻有50篇，科技新闻有30篇，同时是国际新闻、科技新闻类别的新闻有10篇，则同属国际新闻、科技新闻的新闻概率是10/100=10%。

四、如何把联合概率公式、条件概率公式变成贝叶斯公式

A和B一同发生的概率的联合概率：

P(B,A)

= f(A∩B)/f(O)

= f(A∩B)/f(A) * f(A)/f(O)

=P(B|A) * P(A)

注：可以理解成A和B一同发生的概率，就是A发生的概率，乘以在A条件下B发生的概率。

因此同理我们可以推导出公式：

P(A,B)= P(A|B) * P(B)

在数学上条件和结果是可以互换的，如在新闻分类中，我们可以说国际新闻中的科技新闻有X篇，也可以说科技新闻中有国际新闻X篇，只要调换一下方向就可以了，也就是：

P(B,A)= P(A,B)=P(C)

推导重要公式：P(B|A) * P(A) = P(A|B) * P(B)

在这个公式中，如果我们知道了其中三个因子，就能求出第四个。通常来讲，两个条件概率P(A和P(B)是容易求的。另外两个条件概率，一个是A条件下B的概率，一个是B条件下A的概率，常常一个比较容易得到，另一个比较难得到。所以，我们常常从容易得到的条件概率，推导出难得到的概率。这就是著名的贝叶斯公式：

P(A|B) = P(B|A) * P(A) / P(B)

五、贝叶斯公式有什么用？

5.1、继续用我们前面新闻的例子：

假如我们现在知道凤凰新闻今天的国际新闻占比是50%，科技新闻的占比是30%，且国际新闻中有20%是科技新闻，那么请问科技新闻中国际新闻的占比是多少？

我们用贝叶斯公式来推导：

P(国际新闻|科技新闻)

=P(科技新闻|国际新闻) * P(国际新闻) / P(科技新闻)

=20% * 50% / 30%

=33.33%

5.2、如何利用条件概率和贝叶斯公司实现机器翻译：

上面的例子感觉牛刀杀鸡，我们再来看看贝叶斯公式高大上的应用场景，如何利用条件概率和贝叶斯公司实现机器翻译。

我们假定有一个英语句子A，想要翻译成中文句子B，那么怎么翻译呢？李开复老师曾经介绍过微软在很长一段时间采用语言学专家的语言结构化思维来进行翻译，效果一直提不上去。如果我们把机器翻译换成概率问题，就会容易很多：

假设英语句子A的翻译结果有B1、B2、B3...BN，那我们只需要筛选一个翻译结果B，使得在已知英语句子A的条件下，B的概率P(B|A)相对其他翻译的条件概率最高就可以了。假如现在句子A有10种翻译方法，条件概率是0.2,0.6,0.01,0.05.....你很快会判断0.6的条件概率是最优的。

那么P(A|B)该怎么计算呢？我们无法通过直接统计获得，你要想直接计算这个概率，就需要恰巧遇到一个英文句子A，对应一个中文句子B，并且在文本中一同出现了很多次。

这时，我们就要派上贝叶斯公式了：

P(B|A) = P(A|B) * P(B) / P(A)

这个式子中有三个因子，第一个P(A|B)是给定中文的句子，对应的英文句子概率，这个可以通过中文到英文的语料库获得。第二个、第三个因子P（B）、P（A）可以通过语言模型获得。经过贝叶斯公式，我们将机器翻译变成了三个可以计算的概率，找出最大概率的翻译结果即可，这就是机器翻译的原理。

贝叶斯公式本质上是利用里数学在条件和结果上的互换特点，把复杂的问题变成了三个简单的问题。

条件概率、联合概率和贝叶斯公式相关推荐

先验、后验概率，似然，EM算法，ELBO(Evidence Lower Bound)，多变量条件概率公式(多变量贝叶斯公式)
Probability 先验概率.后验概率.似然概率在学习朴素贝叶斯(Naive Bayes)的时候,总是会混淆先验概率.后验概率和似然概率.通过这篇博客,我将对这三个概率的定义进行详细阐释,以更好 ...
条件概率联合概率边缘概率
P(A+B)表示A B至少一个发生的发生概率 P(AB)表示同时发生的发生概率 P(A/B)表示在A发生的条件下B发生的概率条件概率条件概率是指事件A在事件B发生的条件下发生的概率.条件概率表示为 ...
转-条件概率/全概率/贝叶斯公式
参考:https://www.cnblogs.com/ohshit/p/5629581.html 1.条件概率公式设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概 ...
条件概率/全概率/贝叶斯公式
参考:https://www.cnblogs.com/ohshit/p/5629581.html 1.条件概率公式设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概 ...
条件概率公式，贝叶斯公式
条件概率公式: 全概率公式: 贝叶斯公式: 给定某系统的若干样本X,计算该系统的参数,即 P(θ) 没有数据支持下,θ发生的概率:先验概率 P(θ|x) 在数据X的支持下,θ发生的概率:后验概率,贝叶 ...
概率论条件概率全概率贝叶斯公式
常用知识点条件概率 1.P(B|A)=1表示A发生的情况下B必然发生 A属于B 2.可列可加性 P(BUC|A)=P(B|A)+P(C|A) 3.P(B|A)的样本空间为A,A与B都发生了大题解答 ...
从贝叶斯公式到垃圾邮件的识别
看<***与画家>讲到"防止垃圾邮件的一种方法",觉得很适合用来表述数学公式与机器学习之间的关系.涉及到机器学习的数学公式比较简单,概率论基础教程都会讲到.解决的问题也 ...
条件概率，全概率，贝叶斯公式理解
简介学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B):即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率.由条件概率公式推导出贝叶 ...
【简述与推导】似然函数，最大似然估计，条件概率，全概率，贝叶斯概率
目录 1. 似然(likehood)与最大似然估计 2. 条件概率(conditional probability),全概率(total probability),和贝叶斯概率(Bayes proba ...
似然函数，最大似然估计，以及与条件概率，贝叶斯概率区别简要说明
目录 1. 似然(likehood)与最大似然估计 2. 条件概率(conditional probability),全概率(total probability),和贝叶斯概率(Bayes proba ...

条件概率、联合概率和贝叶斯公式

条件概率、联合概率和贝叶斯公式相关推荐

最新文章

热门文章