联合概率、边缘概率、条件概率

1. 联合概率

假设有随机变量A与B，所谓联合概率，就是既满足 A 条件，又满足 B条件的概率，因为你是2维变量，所以需要考虑(A,B)两个变量一起变的情况。

A与B的联合概率表示为P(A∩B)P(A\cap B)P(A∩B)或者P(A,B)P(A,B)P(A,B)或者P(AB)P(AB)P(AB)

这类包含多个条件且所有条件同时成立的概率成为联合概率。

2.边缘概率

边缘概率是相对于联合概率而言的的，虽然你有两个变量（x,y）但是你可以只考虑x或者y的分部，好像另外一个不存在一样，写作f(x)或者f(y)。

P(X=a)P(X=a)P(X=a)或P(Y=b)P(Y=b)P(Y=b)这类仅与单个随机变量有关的概率，称为边缘概率。

3. 条件概率

通常，我们想知道某些事件发生时其它事件也发生的概率。我们将事件 B 发生时事件 A 也发生的条件概率写为 P（A∣B）P（A | B）P（A∣B），读作“在B的条件下A的概率”。

如果一个事件的概率不以任何方式影响另一个事件，则该事件被称为独立事件。以掷骰子且连续两次掷得 2 的概率为例。这些事件是独立的。

根据文氏图，可以清楚地看到，在事件B发生的情况下，事件A发生的条件概率就是：
P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)
所以，P(AB)=P(A∣B)P(B)P(AB)=P(A|B)P(B)P(AB)=P(A∣B)P(B)
同理可得，P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB)
所以，P(AB)=P(B∣A)P(A)P(AB)=P(B|A)P(A)P(AB)=P(B∣A)P(A)
所以，P(A∣B)P(B)=P(B∣A)P(A)P(A|B)P(B)=P(B|A)P(A)P(A∣B)P(B)=P(B∣A)P(A)
所以，P(A∣B)=P(B∣A)P(A)P(B)P(A|B)=\frac {P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)

4. 全概率定理

事件A1,A2,...,AnA_1,A_2,...,A_nA1,A2,...,An形成样本空间的一个分割；

事件BBB可以分解成不相交的nnn个事件的并，即：B=(A1⋂B)⋃(A2⋂B)...⋃(An⋂B)B=(A_1\bigcap B) \bigcup(A_2 \bigcap B)...\bigcup(A_n \bigcap B)B=(A1⋂B)⋃(A2⋂B)...⋃(An⋂B)

利用可加公理，得到：P(B)=P(A1⋂B)⋃P(A2⋂B)...⋃P(An⋂B)P(B)=P(A_1\bigcap B)\bigcup P(A_2 \bigcap B)...\bigcup P(A_n \bigcap B)P(B)=P(A1⋂B)⋃P(A2⋂B)...⋃P(An⋂B)

利用条件概率定义，我们知道，P(Ai⋂B)=P(Ai)P(B∣Ai)P(A_i\bigcap B)=P(A_i)P(B|A_i)P(Ai⋂B)=P(Ai)P(B∣Ai)，将之代入上式，得到：

P(B)=P(A1)P(B∣A1)+P(A2)P(B∣A2)+...+P(An)P(B∣An)P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n)P(B)=P(A1)P(B∣A1)+P(A2)P(B∣A2)+...+P(An)P(B∣An)

这个定理的主要应用是直接计算B的概率有点难度，但是若条件概率P(B∣Ai)P(B|A_i)P(B∣Ai)是已知的或者很容易推导时，全概率定理就成了计算P的有力工具。

5. 贝叶斯准则

通常，事件AAA在事件BBB发生的条件下的概率，与事件BBB在事件AAA发生的条件下的概率是不一样的！然而这两者是有确定的关系，贝叶斯准则就是这种关系的描述。

全概率定理是与贝叶斯准则联系在一起的，贝叶斯准则将形如P(A∣B)P(A|B)P(A∣B)的条件概率与形如P(B∣A)P(B|A)P(B∣A)的条件概率联系了起来。

贝叶斯准则可以用来因果推理。比如，有许多原因，造成了某一结果。现在，假设我们能够观测到某一结果，希望推断出造成这个结果出现的原因。

现在设事件A1,A2,...,AnA_1,A_2,...,A_nA1,A2,...,An是原因，而BBB代表由原因引起的结果：

P(B∣Ai)P(B|A_i)P(B∣Ai)表示由原因AiA_iAi造成结果BBB出现的概率；
当观察到结果BBB的时候，我们希望反推出结果BBB是由原因AiA_iAi造成的概率P(Ai∣B)P(A_i|B)P(Ai∣B);
P(Ai∣B)P(A_i|B)P(Ai∣B)为新近得到的信息BBB之后，AiA_iAi出现的概率，称之为后验概率，而原来的AiA_iAi就成为先验概率。