概率论与数理统计 —— 概率论的基本概念

原文链接：概率论与数理统计 —— 概率论的基本概念

1.确定性现象

在一定条件下必然发生的现象

2.统计规律性

在大量重复试验或观察中所呈现出的固有规律性

3.随机现象

在个别试验中结果呈现出不确定性，在大量重复试验中其结果又具有统计规律性的现象

4.随机试验

具有以下三个特点的试验称为随机试验：

可以在相同的条件下重复进行
每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果
进行一次试验之前不能确定哪一个结果会出现

5.样本空间、样本点

对于随机试验，尽管在每次试验之前不能预知试验的结果，但试验的所有可能结果组成的集合是已知的。

我们将随机试验E的所有可能结果组成的集合成为E的样本空间，记为S
样本空间的元素，即E的每个结果成为样本点

6.随机事件、基本事件、必然事件、不可能事件

试验E的样本空间S的子集为E的随机事件，简称事件
在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生
由一个样本点组成的单点集，称为基本事件
样本空间S包含所有的样本点，它是S自身的子集，在每次试验中它总是发生的，S称为必然事件
空集 ∅ \emptyset ∅不包含任何样本点，它也作为样本空间的子集，它在每次试验中都不发生， ∅ \emptyset ∅称为不可能事件

7.事件间的关系

事件是一个集合，因而事件间的关系与事件的运算自然按照集合论中集合之间的关系和集合运算来处理

设试验E的样本空间为S，而A，B， A k A_k Ak(k=1,2,···)是S的子集：

名词	解释
事件包含 / 事件相等	若A ⊂ \subset ⊂B，则称事件B包含事件A，这指的是事件A发生必导致事件B发生。若A ⊂ \subset ⊂B且B ⊂ \subset ⊂A，即A=B,则称事件A与事件B相等
和事件	事件A ∪ \cup ∪B={x\|x ∈ \in ∈A或x ∈ \in ∈B}称为事件A与事件B的和事件。当且仅当A,B中至少有一个发生时，事件A ∪ \cup ∪B发生。类似地，称 ⋃ k = 1 n A k \bigcup_{k=1}^n A_k ⋃k=1nAk为n个事件 A 1 A_1 A1， A 2 A_2 A2，···， A n A_n An的和事件；称 ⋃ k = 1 ∞ A k \bigcup_{k=1}^\infty A_k ⋃k=1∞Ak为可列个事件 A 1 A_1 A1， A 2 A_2 A2，···的和事件。
积事件	事件A ∩ \cap ∩B={x\|x ∈ \in ∈A且x ∈ \in ∈B}称为事件A与事件B的积事件。当且仅当A，B同时发生时，事件A ∩ \cap ∩B发生。A ∩ \cap ∩B也记作AB。类似地，称 ⋂ k = 1 n A k \bigcap_{k=1}^n A_k ⋂k=1nAk为n个事件 A 1 A_1 A1， A 2 A_2 A2，···， A n A_n An的积事件；称 ⋂ k = 1 ∞ A k \bigcap_{k=1}^\infty A_k ⋂k=1∞Ak为可列个事件 A 1 A_1 A1， A 2 A_2 A2，···的积事件。
差事件	事件A-B={x\|x ∈ \in ∈A且x ∉ \notin ∈/B}称为事件A与事件B的差事件。当且仅当A发生，B不发生时事件A-B发生
事件互斥(事件互不相容)	若A ∩ \cap ∩B= ∅ \emptyset ∅,则称事件A与B是互不相容的，或互斥的。这指的是事件A与事件B不能同时发生。基本事件是两两互不相容的
逆事件(对立事件)	若A ∪ \cup ∪B=S且A ∩ \cap ∩B= ∅ \emptyset ∅,则称事件A与事件B互为逆事件。又称事件A与B互为对立事件。这指的是对每次试验而言，事件A、B中必有一个发生，且仅有一个发生。A的对立事件记为 A ‾ \overline{A} A。 A ‾ \overline{A} A=S-A

8.事件间的运算

在进行事件运算时，经常要用到下述定律。设A,B,C为事件，则有：

交换律：A ∪ \cup ∪B=B ∪ \cup ∪A；A ∩ \cap ∩B=B ∩ \cap ∩A
结合律：A ∪ \cup ∪(B ∪ \cup ∪C)=(A ∪ \cup ∪B) ∪ \cup ∪C；A ∩ \cap ∩(B ∩ \cap ∩C)=(A ∩ \cap ∩B) ∩ \cap ∩C
分配率：A ∪ \cup ∪(B ∩ \cap ∩C)=(A ∪ \cup ∪B) ∩ \cap ∩(A ∪ \cup ∪C)；A ∩ \cap ∩(B ∪ \cup ∪C)=(A ∩ \cap ∩B) ∪ \cup ∪(A ∩ \cap ∩C)
德摩根律： A ∪ B ‾ \overline{A\cup B} A∪B= A ‾ \overline{A} A ∩ \cap ∩ B ‾ \overline{B} B； A ∩ B ‾ \overline{A\cap B} A∩B= A ‾ \overline{A} A ∪ \cup ∪ B ‾ \overline{B} B

9.频率

定义：在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数 n A n_A nA称为事件A发生的频数。比值 n A n_A nA/n 称为事件A发生的频率，并记成 f n ( A ) f_n(A) fn(A)

由定义，易见频率具有下述基本性质：

0 ≤ f n ( A ) ≤ 1 0\le f_n(A)\le1 0≤fn(A)≤1
f n ( S ) = 1 f_n(S)=1 fn(S)=1
若 A 1 , A 2 , ⋅ ⋅ ⋅ ， A k A_1,A_2,···，A_k A1,A2,⋅⋅⋅，Ak是两两互不相容的事件，则
f n ( A 1 ∪ A 2 ∪ ⋅ ⋅ ⋅ ∪ A k ) = f n ( A 1 ) + f n ( A 2 ) + ⋅ ⋅ ⋅ + f n ( A k ) f_ n(A_1\cup A_2\cup ··· \cup A_k) = f_n(A_1)+f_n(A_2)+···+f_n(A_k) fn(A1∪A2∪⋅⋅⋅∪Ak)=fn(A1)+fn(A2)+⋅⋅⋅+fn(Ak)

回到此篇博文的第2个知识点：统计规律性

当重复试验的次数n逐渐增大时，频率 f n ( A ) f_n(A) fn(A)呈现出稳定性，逐渐稳定于某个常数。这种"频率稳定性"即之前所说的统计规律性

10.概率

定义：设E是随机试验，S是它的样本空间。对于E的每一事件A赋予一个实数，记作P(A)，称为事件A的概率，如果集合函数P(·)满足下列条件：

非负性：对于每一个事件A，有P(A) ≥ \ge ≥ 0
规范性：对于必然事件S，有P(S)=1
可列可加性：设 A 1 , A 2 , ⋅ ⋅ ⋅ A_1,A_2,··· A1,A2,⋅⋅⋅是两两互不相容的事件，即对于 A i A j = ∅ A_iA_j=\emptyset AiAj=∅， i ≠ j ； i , j = 1 , 2 , ⋅ ⋅ ⋅ i\ne j；i,j=1,2,··· i=j；i,j=1,2,⋅⋅⋅有
P ( A 1 ∪ A 2 ∪ ⋅ ⋅ ⋅ ) = P ( A 1 ) + P ( A 2 ) + ⋅ ⋅ ⋅ P(A_1\cup A_2\cup ···)=P(A_1)+P(A_2)+··· P(A1∪A2∪⋅⋅⋅)=P(A1)+P(A2)+⋅⋅⋅

当 n → ∞ n\to\infty n→∞时频率 f n ( A ) f_n(A) fn(A)在一定意义下接近于概率P(A).基于这个事实，我们就有理由将概率P(A)用来表征事件A在一次试验中发生的可能性大小。

11.概率几个重要性质

P ( ∅ ) = 0 P(\emptyset)=0 P(∅)=0
若 A 1 , A 2 , ⋅ ⋅ ⋅ , A n A_1,A_2,···,A_n A1,A2,⋅⋅⋅,An是两两互不相容的事件，则有
P ( A 1 ∪ A 2 ∪ ⋅ ⋅ ⋅ ) = P ( A 1 ) + P ( A 2 ) + ⋅ ⋅ ⋅ + P ( A n ) P(A_1\cup A_2\cup ···)=P(A_1)+P(A_2)+···+P(A_n) P(A1∪A2∪⋅⋅⋅)=P(A1)+P(A2)+⋅⋅⋅+P(An)
此式称为概率的有限可加性
设A,B是两个事件，若 A ⊂ B A\subset B A⊂B,则有：
P ( B − A ) = P ( B ) − P ( A ) P(B-A)=P(B)-P(A) P(B−A)=P(B)−P(A)
P ( B ) ≥ P ( A ) P(B) \ge P(A) P(B)≥P(A)
对于任一事件A
P ( A ) ≤ 1 P(A)\le 1 P(A)≤1
对于任一事件A，有
P ( A ‾ ) = 1 − P ( A ) P(\overline{A})=1-P(A) P(A)=1−P(A)
此为逆事件的概率公式
对于任意两件事A,B有
P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A B ) P(A\cup B) = P(A)+P(B)-P(AB) P(A∪B)=P(A)+P(B)−P(AB)
此为概率的加法公式

12.古典概型(等可能概型)

具有以下两个特点：

试验的样本空间只包含有限个元素
试验中每个基本事件发生的可能性相同

的试验称为等可能概型，也称为古典概型。

13.等可能概型中事件概率的计算公式

对于等可能概型，设试验的样本空间为S= { e 1 , e 2 , ⋅ ⋅ ⋅ , e n e_1,e_2,···,e_n e1,e2,⋅⋅⋅,en } ，由于在试验中每个基本事件发生的可能性相同，即有
P ( { e 1 } ) = P ( { e 2 } ) = ⋅ ⋅ ⋅ = P ( { e n } ) P( \{ e_1 \} )=P( \{ e_2 \} )=···=P( \{ e_n \} ) P({e1})=P({e2})=⋅⋅⋅=P({en})
又由于基本事件是两两互不相容的，于是
1 = P ( S ) = P ( { e 1 } ∪ { e 2 } ∪ ⋅ ⋅ ⋅ ∪ { e n } ) = P ( { e 1 } ) ∪ P ( { e 2 } ) ∪ ⋅ ⋅ ⋅ ∪ P ( { e n } ) , 1=P(S)=P(\{e_1\}\cup \{e_2\}\cup ··· \cup\{e_n\})=P(\{e_1\})\cup P(\{e_2\})\cup ··· \cup P(\{e_n\}) , 1=P(S)=P({e1}∪{e2}∪⋅⋅⋅∪{en})=P({e1})∪P({e2})∪⋅⋅⋅∪P({en}),
P ( { e 1 } ) = 1 n ， i = 1 , 2 , ⋅ ⋅ ⋅ , n P(\{e_1\})=\frac{1}{n}，i=1,2,···,n P({e1})=n1，i=1,2,⋅⋅⋅,n
若事件A包含k个基本事件，即A= { e i 1 } ∪ { e i 2 } ∪ ⋅ ⋅ ⋅ ∪ { e i k } \{{e_i}_{1}\}\cup \{{e_i}_{2}\}\cup ··· \cup \{{e_i}_{k}\} {ei1}∪{ei2}∪⋅⋅⋅∪{eik}，这里 i 1 , i 2 , ⋅ ⋅ ⋅ , i k i_1,i_2,···,i_k i1,i2,⋅⋅⋅,ik是1，2，···，n中某k个不同的数，则有
P ( A ) = ∑ j = 1 k P ( { e i j } ) = k n = A 包含的基本事件数 S 中基本事件的总数 P(A)=\sum_{j=1}^k P(\{{e_i}_{j}\})=\frac{k}{n}=\frac{A包含的基本事件数}{S中基本事件的总数} P(A)=j=1∑kP({eij})=nk=S中基本事件的总数A包含的基本事件数
上式即为等可能概型中事件A的概率的计算公式

14.放回抽样、不放回抽样

名词	解释
放回抽样	一种抽样方法，它是在逐个抽取个体时，每次被抽到的个体放回总体中后，再进行下次抽取的抽样方法
不放回抽样	在逐个抽取个体时，每次被抽到的个体不放回总体中参加下一次抽取的方法

15.超几何分布

超几何分布是统计学上一种离散概率分布。它描述了由有限个物件中抽出n个物件，成功抽出指定种类的物件的次数（不放回）

设有N个物件，其中指定种类a的物件有D个，从中任取n个，恰有k个a种类的物件的概率为：
p = ( D k ) ( N − D n − k ) ( N n ) p=\frac{\binom {D}{k}\binom {N-D}{n-k}}{\binom {N}{n}} p=(nN)(kD)(n−kN−D)
上式即为超几何分布的概率公式

16.实际推断理论

概率很小的事件在一次试验中实际上几乎是不可能发生的，称之为实际推断原理，这是人们在长期的实践中总结得到的。

17.条件概率

定义：设A,B是两个事件，且P(A)>0,称
P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)
为在事件A发生的条件下事件B发生的条件概率

不难验证，条件概率P(·|A)符合概率论定义中的三个条件：

非负性：对于每一个事件B，有P(B|A) ≥ 0 \ge0 ≥0
规范性：对于必然事件S，有P(S|A)=1
可列可加性：设 B 1 , B 2 , ⋅ ⋅ ⋅ B_1,B_2,··· B1,B2,⋅⋅⋅是两两互不相容的事件，则有
P ( ⋃ i = 1 ∞ B i ∣ A ) = ∑ i = 1 ∞ P ( B i ∣ A ) P(\bigcup_{i=1}^\infty B_i|A)=\sum_{i=1}^\infty P(B_i|A) P(i=1⋃∞Bi∣A)=i=1∑∞P(Bi∣A)

既然条件概率符合上述三个条件，故此博文的第11条中的一些重要结果都是用于条件概率。例如：
P ( B 1 ∪ B 2 ∣ A ) = P ( B 1 ∣ A ) + P ( B 2 ∣ A ) − P ( B 1 B 2 ∣ A ) P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1 B_2|A) P(B1∪B2∣A)=P(B1∣A)+P(B2∣A)−P(B1B2∣A)

18.乘法定理

由条件概率的定义即可得到以下定理

乘法定理 ：设P(A)>0,则有
P ( A B ) = P ( B ∣ A ) P ( A ) P(AB)=P(B|A)P(A) P(AB)=P(B∣A)P(A)
上式即为乘法公式。由该乘法公式推广到多个事件的积事件，例如设A,B,C为事件，且P(AB)>0,则有
P ( A B C ) = P ( C ∣ A B ) P ( B ∣ A ) P ( A ) P(ABC)=P(C|AB)P(B|A)P(A) P(ABC)=P(C∣AB)P(B∣A)P(A)
一般的，设 A 1 , A 2 , ⋅ ⋅ ⋅ , A n A_1,A_2,···,A_n A1,A2,⋅⋅⋅,An为n个事件，n ≥ \ge ≥ 0,且P( A 1 A 2 ⋅ ⋅ ⋅ A n − 1 A_1A_2···A_{n-1} A1A2⋅⋅⋅An−1)>0,则有
P ( A 1 A 2 ⋅ ⋅ ⋅ A n ) = P ( A n ∣ A 1 A 2 ⋅ ⋅ ⋅ A n − 1 ) P ( A n − 1 ∣ A 1 A 2 ⋅ ⋅ ⋅ A n − 2 ) ⋅ ⋅ ⋅ P ( A 2 ∣ A 1 ) P ( A 1 ) P(A_1A_2···A_{n})=P(A_n|A_1A_2···A_{n-1})P(A_{n-1}|A_1A_2···A_{n-2})···P(A_2|A_1)P(A_1) P(A1A2⋅⋅⋅An)=P(An∣A1A2⋅⋅⋅An−1)P(An−1∣A1A2⋅⋅⋅An−2)⋅⋅⋅P(A2∣A1)P(A1)

19.样本空间的划分

定义：设S为试验E的样本空间， B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn为E的一组事件，若

B i B j = ∅ ; i ≠ j ; i , j = 1 , 2 , ⋅ ⋅ ⋅ , n B_iB_j = \emptyset ;i\ne j;i,j=1,2,···,n BiBj=∅;i=j;i,j=1,2,⋅⋅⋅,n
B 1 ∪ B 2 ∪ ⋅ ⋅ ⋅ ∪ B n = S B_1\cup B_2\cup ··· \cup B_n = S B1∪B2∪⋅⋅⋅∪Bn=S

则称 B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn为样本空间S的一个划分。

若 B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn是样本空间的一个划分，那么对每次试验，事件 B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn中必有一个且仅有一个发生

20.全概率公式

定理：设试验E的样本空间为S，A为E的事件， B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn为S的一个划分，且 P ( B i ) > 0 ( i = 1 , 2 , ⋅ ⋅ ⋅ , n ) P(B_i)>0(i=1,2,···,n) P(Bi)>0(i=1,2,⋅⋅⋅,n),则
P ( A ) = P ( A ∣ B 1 ) P ( B 1 ) + P ( A ∣ B 2 ) P ( B 2 ) + ⋅ ⋅ ⋅ + P ( A ∣ B n ) P ( B n ) P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+···+P(A|B_n)P(B_n) P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋅⋅⋅+P(A∣Bn)P(Bn)
称为全概率公式

特别地当n=2时，并将 B 1 B_1 B1记作B，此时 B 2 B_2 B2就为 B ‾ \overline B B，那么全概率公式就为：
P ( A ) = P ( A ∣ B ) P ( B ) + P ( A ∣ B ‾ ) P ( B ‾ ) P(A)=P(A|B)P(B)+P(A|\overline B)P(\overline B) P(A)=P(A∣B)P(B)+P(A∣B)P(B)

有很多事件问题P(A)不易求得，但却容易找到S的一个划分 B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn，且 P ( B i ) P(B_i) P(Bi)和 P ( A ∣ B i ) P(A|B_i) P(A∣Bi)或为已知，活容易求得，那么就可以根据全概率公式求出P(A)

21.贝叶斯公式

定理：设试验E的样本空间为S，A为E的事件， B 1 , B 2 , ⋅ ⋅ ⋅ ， B n B_1,B_2,···，B_n B1,B2,⋅⋅⋅，Bn为S的一个划分，且 P ( A ) > 0 , P ( B i ) > 0 ( i = 1 , 2 , ⋅ ⋅ ⋅ , n ) P(A)>0,P(B_i)>0(i=1,2,···,n) P(A)>0,P(Bi)>0(i=1,2,⋅⋅⋅,n),则
P ( B i ∣ A ) = P ( A ∣ B i ) P ( B i ) ∑ j = 1 n P ( A ∣ B j ) P ( B j ) , i = 1 , 2 , ⋅ ⋅ ⋅ , n P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)} ,i=1,2,···,n P(Bi∣A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi),i=1,2,⋅⋅⋅,n
称为贝叶斯公式

特别地当n=2时，并将 B 1 B_1 B1记作B，此时 B 2 B_2 B2就为 B ‾ \overline B B，那么贝叶斯公式就为：
P ( B ∣ A ) = P ( A B ) P ( A ) = P ( A ∣ B ) P ( B ) P ( A ∣ B ) P ( B ) + P ( A ∣ B ‾ ) P ( B ‾ ) P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline B)P(\overline B)} P(B∣A)=P(A)P(AB)=P(A∣B)P(B)+P(A∣B)P(B)P(A∣B)P(B)

22.先验概率、后验概率

名词	解释
先验概率	由以往的数据分析得到的概率
后验概率	在得到信息之后再重新加以修正的概率

23.独立性

设A,B是试验E的两事件，若P(A)>0,可以定义P(B|A)。一般，A的发生对B的发生的概率有影响，这是P(B|A) ≠ \ne =P(B),只有在这种影响不存在时才会有P(B|A)=P(B),这是有
P ( A B ) = P ( B ∣ A ) P ( A ) = P ( B ) P ( A ) P(AB)=P(B|A)P(A)=P(B)P(A) P(AB)=P(B∣A)P(A)=P(B)P(A)

定义：设A,B是两事件，如果满足等式
P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)
则称事件A,B相互独立，简称A,B独立。

容易知道，若P(A)>0,P(B)>0,则A,B相互独立与A,B互不相容不能同时成立

定理一：设A,B是两事件，且P(A)>0,若A,B相互独立，则P(B|A)=P(B)。反之亦然。

定理二：若事件A,B相互独立，则下列各对事件也相互独立：
A 与 B ‾ ， A ‾ 与 B ， A ‾ 与 B ‾ A与\overline B，\overline A 与 B，\overline A 与 \overline B A与B，A与B，A与B

将独立性的概念推广到三个事件的情况

定义：设A,B,C是三个事件，如果满足公式：
P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)
P ( B C ) = P ( B ) P ( C ) P(BC)=P(B)P(C) P(BC)=P(B)P(C)
P ( A C ) = P ( A ) P ( C ) P(AC)=P(A)P(C) P(AC)=P(A)P(C)
P ( A B C ) = P ( A ) P ( B ) P ( C ) P(ABC)=P(A)P(B)P(C) P(ABC)=P(A)P(B)P(C)
则称事件A,B,C 相互独立

将独立性的概念推广到一般性情况

一般，设 A 1 , A 2 , ⋅ ⋅ ⋅ ， A n A_1,A_2,···，A_n A1,A2,⋅⋅⋅，An是n(n ≥ \ge ≥ 2)个事件，如果对于其中任意2个，任意3个，···，任意n个事件的积事件的概率，都等于个事件概率之积，则称事件 A 1 , A 2 , ⋅ ⋅ ⋅ ， A n A_1,A_2,···，A_n A1,A2,⋅⋅⋅，An相互独立

由独立性的一般定义可以得到以下两个推论：

若事件 A 1 , A 2 , ⋅ ⋅ ⋅ ， A n A_1,A_2,···，A_n A1,A2,⋅⋅⋅，An(n ≥ \ge ≥ 2)相互独立，则其中任意k( 2 ≤ k ≤ n 2\le k\le n 2≤k≤n)个事件也是相互独立的
若n个事件 A 1 , A 2 , ⋅ ⋅ ⋅ ， A n A_1,A_2,···，A_n A1,A2,⋅⋅⋅，An(n ≥ \ge ≥ 2)相互独立，则将 A 1 , A 2 , ⋅ ⋅ ⋅ ， A n A_1,A_2,···，A_n A1,A2,⋅⋅⋅，An中任意多个事件换成它们各自的对立事件，所得的n个事件仍相互独立

两事件相互独立的含义是它们中的一个已发生，不影响另一个发生的概率

24.总结

到此关于概率论的基本概念已经完全列举详尽，本博文根据《概率论与数理统计》浙大第四版第一章的内容精简而成。由于博文是博主全文手打而成，如有出现错误之处请通过评论区告知博主，博主会及时更改，防止误人子弟。