概率论第一章 - 概率论的基本概念

概率论的基本概念

1.随机试验
2.样本空间、随机事件
- 样本空间及样本点定义
- 随机事件
- *事件间的关系与事件的运算
3.概率与频率
- 一、频率定义
- 二、频率性质
- 三、概率定义
- 四、概率满足条件
- 五、概率重要性质
4.等可能概型（古典概型）
- 一、古典概型特点
- 二、古典概型计算公式
- 三、放回与不放回抽样
5.条件概率
- 一、条件概率定义
- 二、条件概率符合条件
- 三、乘法定理
- 四、*全概率公式和贝叶斯公式
6.独立性

1.随机试验

随机实验的共同特点有：

可以在相同条件下重复地进行
每次试验的结果不止一个，并且可以事先知道所有可能结果
在进行一次试验之前不能确定结果

2.样本空间、随机事件

样本空间及样本点定义

随机试验： 随机试验用 E 代表
样本空间：随机试验 E 的所有可能结果的集合称为样本空间，用 S 代表
样本点：随机试验 E 的每个结果成为样本点

随机事件

随机事件：我们称试验 E 的样本空间 S 的子集为 E 的随机事件，简称事件。
事件发生： 当且仅当事件中的一个样本点出现时，称这一事件发生。
必然事件：每次试验总是发生的，被成为必然事件，例如样本空间 S 本身。
不可能事件： 空集不包含任何样本点，他也做为样本空间的自己，但他每次试验的不发生，故称为不可能事件

*事件间的关系与事件的运算

一、事件关系

设试验 E 的样本空间为 S ，并且 A,B,Ak(k=1,2,···) 是 S 的子集。

包含/相等：
A⊂BA⊂B A⊂B
A=BA=B A=B
和事件：
A∪B=x∣x∈A或x∈BA∪B={x|x∈A 或 x∈B} A∪B=x∣x∈A或x∈B
积事件：
A∩B=x∣x∈A且x∈BA∩B={x|x∈A 且 x∈B} A∩B=x∣x∈A且x∈B
差事件：
A−B=x∣x∈A且x∉BA-B={x|x∈A 且 x ∉ B} A−B=x∣x∈A且x∈/B
互斥事件/互不相容：
A∩B=ØA∩B = Ø A∩B=Ø
对立事件：
A∪B=SA∪B=S A∪B=S
A∩B=ØA∩B=Ø A∩B=Ø

二、事件运算

交换律：
A∪B=B∪A;A∩B=B∩AA∪B = B∪A ; A∩B = B∩A A∪B=B∪A;A∩B=B∩A
结合律：
A∪(B∪C)=(A∪B)∪C；A∩(B∩C)=(A∩B)∩CA∪(B∪C) = (A∪B)∪C；A∩(B∩C) = (A∩B)∩C A∪(B∪C)=(A∪B)∪C；A∩(B∩C)=(A∩B)∩C
分配律：
A∪(B∩C)=(A∪B)∩(A∪C)；A∩(B∪C)=(A∩B)∪(A∩C)A∪(B∩C) = (A∪B)∩(A∪C)；A∩(B∪C) = (A∩B)∪(A∩C) A∪(B∩C)=(A∪B)∩(A∪C)；A∩(B∪C)=(A∩B)∪(A∩C)
德摩根率：
A∪B‾=A‾∩B‾;A∩B‾=A‾∪B‾\overline{A\cup B} = \overline{A}\cap\overline{B};\space\overline{A\cap B} = \overline{A}\cup\overline{B} A∪B=A∩B; A∩B=A∪B

3.概率与频率

一、频率定义

在相同条件下进行 n 次试验：

频数：事件 A 发生的次数 nA 称为事件 A 的频数

频率：频数/试验次数 (nA/n) 称为频率

二、频率性质

任一事件 A
0≤fn(A)≤10\leq f_{n}(A) \leq 1 0≤fn(A)≤1
必然事件 S
fn(S)=1f_{n}(S) = 1 fn(S)=1
若A1,A2,···，Ak 为两两互不相容事件，则

fn(A1∪A2∪⋅⋅⋅∪AK)=fn(A1)+fn(A2)+⋅⋅⋅+fn(AK)f_{n}(A_1\cup A_2\cup···\cup A_K) = f_{n}(A_1)+f_{n}(A_2)+···+f_{n}(A_K) fn(A1∪A2∪⋅⋅⋅∪AK)=fn(A1)+fn(A2)+⋅⋅⋅+fn(AK)

三、概率定义

对于 E 的每一个事件 A 赋予一个实数，记为 P(A) 称为事件 A 的概率。

四、概率满足条件

非负性
对于每一个事件A，有P(A)≥0对于每一个事件 A，有P(A) \geq0 对于每一个事件A，有P(A)≥0
规范性
对于必然事件S，有P(S)=1对于必然事件S，有 P(S) = 1 对于必然事件S，有P(S)=1
可列可加性

若 A1,A2,··· An 是两两互斥事件则有下式
P(A1∪A2∪⋅⋅⋅)=P(A1)+P(A2)+⋅⋅⋅P(A_1\cup A_2 \cup ··· ) = P(A_1)+P(A_2)+··· P(A1∪A2∪⋅⋅⋅)=P(A1)+P(A2)+⋅⋅⋅

五、概率重要性质

性质1：
P(∅)=0P(\emptyset) = 0 P(∅)=0
性质2：有限可加性，即两两互不相容事件加和得到样本空间。
P(A1∪A2∪⋅⋅⋅∪An)=P(A1)+P(A2)+⋅⋅⋅+P(An)P(A_1\cup A_2 \cup ··· \cup An) = P(A_1)+P(A_2)+···+P(A_n) P(A1∪A2∪⋅⋅⋅∪An)=P(A1)+P(A2)+⋅⋅⋅+P(An)
性质3： 若 A ⊂ B
P(B−A)=P(B)−P(A)P(B-A) = P(B)-P(A) P(B−A)=P(B)−P(A)

P(B)≥P(A)P(B)\geq P(A) P(B)≥P(A)

性质4： 任一事件 A
P(A)≤1P(A)\leq1 P(A)≤1
性质5： 任一事件A
P(A‾)=1−P(A)P(\overline{A}) = 1-P(A) P(A)=1−P(A)
性质6：加法公式
P(A∪B)=P(A)+P(B)−P(AB)P(A\cup B) = P(A)+P(B)-P(AB) P(A∪B)=P(A)+P(B)−P(AB)

4.等可能概型（古典概型）

一、古典概型特点

试验的样本空间只包含有限个元素
试验中每个基本事件发生的可能性相同

二、古典概型计算公式

P(A)=∑j=1kP({eij})=kn=A包含的基本事件数S中基本事件的总数P(A) = \sum_{j=1}^{k}P(\lbrace e_{i_{j}} \rbrace) =\frac{k}{n} = \frac{A包含的基本事件数}{S中基本事件的总数} P(A)=j=1∑kP({eij})=nk=S中基本事件的总数A包含的基本事件数

三、放回与不放回抽样

放回时： 各个事件包含的基本事件数不变，即 k 不变；样本空间中基本事件总数也不变，即 n 不变

不放回： 被抽出的事件中的基本事件数减少，即对应 ki 变小；样本空间中基本事件总数减少，即 n 变小。

5.条件概率

一、条件概率定义

在事件 A 发生的前提条件下事件 B 发生的概率，称为条件概率。

二、条件概率符合条件

条件概率符合概率定义中的三个条件

非负性：对于每一事件 B
P(B∣A)≥0P(B|A)\geq 0 P(B∣A)≥0
规范性：对于必然事件 S
P(S∣A)=1P(S|A)=1 P(S∣A)=1
可列可加性：B1，B2，··· 为两两互不相容事件
P(⋃i=1∞Bi∣A)=∑i=1∞P(Bi∣A)P(\bigcup_{i=1}^{\infty}B_i|A) = \sum_{i=1}^{\infty}P(B_i|A) P(i=1⋃∞Bi∣A)=i=1∑∞P(Bi∣A)

三、乘法定理

若设立该条件
P(A)>0P(A) > 0 P(A)>0
则有
P(AB)=P(B∣A)P(A)P(AB) = P(B|A)P(A) P(AB)=P(B∣A)P(A)
该式可以推广为更多事件
P(ABC)=P(C∣AB)P(B∣A)P(A)P(ABC)=P(C|AB)P(B|A)P(A) P(ABC)=P(C∣AB)P(B∣A)P(A)

四、*全概率公式和贝叶斯公式

样本空间的划分定义

设 S 为试验 E 的样本空间，B1,B2,···,Bn 为 E 的一组事件

若满足以下两条件：

BiBj=∅,i≠j,i,j=1,2,⋅⋅⋅，nB_iB_j = \emptyset, i \not= j, i,j=1,2,···，n BiBj=∅,i=j,i,j=1,2,⋅⋅⋅，n
B1∪B2∪⋅⋅⋅∪Bn=SB_1\cup B_2 \cup ··· \cup B_n = S B1∪B2∪⋅⋅⋅∪Bn=S

即将该样本空间划分为 n 个两两互不相容的事件。

全概率公式：

设一事件A 为 E 的事件，并通过上述划分，且 P(Bi) > 0。
P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋅⋅⋅+P(A∣Bn)P(Bn)P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+···+P(A|B_n)P(B_n) P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋅⋅⋅+P(A∣Bn)P(Bn)
tip: 该公式是通过加和 A 在每个划分事件中概率，得出A的总概率。

贝叶斯公式：
满足P(A)>0;P(Bi)>0满足 P(A) > 0 \space;\space P(B_i) > 0 满足P(A)>0 ; P(Bi)>0

P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋅⋅⋅,nP(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)},i=1,2,···,n P(Bi∣A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi),i=1,2,⋅⋅⋅,n
tip：该公式通过结果求条件

即通过结果： B前提下A发生的概率与 B的概率
P(A∣Bi)P(Bi)P(A|B_i) \space\space P(B_i) P(A∣Bi) P(Bi)
来求条件： A前提下B的概率
P(Bi∣A)P(B_i|A) P(Bi∣A)
这样我们就算不知道 A 发生的概率也可以求得 A 前提下 B发生的概率。

6.独立性

独立性，则是事件之间发生的概率互不干扰。

正好与条件概率相反

条件：事件两两互不相容
独立：为两两事件一定相容

P(B∣A)=P(B)P(B|A) = P(B) P(B∣A)=P(B)

P(AB)=P(B∣A)P(A)=P(A)P(B)P(AB) = P(B|A){P(A)=P(A)P(B)} P(AB)=P(B∣A)P(A)=P(A)P(B)

若 A 和 B 相互独立，则
A‾与B‾，A与B‾，A‾与B相互独立\overline{A} 与\overline{B}，A与\overline{B}，\overline{A}与B 相互独立 A与B，A与B，A与B相互独立