概率论的基本概念——《概率论与数理统计》第一章学习报告

前言

最近在学习概率论的内容，决定做一下学习报告来总结一下的第一章的知识点。

参考教材是浙大第四版的《概率论与数理统计》。

思维导图

1. 随机试验

主要是随机试验的3个特点，即：

相同条件重复。
可能的结果多种且已知。
每次试验的结果的不确定。

2. 样本空间、随机事件

2.1 样本空间

样本空间：随机试验E的所有可能结果组成的集合，即为S。

样本点：随机试验E的每个结果。

2.2 随机事件

定义：样本空间S的子集。可简称为事件。

基本事件：由一个样本点组成的单点集。

必然事件：其实就是S，该事件包含所有的样本点。

不可能事件：不包含样本点，为空集。

2.3 事件间的关系和事件的运算

关系

包含，一个事件A包含在另一个事件B中，A就是B的子集
A⊂B(特殊情况)A=BA \subset B \\ (特殊情况)A = B A⊂B(特殊情况)A=B
A和B的 和事件，逻辑上其实就是 A 或 B
A∪BA \cup B A∪B
积事件，逻辑上就是A与B，或者说是A且B，即A和B的公共部分，A和B的交集。
A∩BA \cap B A∩B
A 与 B 的 差事件，下列指当且仅当A发生，B不发生的事件
A−BA-B A−B
互不相容，或者称为互斥
A∩B=∅A \cap B = \emptyset A∩B=∅
对立事件 ，互为逆事件，即
A∩B=∅A∪B=SA \cap B = \emptyset \\ A \cup B = S A∩B=∅A∪B=S

上面6个事件间的关系可以依照下图（取自教材）

运算规律

交换律
A∪B=B∪AA∩B=B∩AA\cup B = B\cup A \\ A \cap B = B \cap A A∪B=B∪AA∩B=B∩A
结合律
A∪(B∪C)=(A∪B)∪CA∩(B∩C)=(A∩B)∩CA \cup (B \cup C) = (A\cup B) \cup C \\ A \cap (B \cap C) = (A \cap B) \cap C A∪(B∪C)=(A∪B)∪CA∩(B∩C)=(A∩B)∩C
分配律
A∪(B∩C)=(A∪B)∩(A∪C)A∩(B∪C)=(A∩B)∪(A∩C)A\cup (B\cap C) = (A\cup B)\cap(A\cup C) \\ A\cap(B\cup C) = (A\cap B)\cup(A \cap C) A∪(B∩C)=(A∪B)∩(A∪C)A∩(B∪C)=(A∩B)∪(A∩C)
德摩根律
A∪B‾=A‾∩B‾A∩B‾=A‾∪B‾\overline{A\cup B} = \overline{A} \cap \overline{B} \\ \overline{A\cap B} = \overline{A} \cup \overline{B} A∪B=A∩BA∩B=A∪B

3. 频率与概率

3.1 频率

定义：相同条件下，n次试验，事件A发生的次数为A发生的频数，频数和n的比值，即为A发生的频率。

基本性质：

0≤f≤10 \leq f \leq 1 0≤f≤1
fn(S)=1f_n(S) = 1 fn(S)=1
Ai 为基本事件，（两两互不相容）
fn(A1∪A2∪...∪Ak)=fn(A1)+...+fn(Ak)f_n(A_1 \cup A_2 \cup ... \cup A_k) = f_n(A_1)+ ...+fn(A_k) fn(A1∪A2∪...∪Ak)=fn(A1)+...+fn(Ak)

3.2 概率

定义：对随机试验E的每一个事件A赋予一个实数，记为P（A）。

概率的满足条件：

非负性
P(A)≥0P(A) \geq 0 P(A)≥0
规范性（S为必然事件，其实也是样本空间的所有元素）
P(S)=1P(S) = 1 P(S)=1
可列可加性（事件两两互不相容）
P(A1∪A2∪...)=P(A1)+P(A2)+...P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) +... P(A1∪A2∪...)=P(A1)+P(A2)+...

重要性质

P(∅)=0P(\emptyset) = 0 P(∅)=0
有限可加性，其实就是可列可加性
若A⊂B，则P(B−A)=P(B)−p(A)P(B)≥P(A)若 A \subset B ，则\\ P(B - A) = P(B) - p(A)\\ P(B) \geq P(A) 若A⊂B，则P(B−A)=P(B)−p(A)P(B)≥P(A)
逆事件概率
P(A‾)=1−P(A)P(\overline{A}) = 1 - P(A) P(A)=1−P(A)
加法公式
1=P(S)=P(A∪A‾)=P（A）+P(B‾)1 = P(S) = P(A\cup \overline{A}) = P（A）+ P(\overline{B}) 1=P(S)=P(A∪A)=P（A）+P(B)

4. 等可能概型（古典概型）

特点

样本空间内元素数量有限。
基本事件的可能性相同。
直观、容易理解。

关于放回和不放回抽样的问题，其实也很好理解，放回不会影响样本空间的改变，所以对于相同事件每次抽样概率不变；反之，不放回抽样会改变样本空间，概率改变。

超几何分布

对于不放回抽样的一种概率分布模型，书中的例子是：

有N件产品，其中D件次品，任取n件产品，求其中k件次品的概率。

p=CDk∗CN−Dn−k/CNnp = C^k_D * C^{n-k}_{N-D} / C^n_N p=CDk∗CN−Dn−k/CNn

这里没有使用课本中的大圆括号（原因很简单，哥们不会），这里的C是高中数学学的排列组合中的组合。

实际推断原理

概率很小的事件在一次试验中实际上几乎是不发生的。

5. 条件概率

5.1 条件概率

我对定义的理解就是事件B发生对事件A的发生了影响（可以为0，即无影响），在这种影响的情况下，A发生的概率。
P(B∣A)=P(AB)P(A)P(B|A) = \frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)
条件概率也是概率，所以也满足概率定义的三个条件。

5.2 乘法定理

设P(A) > 0
P(AB)=P(B∣A)P(A)P(AB) = P(B|A)P(A) P(AB)=P(B∣A)P(A)
可以拓展到多个事件的积事件
P(ABC)=P(C∣AB)P(B∣A)P(A)P(ABC) = P(C|AB)P(B|A)P(A) P(ABC)=P(C∣AB)P(B∣A)P(A)

5.3 全概率公式和贝叶斯公式

样本空间的划分

S为试验E的样本空间，B1, B2, … , Bn 为 E的一组事件，若
(i)BiBj=∅,i≠j,i,j=1,2,...,n.(ii)B1∪B2∪...∪Bn=S(i) B_iB_j = \emptyset, i \neq j, i,j = 1,2,...,n.\\ (ii) B_1 \cup B_2 \cup ... \cup B_n = S (i)BiBj=∅,i=j,i,j=1,2,...,n.(ii)B1∪B2∪...∪Bn=S
则称Bi 为样本空间的划分。

全概率公式

根据Bi为 S的一个划分，对于A为E的一个事件，有
P(A)=∑i=1nP(A∣Bi)P(Bi)P(A) = \sum_{i=1}^n P(A|B_i)P(B_i) P(A)=i=1∑nP(A∣Bi)P(Bi)

贝叶斯公式

P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj)P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum^n_{j=1}P(A|B_j)P(B_j)} P(Bi∣A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi)

贝叶斯公式在机器学习、神经网络等领域有着非常广泛的应用，我曾经做过一个机器学习的小demo，使用的对数据的分类方法正是基于贝叶斯的分类器，更多细节可以参考下列我当时学习的两个案例的blog

2.朴素贝叶斯分类算法(NBC)_zhouping118的博客-CSDN博客_nbc算法

朴素贝叶斯分类（NBC）的Python实现（离散）_weixin_42353399的博客-CSDN博客

6. 独立性

前面在条件概率中提到的一个事件的发生对另一个事件的发生可能会有影响，而独立性就是指没有这种影响。即
P(B∣A)=P(B)P(AB)=P(B∣A)P(A)=P(A)P(B)P(B|A) = P(B) \\ P(AB) = P(B|A)P(A) = P(A)P(B) P(B∣A)=P(B)P(AB)=P(B∣A)P(A)=P(A)P(B)
此时 A，B 相互独立。

同理，独立也可以拓展到多个事件的情况。

定理

如果A和B相互独立，则
A‾与B‾，A与B‾，B与A‾相互独立\overline{A} 与 \overline{B} ，A与\overline{B} ，B与\overline{A} 相互独立 A与B，A与B，B与A相互独立

题目

在写习题的时候（写的比较少，就20题，后面的还没写）所以不能覆盖所有的知识点，但是对于我自己还是有比较的针对性（自己太菜了），下面带来这两道题目。

1. 铆钉题（绕圈）

第一章习题的第12题，这题是有50个铆钉，随机地取来用在10个部件，每个部件用3个铆钉，50个中有3个强度太弱，如果3只弱铆钉都给一个部件，那这个部件强度就太弱了。然后我们需要求发生一个部件强度太弱的概率。

读完上面的题目，整个人都有点被绕晕了，这题其实在例题中有原型古典概型那一节的例题3和4，只不过这个太能绕了，我第一次读的时候直接懵了。

首先一个个分析：

50个中有3个太弱
10个部件
3个铆钉都给一个部件，部件就太弱
求一个部件太弱的概率

重点是4，求的是一个部件太弱的概率，
$$
设A_i (1 \leq i \leq 10) 为第i个部件太弱的事件\
P(A_i) = \frac{1}{C^3_{50}}

$$
而我们有10个部件

设发生一个部件太弱的事件为A, 有
P(A)=C101∗P(Ai)P(A) = C_{10}^1*P(A_i) P(A)=C101∗P(Ai)

2. 取球放球问题，条件概率

是第19题，主要是第二小问，计算量小大，别算错

两个盒子，第一个5红4白，第二个4红5白，先从第一个取2个给第二个，然后从第二个取一个，求第二个取出白的概率

不绕，就是容易算错。

可以设 Ai 为第一个取出白，i为白的数量，设 B 为从第二个取出白。
P(B)=∑i=02P(BAi)=∑i=02P(B∣Ai)P(Ai)P(B) = \sum^2_{i=0} P(BA_i) = \sum^2_{i=0} P(B|A_i)P(A_i) P(B)=i=0∑2P(BAi)=i=0∑2P(B∣Ai)P(Ai)

别算错，别算错，别算错！！！

后话

{1}{C^3_{50}}