1 - 概率论与数理统计

文章目录

1 - 概率论与数理统计
- 一、随机事件与概率
- - 1）集合的运算法则
  - 2）概率的基本运算与公式
  - 3）独立与对立
  - - 1. 两事件相互独立
    - 2. 三事件两两独立
    - 3. 三事件相互独立
    - 4. 两事件对立
- 二、一维随机变量及其分布
- - 1）常见随机变量分布类型
  - - 1. 离散型
    - 2. 连续型
- 三、多维随机变量及其分布
- - 1）随机变量的相互独立性
  - - 1. 相互独立的充要条件
    - 2. 相互独立的性质
  - 2）多维随机变量分布的处理
  - - 1. Z = X+Y
    - 2. Z = X-Y
    - 3. Z = XY
    - 4. Z = X/Y
    - 5. max{X,Y}
    - 6. min{X,Y}
  - 3）常见分布的可加性
- 四、随机变量的数字特征
- - 1）标准化随机变量
  - 2）期望
  - 3）方差
  - 4）协方差与相关系数
  - 5）切比雪夫不等式
  - 6）进货多少期望最大？
- 五、大数定律与中心极限定理
- - 1）大数定律
  - 2）中心极限定理
- 六、数理统计
- - 1）样本的数字特征
  - 2）三大分布
  - - 1. $\chi^2$ 分布
    - 2. t 分布
    - 3. F 分布
  - 3）总体为正态分布时的常用结论
  - 4）参数的点估计
  - - 1. 矩估计法
    - 2. 最大似然估计法
    - 3. 估计量的评价标准
  - 5）参数的区间估计
  - 6）假设检验
  - 7）两类错误
- 七、补充
- - 1. 拆求和平方括号
  - 2. X 服从正态分布时的一些期望与方差
  - - 1. $EX^2$
    - 2. $EX^4$ 与 $DX^2$

一、随机事件与概率

1）集合的运算法则

吸收律：若 A⊂BA\subset BA⊂B ，则 A∪B=BA\cup B = BA∪B=B ，A∩B=AA\cap B=AA∩B=A
交换律：A∪B=B∪AA \cup B=B\cup AA∪B=B∪A，A∩B=B∩AA\cap B=B \cap AA∩B=B∩A
结合律：(A∪B)∪C=A∪(B∪C)(A\cup B)\cup C=A\cup(B\cup C)(A∪B)∪C=A∪(B∪C)，(A∩B)∩C=A∩(B∩C)(A\cap B)\cap C=A\cap(B\cap C)(A∩B)∩C=A∩(B∩C)
分配律：
A∩(B∪C)=(A∩B)∪(A∩C)A∪(B∩C)=(A∪B)∩(A∪C)A∩(B−C)=(A∩B)−(A∩C)A\cap (B\cup C)=(A\cap B)\cup(A\cap C) \\ A\cup (B\cap C)=(A\cup B)\cap(A\cup C) \\ A\cap(B-C)=(A\cap B)-(A\cap C) A∩(B∪C)=(A∩B)∪(A∩C)A∪(B∩C)=(A∪B)∩(A∪C)A∩(B−C)=(A∩B)−(A∩C)
德·摩根定律（同样适用于布尔代数）：
A∪B‾=A‾∩B‾A∩B‾=A‾∪B‾\overline{A\cup B}=\overline{A}\cap \overline{B} \\ \overline{A\cap B}=\overline{A}\cup \overline{B} A∪B=A∩BA∩B=A∪B

2）概率的基本运算与公式

逆事件概率公式：P(A‾)=1−P(A)P(\overline{A})=1-P(A)P(A)=1−P(A)
加法公式： P(A∪B)=P(A)+P(B)−P(AB)P(A\cup B)=P(A)+P(B)-P(AB)P(A∪B)=P(A)+P(B)−P(AB)
减法公式： P(A−B)=P(A)−P(AB)=P(AB‾)P(A-B)=P(A)-P(AB)=P(A\overline{B})P(A−B)=P(A)−P(AB)=P(AB)
乘法公式： P(AB)=P(A)P(B∣A)P(AB)=P(A)P(B|A)P(AB)=P(A)P(B∣A)
条件概率公式： P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB) （几乎就是乘法公式）
全概率公式： P(B)=∑i=1nP(Ai)P(B∣Ai)P(B)=\sum_{i=1}^n P(A_i)P(B|A_i)P(B)=∑i=1nP(Ai)P(B∣Ai)
贝叶斯公式：
P(A∣B)=P(A)P(B∣A)P(B)P(A|B)=\frac{P(A)P(B|A)}{P(B)} P(A∣B)=P(B)P(A)P(B∣A)

贝叶斯公式最早是由条件概率公式推导出来的：

P(B∣A)=P(AB)P(A)⇒P(AB)=P(A)⋅P(B∣A)P(B|A)=\frac{P(AB)}{P(A)} \Rightarrow P(AB)=P(A)\cdot P(B|A) P(B∣A)=P(A)P(AB)⇒P(AB)=P(A)⋅P(B∣A)

交换AB的位置
P(A∣B)=P(AB)P(B)=P(A)⋅P(B∣A)P(B)P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(A)\cdot P(B|A)}{P(B)} P(A∣B)=P(B)P(AB)=P(B)P(A)⋅P(B∣A)

3）独立与对立

1. 两事件相互独立

对于事件 A、BA、BA、B
P(AB)=P(A)P(B)⟺A、B独立P(AB)=P(A)P(B) \iff A、B \ 独立 P(AB)=P(A)P(B)⟺A、B 独立

2. 三事件两两独立

对于事件 A、B、CA、B、CA、B、C
A、B、C两两独立⟺{P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(AC)=P(A)P(C)A、B、C \ 两两独立 \iff \begin{cases} P(AB)=P(A)P(B) \\ P(BC)=P(B)P(C) \\ P(AC)=P(A)P(C) \\ \end{cases} A、B、C 两两独立⟺⎩⎪⎨⎪⎧P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(AC)=P(A)P(C)

3. 三事件相互独立

对于事件 A、B、CA、B、CA、B、C
A、B、C相互独立⟺{P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(AC)=P(A)P(C)P(ABC)=P(A)P(B)P(C)A、B、C \ 相互独立 \iff \begin{cases} P(AB)=P(A)P(B) \\ P(BC)=P(B)P(C) \\ P(AC)=P(A)P(C) \\ P(ABC)=P(A)P(B)P(C) \\ \end{cases} A、B、C 相互独立⟺⎩⎪⎪⎪⎨⎪⎪⎪⎧P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(AC)=P(A)P(C)P(ABC)=P(A)P(B)P(C)

4. 两事件对立

A、B对立⟺{A∪B=ΩA∩B=ϕA、B\ 对立 \iff \begin{cases} A\cup B=\Omega \\ A\cap B=\phi \\ \end{cases} A、B 对立⟺{A∪B=ΩA∩B=ϕ

二、一维随机变量及其分布

对于已知 XXX 的分布，求 Y=f(X)Y=f(X)Y=f(X) ，概率分布函数是一个很重要的抓手，即
F(Y)=P{Y≤y}=P{f(X)≤y}=P{X≤g(y)}F(Y)=P\{Y\leq y\} = P\{f(X)\leq y\}=P\{X\leq g(y)\} F(Y)=P{Y≤y}=P{f(X)≤y}=P{X≤g(y)}
然后借助 XXX 分类讨论 YYY 在不同取值范围时的概率分布

1）常见随机变量分布类型

1. 离散型

名称	英文全称	符号	概率分布	期望E	方差D
0-1分布	Bernoulli	B(1,p)B(1,p)B(1,p)	P{x=1}=p，P{x=0}=1−pP\{x=1\}=p ，P\{x=0\}=1-pP{x=1}=p，P{x=0}=1−p	ppp	p(1−p)p(1-p)p(1−p)
二项分布	Bernoulli	B(n,p)B(n,p)B(n,p)	P{x=k}=Cnkpk(1−p)n−kP\{x=k\}=C_n^kp^k(1-p)^{n-k}P{x=k}=Cnkpk(1−p)n−k	npnpnp	np(1−p)np(1-p)np(1−p)
泊松分布	Poisson	P(λ)P(\lambda)P(λ)	P{x=k}=λkk!e−λP\{x=k\}=\frac{\lambda^k}{k!}e^{-\lambda}P{x=k}=k!λke−λ	λ\lambdaλ	λ\lambdaλ
几何分布	Geographic	G(p)G(p)G(p)	P{x=k}=(1−p)k−1pP\{x=k\}=(1-p)^{k-1}pP{x=k}=(1−p)k−1p	1p\frac 1pp1	1−pp2\frac{1-p}{p^{2}}p21−p

2. 连续型

名称	英文全称	符号	概率分布	期望E	方差D
均匀分布	Uniform	U(a,b)U(a,b)U(a,b)	f(x)={1b−a,a<x<b0,elsef(x)=\begin{cases}\frac1{b-a}&,\quad a<x<b \\0 &, \quad else \end{cases}f(x)={b−a10,a<x<b,else	a+b2\frac{a+b}22a+b	(b−a)212\frac{(b-a)^2}{12}12(b−a)2
正态分布	Normal	N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)	f(x)=12πσexp{−(x−μ)22σ2}f(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}f(x)=2πσ1exp{−2σ2(x−μ)2}	μ\muμ	σ2\sigma^2σ2
指数分布	Exponent	E(λ)E(\lambda)E(λ)	f(x)=λe−λx,x>0f(x)=\lambda e^{-\lambda x},\ x>0f(x)=λe−λx, x>0	1λ\frac1\lambdaλ1	1λ2\frac1{\lambda^2}λ21

【注】 正态标准化公式 x−μσ∼N(0,1)\frac{x-\mu}{\sigma}\sim N(0,1)σx−μ∼N(0,1)

三、多维随机变量及其分布

1）随机变量的相互独立性

1. 相互独立的充要条件

独立 ⟺\iff⟺ 边缘相乘

F(x,y)=FX(x)⋅FY(y)F(x,y)=F_X(x)\cdot F_Y(y)F(x,y)=FX(x)⋅FY(y)

P{X=xi,Y=yj}=P{X=xi}⋅P{Y=yj}P\{X=x_i,Y=y_j\}=P\{X=x_i\}\cdot P\{Y=y_j\}P{X=xi,Y=yj}=P{X=xi}⋅P{Y=yj}

f(x,y)=fX(x)⋅fY(y)f(x,y)=f_X(x)\cdot f_Y(y)f(x,y)=fX(x)⋅fY(y)

2. 相互独立的性质

XXX 与 YYY 独立，则

条件分布 = 边缘分布

P{X=xi∣Y=yj}=P{X=xi}P\{X=x_i|Y=y_j\}=P\{X=x_i\}P{X=xi∣Y=yj}=P{X=xi}

fX∣Y(x∣y)=fX(x)f_{X|Y}(x|y)=f_X(x)fX∣Y(x∣y)=fX(x)

证明：
fX∣Y(x∣y)=f(x,y)fY(y)=fX(x)⋅fY(y)fY(y)=fX(x)f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}=\frac{f_X(x)\cdot f_Y(y)}{f_Y(y)}=f_X(x) fX∣Y(x∣y)=fY(y)f(x,y)=fY(y)fX(x)⋅fY(y)=fX(x)

若函数 g 连续，则 g1(X)、g2(Y)g_1(X)、g_2(Y)g1(X)、g2(Y) 也相互独立
ρXY=0⟺\rho_{XY}=0 \iffρXY=0⟺ 独立；ρXY=1⟺\rho_{XY}=1 \iffρXY=1⟺ 线性相关

2）多维随机变量分布的处理

前面补充的系数大致可以当作 “导数的绝对值” ，如 Z=XYZ=XYZ=XY 时有 zx\frac zxxz ，此时对 zzz 求导加绝对值有 1∣x∣\frac1{|x|}∣x∣1

【注】 fX(x)=FX′(x)f_X(x)=F_X^\prime(x)fX(x)=FX′(x)

1. Z = X+Y

fZ(z)=∫−∞+∞f(x,z−x)dx=∫−∞+∞f(z−y,y)dyf_Z(z)=\int_{-\infty}^{+\infty} f(x,z-x)dx=\int_{-\infty}^{+\infty} f(z-y,y)dy fZ(z)=∫−∞+∞f(x,z−x)dx=∫−∞+∞f(z−y,y)dy

类似于直接代入 Z = X+Y

X、Y 独立时有卷积公式：
fZ(z)=∫−∞+∞fX(x)fY(z−x)dx=∫−∞+∞fX(z−y)fY(y)dyf_Z(z)=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dx=\int_{-\infty}^{+\infty} f_X(z-y)f_Y(y)dy fZ(z)=∫−∞+∞fX(x)fY(z−x)dx=∫−∞+∞fX(z−y)fY(y)dy
这里是利用独立的性质把 f(x,y)f(x,y)f(x,y) 拆成了 fX(x)⋅fY(y)f_X(x)\cdot f_Y(y)fX(x)⋅fY(y) ，拆开后长得像卷积，所以称之为卷积公式

2. Z = X-Y

fZ(z)=∫−∞+∞f(x,x−z)dx=∫−∞+∞f(z+y,y)dyf_Z(z)=\int_{-\infty}^{+\infty} f(x,x-z)dx=\int_{-\infty}^{+\infty} f(z+y,y)dy fZ(z)=∫−∞+∞f(x,x−z)dx=∫−∞+∞f(z+y,y)dy

X、Y 独立时有卷积公式：
fZ(z)=∫−∞+∞fX(x)fY(x−z)dx=∫−∞+∞fX(z+y)fY(y)dyf_Z(z)=\int_{-\infty}^{+\infty}f_X(x)f_Y(x-z)dx=\int_{-\infty}^{+\infty} f_X(z+y)f_Y(y)dy fZ(z)=∫−∞+∞fX(x)fY(x−z)dx=∫−∞+∞fX(z+y)fY(y)dy

3. Z = XY

fZ(z)=∫−∞+∞1∣x∣f(x,zx)dx=∫−∞+∞1∣y∣f(zy,y)dyf_Z(z)=\int_{-\infty}^{+\infty} \frac{1}{|x|}f(x,\frac zx)dx=\int_{-\infty}^{+\infty}\frac1{|y|}f(\frac zy,y)dy fZ(z)=∫−∞+∞∣x∣1f(x,xz)dx=∫−∞+∞∣y∣1f(yz,y)dy

X、Y 独立时有：
fZ(z)=∫−∞+∞1∣x∣fX(x)fY(zx)dx=∫−∞+∞1∣y∣fX(zy)fY(y)dyf_Z(z)=\int_{-\infty}^{+\infty} \frac{1}{|x|}f_X(x)f_Y(\frac zx)dx=\int_{-\infty}^{+\infty}\frac1{|y|}f_X(\frac zy)f_Y(y)dy fZ(z)=∫−∞+∞∣x∣1fX(x)fY(xz)dx=∫−∞+∞∣y∣1fX(yz)fY(y)dy

4. Z = X/Y

fZ(z)=∫−∞+∞∣y∣f(yz,y)dyf_Z(z)=\int_{-\infty}^{+\infty} |y|f(yz,y)dy fZ(z)=∫−∞+∞∣y∣f(yz,y)dy

X、Y 独立时有：
fZ(z)=∫−∞+∞∣y∣fX(yz)fY(y)dyf_Z(z)=\int_{-\infty}^{+\infty} |y|f_X(yz)f_Y(y)dy fZ(z)=∫−∞+∞∣y∣fX(yz)fY(y)dy

5. max{X,Y}

Fmax(z)=P{max{X,Y}≤z}=P{X≤z,Y≤z}=F(z,z)F_{max}(z)=P\{max\{X,Y\}\leq z\}=P\{X\leq z,Y\leq z\}=F(z,z) Fmax(z)=P{max{X,Y}≤z}=P{X≤z,Y≤z}=F(z,z)

X、Y独立时有：
Fmax(z)=FX(z)⋅FY(z)F_{max}(z)=F_X(z)\cdot F_Y(z) Fmax(z)=FX(z)⋅FY(z)

6. min{X,Y}

Fmin(z)=P{min{X,Y}≤z}=P{X≤z}∪P{Y≤z}=P{X≤z}+P{Y≤z}−P{X≤z,Y≤z}=FX(z)+FY(z)−F(z,z)\begin{aligned} F_{min}(z)&=P\{min\{X,Y\}\leq z\}=P\{X\leq z\}\cup P\{Y\leq z\} \\ &=P\{X\leq z\} + P\{Y\leq z\} - P\{X\leq z,Y\leq z\} \\ &=F_X(z)+F_Y(z)-F(z,z) \end{aligned} Fmin(z)=P{min{X,Y}≤z}=P{X≤z}∪P{Y≤z}=P{X≤z}+P{Y≤z}−P{X≤z,Y≤z}=FX(z)+FY(z)−F(z,z)

X、Y独立时有：
Fmin(z)=FX(z)+FY(z)−FX(z)⋅FY(z)=1−[1−FX(z)]⋅[1−FY(z)]\begin{aligned} F_{min}(z)&=F_X(z)+F_Y(z)-F_X(z)\cdot F_Y(z) \\ &=1-[1-F_X(z)]\cdot[1-F_Y(z)] \end{aligned} Fmin(z)=FX(z)+FY(z)−FX(z)⋅FY(z)=1−[1−FX(z)]⋅[1−FY(z)]
或
Fmin(z)=P{min{X,Y}≤z}=1−P{min{X,Y}>z}=1−P{X>z,Y>z}=1−P{X>z}⋅P{Y>z}=1−[1−FX(z)]⋅[1−FY(z)]\begin{aligned} F_{min}(z)&=P\{min\{X,Y\}\leq z \}=1-P\{min\{X,Y\}>z\} \\ &=1-P\{X>z,Y>z\}=1-P\{X>z\}\cdot P\{Y>z\} \\ &=1-[1-F_X(z)]\cdot[1-F_Y(z)] \end{aligned} Fmin(z)=P{min{X,Y}≤z}=1−P{min{X,Y}>z}=1−P{X>z,Y>z}=1−P{X>z}⋅P{Y>z}=1−[1−FX(z)]⋅[1−FY(z)]

技巧性表示：

max{X,Y}=12[(X+Y)+∣X−Y∣]max\{X,Y\}=\frac12[\ (X+Y)+|X-Y|\ ]max{X,Y}=21[ (X+Y)+∣X−Y∣ ]

min{X,Y}=12[(X+Y)−∣X−Y∣]min\{X,Y\}=\frac12[\ (X+Y)-|X-Y|\ ]min{X,Y}=21[ (X+Y)−∣X−Y∣ ]

3）常见分布的可加性

X∼B(n,p),Y∼B(m,p)⇒X+Y∼B(m+n,p)X\sim B(n,p),\ Y\sim B(m,p)\Rightarrow X+Y\sim B(m+n,p)X∼B(n,p), Y∼B(m,p)⇒X+Y∼B(m+n,p)
X∼P(λ1),Y∼P(λ2)⇒X+Y∼P(λ1+λ2)X\sim P(\lambda_1),\ Y\sim P(\lambda_2)\Rightarrow X+Y\sim P(\lambda_1+\lambda_2)X∼P(λ1), Y∼P(λ2)⇒X+Y∼P(λ1+λ2)
X∼N(μ1,σ12),Y∼N(μ2,σ22)⇒X+Y∼N(μ1+μ2,σ12+σ22)X\sim N(\mu_1,\sigma_1^2),\ Y\sim N(\mu_2,\sigma_2^2) \Rightarrow X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)X∼N(μ1,σ12), Y∼N(μ2,σ22)⇒X+Y∼N(μ1+μ2,σ12+σ22)
X∼χ2(n),Y∼χ2(m)⇒X+Y∼χ2(n+m)X\sim \chi^2(n),\ Y\sim \chi^2(m)\Rightarrow X+Y\sim \chi^2(n+m)X∼χ2(n), Y∼χ2(m)⇒X+Y∼χ2(n+m)

【注】 F(3x,y)⇒3f(3x,y)F(3x,y) \Rightarrow 3f(3x,y)F(3x,y)⇒3f(3x,y) ，3x 表示 x 方向上被压缩为原来的 1/3 ，x 的总概率又为 1 不变，所以概率密度要变为原来的 3 倍。也可以由 ∂2F(3x,y)∂x∂y=3f(3x,y)\frac{\partial^2 F(3x,y)}{\partial x\partial y}=3f(3x,y)∂x∂y∂2F(3x,y)=3f(3x,y) 得到

四、随机变量的数字特征

1）标准化随机变量

X∗=X−EXDX⟹EX∗=0,DX∗=1X^*=\frac{X-EX}{\sqrt{DX}} \Longrightarrow EX^*=0 ,\ DX^*=1 X∗=DXX−EX⟹EX∗=0, DX∗=1

2）期望

Ec=c,E(aX+c)=aEX+c,E(X+Y)=EX+EYEc=c,\quad E(aX+c)=aEX+c,\quad E(X+Y)=EX+EY Ec=c,E(aX+c)=aEX+c,E(X+Y)=EX+EY

X、Y 独立时有：
E(XY)=EX⋅EY,E[g1(X)⋅g2(Y)]=E[g1(X)]⋅E[g2(Y)]E(XY)=EX\cdot EY,\quad E[g_1(X)\cdot g_2(Y)]=E[g_1(X)]\cdot E[g_2(Y)] E(XY)=EX⋅EY,E[g1(X)⋅g2(Y)]=E[g1(X)]⋅E[g2(Y)]

3）方差

DX=E[(X−EX)2]=E(X2)−(EX)2DX=E[(X-EX)^2]=E(X^2)-(EX)^2DX=E[(X−EX)2]=E(X2)−(EX)2

Dc=0,D(aX+c)=a2DX,D(X±Y)=DX+DY±2Cov(X,Y)Dc=0,\quad D(aX+c)=a^2DX,\quad D(X\pm Y)=DX+DY\pm 2Cov(X,Y) Dc=0,D(aX+c)=a2DX,D(X±Y)=DX+DY±2Cov(X,Y)

X、Y 独立时有：
D(aX+bY)=a2DX+b2DYD(aX+bY)=a^2DX+b^2DY D(aX+bY)=a2DX+b2DY

4）协方差与相关系数

协方差
Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EX⋅EYCov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EX⋅EY
核心公式

D(aX+bY+c)=a2DX+b2DY+2abCov(X,Y)D(aX+bY+c)=a^2DX+b^2DY+2abCov(X,Y) D(aX+bY+c)=a2DX+b2DY+2abCov(X,Y)

相关系数
ρXY=Cov(X,Y)DX⋅DY\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\cdot\sqrt{DY}} ρXY=DX⋅DYCov(X,Y)
若 ρXY=0\rho_{XY}=0ρXY=0 ，则称 X、Y 不线性相关

【注】 相关系数只描述线性相关，其它相关性与它无关，而独立是完全不相关，所以独立一定不线性相关，不线性相关不一定独立

性质

对称性

Cov(X,Y)=Cov(Y,X),ρXY=ρYXCov(X,Y)=Cov(Y,X),\quad\rho_{XY}=\rho_{YX}Cov(X,Y)=Cov(Y,X),ρXY=ρYX

Cov(X,X)=DX,ρXY=0Cov(X,X)=DX,\quad \rho_{XY}=0Cov(X,X)=DX,ρXY=0

线性性

Cov(X,c)=0Cov(X,c)=0Cov(X,c)=0

Cov(aX+b,Y)=aCov(X,Y)Cov(aX+b,Y)=aCov(X,Y)Cov(aX+b,Y)=aCov(X,Y)

Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

相关系数

∣ρXY∣<1|\rho_{XY}|<1∣ρXY∣<1

有 Y=aX+bY=aX+bY=aX+b 说明 X、Y 线性相关，此时 ρXY=1\rho_{XY}=1ρXY=1 。a>0a>0a>0 时，ρXY=1\rho_{XY}=1ρXY=1 ；a<0a<0a<0 时，ρXY=−1\rho_{XY}=-1ρXY=−1

5）切比雪夫不等式

如果随机变量 XXX 的方差 DXDXDX 存在，则 ∀ξ>0\forall\ \xi>0∀ ξ>0 ，有：
P{∣X−EX∣≥ξ}≤DXξ2P\{|X-EX|\geq\xi\} \leq \frac{DX}{\xi^2} P{∣X−EX∣≥ξ}≤ξ2DX
或
P{∣X−EX∣<ξ}≥1−DXξ2P\{|X-EX|<\xi\} \geq 1-\frac{DX}{\xi^2} P{∣X−EX∣<ξ}≥1−ξ2DX
即 DXDXDX 越小， XXX 越靠近期望值

6）进货多少期望最大？

每售出一件获利 500￥，每未售出一件亏损 100￥，以 X 表示该季节此种商品的需求量， X∼N(100,4)X\sim N(100,4)X∼N(100,4)，求进货量为多少时，商店获利期望最大？

设进货量为 n 件，则商品获利
Y={500n,X≥n500X−100(n−X),X<n={500n,X≥n600X−100n,X<nY = \begin{cases} 500n, \quad &X\geq n \\ 500X - 100(n-X), &X<n \end{cases}= \begin{cases} 500n, \quad &X\geq n \\ 600X - 100n, &X<n \end{cases} Y={500n,500X−100(n−X),X≥nX<n={500n,600X−100n,X≥nX<n
所以
EY=∫−∞n(600x−100n)f(x)dx+∫x+∞500nf(x)dx=600∫−∞nxf(x)dx−600n∫−∞nf(x)dx+500n\begin{aligned} EY&=\int_{-\infty}^n(600x-100n)f(x)dx+\int_{x}^{+\infty}500nf(x)dx \\ &=600\int_{-\infty}^nxf(x)dx-600n\int_{-\infty}^nf(x)dx+500n \end{aligned} EY=∫−∞n(600x−100n)f(x)dx+∫x+∞500nf(x)dx=600∫−∞nxf(x)dx−600n∫−∞nf(x)dx+500n
(EY)n′=600nf(n)−600n∫−∞nf(x)dx−600nf(n)+500=0(EY)^\prime_n = 600nf(n)-600n\int _{-\infty}^nf(x)dx-600nf(n)+500=0 (EY)n′=600nf(n)−600n∫−∞nf(x)dx−600nf(n)+500=0
解得 n≈0.83n\approx0.83n≈0.83
因为 Φ(0.95)≈0.83\Phi(0.95)\approx0.83Φ(0.95)≈0.83
所以
(n−100)4=0.95⇒n=101.9\frac{(n-100)}{\sqrt4}=0.95 \Rightarrow n = 101.9 4(n−100)=0.95⇒n=101.9
所以卖出 102 件时利润最大

五、大数定律与中心极限定理

1）大数定律

大数定理一共是三个：切比雪夫大数定律、伯努利大数定律、辛钦大数定律

大致是指相互独立的试验多了之后，会 收敛于期望

2）中心极限定理

中心极限定理一共是两个：列维-林德伯格定理、棣莫弗-拉普拉斯定理

其中 棣莫弗-拉普拉斯定理 大致可以认为是 列维-林德伯格定理 在伯努利试验下的特殊情况

此类定理比较简单的一个格式：

假设 {Xn}\{X_n\}{Xn} 是 独立、同分布 的随机变量序列，如果
EXi=μ,DXi=σ2EX_i=\mu,\quad DX_i=\sigma^2 EXi=μ,DXi=σ2
那么当 n 很大时，∑i=1nXi\sum_{i=1}^nX_i∑i=1nXi 近似服从正态分布 N(nμ,nσ2)N(n\mu,n\sigma^2)N(nμ,nσ2)

当n→∞n\to\inftyn→∞时
lim⁡n→∞P{∑i=1nXi−nμnσ≤x}=Φ(x)\lim_{n\to\infty}P\left\lbrace\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma}\leq x \right\rbrace=\Phi(x) n→∞limP{nσ∑i=1nXi−nμ≤x}=Φ(x)

六、数理统计

到了数理统计就需要通过统计样本来推断总体的分布情况了，而样本本身自带独立属性，所以常常可以考虑“联合=边缘相乘”

1）样本的数字特征

样本均值： X‾=1n∑i=1nXi\overline{X}=\frac1n\sum_{i=1}^nX_iX=n1∑i=1nXi

样本方差： S2=1n−1∑i=1n(Xi−X‾)2S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X})^2S2=n−11∑i=1n(Xi−X)2

样本标准差： S=1n−1∑i=1n(Xi−X‾)2S=\sqrt{\frac1{n-1}\sum_{i=1}^n(X_i-\overline{X})^2}S=n−11∑i=1n(Xi−X)2

k 阶原点矩： Ak=1n∑i=1nXikA_k=\frac1n\sum_{i=1}^nX_i^kAk=n1∑i=1nXik

k 阶中心矩： Bk=1n∑i=1n(Xi−X‾)kB_k=\frac1n\sum_{i=1}^n(X_i-\overline{X})^kBk=n1∑i=1n(Xi−X)k

X(n)=max{X1,X2,⋯,Xn}X_{(n)}=max\{X_1,X_2,\cdots,X_n\}X(n)=max{X1,X2,⋯,Xn} 的分布函数为：F(n)(x)=[F(x)]nF_{(n)}(x)=[F(x)]^nF(n)(x)=[F(x)]n

X(1)=min{X1,X2,⋯,Xn}X_{(1)}=min\{X_1,X_2,\cdots,X_n\}X(1)=min{X1,X2,⋯,Xn} 的分布函数为：F(1)(x)=1−[1−F(x)]nF_{(1)}(x)=1-[1-F(x)]^nF(1)(x)=1−[1−F(x)]n

其中
EX‾=EX=μE\overline{X}=EX=\mu \quad EX=EX=μ
DX‾=1nDX=σ2nD\overline{X}=\frac1nDX=\frac{\sigma^2}{n} DX=n1DX=nσ2
E(S2)=DX=σ2E(S^2)=DX=\sigma^2 E(S2)=DX=σ2
【注】 方差是针对总体的，样本方差是针对样本的；样本方差选择除 n-1 是因为这样通过样本方差估算方差时是无偏估计。

2）三大分布

1. χ2\chi^2χ2 分布

若随机变量 相互独立 ，且都服从 标准正态分布 ，则随机变量
X=∑i=1nXi2X=\sum_{i=1}^nX_i^2 X=i=1∑nXi2

服从自由度为 n 的 χ2\chi^2χ2 分布，记为 X∼χ2(n)X\sim\chi^2(n)X∼χ2(n)

若 X1∼χ2(n1)X_1\sim\chi^2(n_1)X1∼χ2(n1) ，X2∼χ2(n2)X_2\sim\chi^2(n_2)X2∼χ2(n2) ，X1、X2X_1、X_2X1、X2 相互独立，则 X1+X2∼χ2(n1+n2)X_1+X_2\sim\chi^2(n_1+n_2)X1+X2∼χ2(n1+n2)
若 X∼χ2(n)X\sim\chi^2(n)X∼χ2(n) ，则 EX=n,DX=2nEX=n,\ DX=2nEX=n, DX=2n

2. t 分布

若 X、Y 相互独立 ，且 X∼N(0,1),Y∼χ2(n)X\sim N(0,1),\ Y\sim\chi^2(n)X∼N(0,1), Y∼χ2(n) ，则随机变量
t=XY/nt=\frac{X}{\sqrt{Y/n}} t=Y/nX
服从自由度为 n 的 t 分布，记为 t∼t(n)t\sim t(n)t∼t(n)

三大分布中只有 t 分布关于 x=0x=0x=0 对称！
随着自由度的增大，t 分布逐渐接近正态分布；n→∞n\to\inftyn→∞ 时，t 分布与正态分布等价！
由其对称性可知，Et=0(n≥2)Et=0\ (n\geq2)Et=0 (n≥2)，t1−a(n)=−ta(n)t_{1-a}(n)=-t_a(n)t1−a(n)=−ta(n)

3. F 分布

若若 X、Y 相互独立 ，且 X∼χ2(n1),Y∼χ2(n2)X\sim \chi^2(n_1),\ Y\sim\chi^2(n_2)X∼χ2(n1), Y∼χ2(n2) ，则
F=X/n1Y/n2F=\frac{X/n_1}{Y/n_2} F=Y/n2X/n1
服从自由度为 n1、n2n_1、n_2n1、n2 的 F 分布，记为 F∼F(n1,n2)F\sim F(n_1,n_2)F∼F(n1,n2)

1F∼F(n2,n1)\frac1F\sim F(n_2,n_1)F1∼F(n2,n1)
F1−a(n1,n2)=1Fa(n2,n1)F_{1-a}(n_1,n_2)=\frac1{F_a(n_2,n_1)}F1−a(n1,n2)=Fa(n2,n1)1

3）总体为正态分布时的常用结论

X1,X2,⋯,XnX_1,X_2,\cdots,X_nX1,X2,⋯,Xn 是来自总体 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2) 的样本，X‾、S2\overline{X}、S^2X、S2 分别为样本的均值与方差，则

X‾∼N(μ,σ2n)\overline{X}\sim N(\mu,\frac{\sigma^2}{n})X∼N(μ,nσ2) ，标准化后有
X‾−μσ2/n∼N(0,1)\frac{\overline{X}-\mu}{\sqrt{\sigma^2/n}}\sim N(0,1) σ2/nX−μ∼N(0,1)
标准化+平方后有
1σ2∑i=1n(Xi−μ)2∼χ2(n)\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim\chi^2(n) σ21i=1∑n(Xi−μ)2∼χ2(n)
μ\muμ 未知时，用 X‾\overline{X}X 代替 μ\muμ ：
1σ2∑i=1n(Xi−X‾)2=(n−1)S2σ2∼χ2(n−1)\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2=\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) σ21i=1∑n(Xi−X)2=σ2(n−1)S2∼χ2(n−1)
σ\sigmaσ 未知时，用 SSS 代替 σ\sigmaσ ：
X‾−μ(S2/n)∼t(n−1),(X‾−μ)2S2/n∼F(n−1)\frac{\overline{X}-\mu}{\sqrt{(S^2/n)}}\sim t(n-1), \quad \frac{(\overline{X}-\mu)^2}{S^2/n}\sim F(n-1) (S2/n)X−μ∼t(n−1),S2/n(X−μ)2∼F(n−1)

4）参数的点估计

【注】 θ^\hat\thetaθ^ 称为 θ\thetaθ 的估计量，这个上标读作 hat

1. 矩估计法

核心是 样本矩=总体矩

例如

设来自总体 XXX 的简单随机样本 X1,X2,…,XnX_1,X_2,\dots,X_nX1,X2,…,Xn，总体 XXX 的概率分布为：
X∼(−1022θθ1−3θ)X\sim \begin{pmatrix} -1 & 0 & 2 \\ 2\theta & \theta & 1-3\theta \end{pmatrix} X∼(−12θ0θ21−3θ)
其中 0<θ<130<\theta<\frac 130<θ<31 ，求未知参数 θ\thetaθ 的矩估计量

总体 XXX 的期望为
EX=−2θ+2(1−3θ)=2−8θEX=-2\theta+2(1-3\theta)=2-8\theta EX=−2θ+2(1−3θ)=2−8θ
用样本均值 X‾\overline{X}X 估计数学期望（样本矩=总体矩），X‾=EX=2−8θ\overline{X}=EX=2-8\thetaX=EX=2−8θ ，得 θ\thetaθ 的矩估计量
θ^=18(2−X‾)\hat\theta=\frac18(2-\overline{X}) θ^=81(2−X)

2. 最大似然估计法

核心是找 似然函数 L(θ)L(\theta)L(θ) 的最大值点

似然函数：
L(θ)=L(x1,x2,⋯,xn;θ)=∏i=1nf(xi;θ)L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^nf(x_i;\theta) L(θ)=L(x1,x2,⋯,xn;θ)=i=1∏nf(xi;θ)

写出样本的 似然函数 L(θ)L(\theta)L(θ)
如果 L(θ)L(\theta)L(θ) 可微，则令
∂L(θ)∂θi=0或∂ln⁡L(θ)∂θi=0\frac{\partial L(\theta)}{\partial\theta_i}=0\ 或 \ \frac{\partial \ln L(\theta)}{\partial\theta_i}=0 ∂θi∂L(θ)=0 或 ∂θi∂lnL(θ)=0
如果 L(θ)L(\theta)L(θ) 不可微或方程组无解，则用定义法或其它方法找最大似然估计量，例如当 L(θ)L(\theta)L(θ) 单调时可以直接去找 L(θ)L(\theta)L(θ) 的最大值

例如

总体的概率分布为
X∼(0123θ22θ(1−θ)θ21−2θ)X\sim \begin{pmatrix} 0 & 1 & 2 & 3 \\ \theta^2 & 2\theta(1-\theta) & \theta^2 & 1-2\theta \end{pmatrix} X∼(0θ212θ(1−θ)2θ231−2θ)
其中 θ(0<θ<12)\theta(0<\theta<\frac12)θ(0<θ<21) 是未知参数，从总体中抽取容量为 8 的一组样本，其样本值为 3,1,3,0,3,1,2,33,1,3,0,3,1,2,33,1,3,0,3,1,2,3 求 θ\thetaθ 的最大似然估计
L(θ)=∏i=1np(xi;θ)=θ2[2θ(1−θ)]2θ2(1−2θ)4=4θ6(1−θ)2(1−2θ)4\begin{aligned} L(\theta)&=\prod_{i=1}^np(x_i;\theta)=\theta^2[2\theta(1-\theta)]^2\theta^2(1-2\theta)^4 \\ &=4\theta^6(1-\theta)^2(1-2\theta)^4 \end{aligned} L(θ)=i=1∏np(xi;θ)=θ2[2θ(1−θ)]2θ2(1−2θ)4=4θ6(1−θ)2(1−2θ)4
**【注】**此处 (1−2θ)4(1-2\theta)^4(1−2θ)4 表示样本中 3 出现了 4 次，其它的以此类推
ln⁡L(θ)=ln⁡4+6ln⁡θ+2ln⁡(1−θ)+4ln⁡(1−2θ)\ln L(\theta)=\ln4+6\ln\theta+2\ln(1-\theta)+4\ln(1-2\theta) lnL(θ)=ln4+6lnθ+2ln(1−θ)+4ln(1−2θ)

∂ln⁡L(θ)∂θ=6θ−21−θ−81−2θ=0\frac{\partial \ln L(\theta)}{\partial\theta}=\frac6\theta-\frac2{1-\theta}-\frac8{1-2\theta}=0 ∂θ∂lnL(θ)=θ6−1−θ2−1−2θ8=0

解得 θ=7±1312\theta=\frac{7\pm\sqrt{13}}{12}θ=127±13 ，因为 θ=7+1312>12\theta=\frac{7+\sqrt{13}}{12}>\frac12θ=127+13>21 不符合题意，所以 θ=7−1312\theta=\frac{7-\sqrt{13}}{12}θ=127−13 ，所以 θ^=7−1312\hat\theta=\frac{7-\sqrt{13}}{12}θ^=127−13

3. 估计量的评价标准

无偏性

Eθ^=θE\hat\theta=\thetaEθ^=θ

有效性（最小方差性）

D(θ^1)<D(θ^2)D(\hat\theta_1)<D(\hat\theta_2)D(θ^1)<D(θ^2) ，则 θ^1\hat\theta_1θ^1 比 θ^2\hat\theta_2θ^2 更有效

一致性（相合性）

∀ε>0\forall\ \varepsilon>0∀ ε>0，有 lim⁡n→∞P{∣θ^−θ∣<ε}=1\lim_{n\to\infty} P\{|\hat\theta-\theta|<\varepsilon\}=1limn→∞P{∣θ^−θ∣<ε}=1 ；即 n→∞n\to\inftyn→∞ 时，θ^\hat\thetaθ^ 依概率收敛于 θ\thetaθ ，则称 θ^\hat\thetaθ^ 为 θ\thetaθ 的一致估计量（相合估计量）

5）参数的区间估计

正态总体均值的置信区间（置信水平为 1−a1-a1−a ）

待估计参数	其它参数	枢轴量的分布	置信区间
μ\muμ	σ2\sigma^2σ2 已知	Z=X‾−μσ/n∼N(0,1)Z=\frac{\overline{X}-\mu}{\sigma/\sqrt n}\sim N(0,1)Z=σ/nX−μ∼N(0,1)	(X‾±σnza/2)(\overline{X}\pm\frac{\sigma}{\sqrt n}z_{a/2})(X±nσza/2)
μ\muμ	σ2\sigma^2σ2 未知	t=X‾−μS/n∼t(n−1)t=\frac{\overline{X}-\mu}{S/\sqrt n}\sim t(n-1)t=S/nX−μ∼t(n−1)	(X‾±Snta/2(n−1))(\overline{X}\pm\frac{S}{\sqrt n}t_{a/2}(n-1))(X±nSta/2(n−1))

讨论置信区间时以 X‾\overline{X}X 和 σ\sigmaσ 为核心

6）假设检验

一般不满足指标要求的设为 H0H_0H0

参数 μ\muμ	参数 σ2\sigma^2σ2	H0H_0H0	H1H_1H1	拒绝域
μ\muμ 未知	σ2\sigma^2σ2 已知	μ=μ0\mu=\mu_0μ=μ0	μ≠μ0\mu\neq\mu_0μ=μ0	(−∞,μ0−σnza/2]∪[μ0+σnza/2,+∞)(-\infty,\mu_0-\frac{\sigma}{\sqrt n}z_{a/2}]\cup[\mu_0+\frac{\sigma}{\sqrt n}z_{a/2},+\infty)(−∞,μ0−nσza/2]∪[μ0+nσza/2,+∞)
μ\muμ 未知	σ2\sigma^2σ2 未知	μ=μ0\mu=\mu_0μ=μ0	μ≠μ0\mu\neq\mu_0μ=μ0	(−∞,μ0−Snta/2(n−1)]∪[μ0+Snta/2(n−1),+∞)(-\infty,\mu_0-\frac{S}{\sqrt n}t_{a/2}(n-1)]\cup[\mu_0+\frac{S}{\sqrt n}t_{a/2}(n-1),+\infty)(−∞,μ0−nSta/2(n−1)]∪[μ0+nSta/2(n−1),+∞)
μ\muμ 未知	σ2\sigma^2σ2 已知	μ≤μ0\mu\leq\mu_0μ≤μ0	μ>μ0\mu>\mu_0μ>μ0	[μ0+σnza,+∞)[\mu_0+\frac{\sigma}{\sqrt n}z_a,+\infty)[μ0+nσza,+∞)
μ\muμ 未知	σ2\sigma^2σ2 已知	μ≥μ0\mu\geq\mu_0μ≥μ0	μ<μ0\mu<\mu_0μ<μ0	(−∞,μ0−σnza](-\infty,\mu_0-\frac{\sigma}{\sqrt n}z_a](−∞,μ0−nσza]
μ\muμ 未知	σ2\sigma^2σ2 未知	μ≤μ0\mu\leq\mu_0μ≤μ0	μ>μ0\mu>\mu_0μ>μ0	[μ0+Snta(n−1),+∞)[\mu_0+\frac{S}{\sqrt n}t_a(n-1),+\infty)[μ0+nSta(n−1),+∞)
μ\muμ 未知	σ2\sigma^2σ2 未知	μ≥μ0\mu\geq\mu_0μ≥μ0	μ<μ0\mu<\mu_0μ<μ0	(−∞,μ0−Snta(n−1)](-\infty,\mu_0-\frac{S}{\sqrt n}t_a(n-1)](−∞,μ0−nSta(n−1)]

σ2\sigma^2σ2 已知则为 zzz ，未知则为 t(n−1)t(n-1)t(n−1)

双边则为 a/2a/2a/2 ，单边则为 aaa

7）两类错误

第一类错误	“弃真” / 漏警
第二类错误	“取伪” / 虚警

七、补充

1. 拆求和平方括号

DX=1n∑i=1n(xi−x‾)2=EX2−(EX)2DX=\frac1n\sum_{i=1}^n(x_i-\overline{x})^2=EX^2-(EX)^2 DX=n1i=1∑n(xi−x)2=EX2−(EX)2
其中

EX=X‾EX=\overline{X}EX=X
EX2=1n∑i=1nxi2EX^2=\frac1n\sum_{i=1}^nx_i^2EX2=n1∑i=1nxi2

所以产生了一个直接拆括号的效果，即
1n∑i=1n(xi−x‾)2=1n∑i=1nxi2−X‾2\frac1n\sum_{i=1}^n(x_i-\overline{x})^2=\frac1n\sum_{i=1}^nx_i^2-\overline{X}^2 n1i=1∑n(xi−x)2=n1i=1∑nxi2−X2

2. X 服从正态分布时的一些期望与方差

以下假设 X∼N(μ,σ2)X\sim N(\mu,\sigma^2)X∼N(μ,σ2)

1. EX2EX^2EX2

EX2=μ2+σ2EX^2=\mu^2+\sigma^2 EX2=μ2+σ2
推导：

DX=EX2−(EX)2DX=EX^2-(EX)^2DX=EX2−(EX)2，所以有 EX2=DX+(EX)2EX^2=DX+(EX)^2EX2=DX+(EX)2
因为 EX=μ,DX=σ2EX=\mu,\ DX=\sigma^2EX=μ, DX=σ2
所以有 EX2=μ2+σ2EX^2=\mu^2+\sigma^2EX2=μ2+σ2

2. EX4EX^4EX4 与 DX2DX^2DX2

X−μσ∼N(0,1)\frac{X-\mu}{\sigma}\sim N(0,1) σX−μ∼N(0,1)
(X−μσ)2∼χ2(1)\left(\frac{X-\mu}{\sigma}\right)^2 \sim \chi^2(1) (σX−μ)2∼χ2(1)
所以此时
E(X−μσ)2=n=1,D(X−μσ)2=2n=2E\left(\frac{X-\mu}{\sigma}\right)^2=n=1,\quad D\left(\frac{X-\mu}{\sigma}\right)^2=2n=2 E(σX−μ)2=n=1,D(σX−μ)2=2n=2

又因为

D(X−μσ)2=E(X−μσ)4−[E(X−μσ)2]2D\left(\frac{X-\mu}{\sigma}\right)^2=E\left(\frac{X-\mu}{\sigma}\right)^4- \left[ E\left(\frac{X-\mu}{\sigma}\right)^{2}\right] ^2 D(σX−μ)2=E(σX−μ)4−[E(σX−μ)2]2

所以

E(X−μσ)4=D(X−μσ)2+[E(X−μσ)2]2=2+1=3E\left(\frac{X-\mu}{\sigma}\right)^4=D\left(\frac{X-\mu}{\sigma}\right)^2+ \left[ E\left(\frac{X-\mu}{\sigma}\right)^{2}\right] ^2=2+1=3 E(σX−μ)4=D(σX−μ)2+[E(σX−μ)2]2=2+1=3