author: virgilwjj

我做的真题
https://download.csdn.net/download/m0_46107463/13689331

0 概率论基础

0.1 概率 P(A)P(A)P(A)

0.1.1 事件间的关系

事件独立：P(AB)=P(A)P(B)P(A B)=P(A) P(B)P(AB)=P(A)P(B)

事件互斥：P(AB)=0P(A B)=0P(AB)=0

条件概率：P(B∣A)=P(AB)P(A)P(B \mid A) = \frac{P(A B)}{P(A)}P(B∣A)=P(A)P(AB)

0.1.2 概率的计算公式

加法公式：

P(A∪B)=P(A)+P(B)−P(AB)P(A \cup B)=P(A)+P(B)-P(A B)P(A∪B)=P(A)+P(B)−P(AB)
P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)P(A \cup B \cup C)=P(A)+P(B)+P(C)-P(A B)-P(A C)-P(B C)+P(A B C)P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)
如果事件互斥：P(A∪B)=P(A)+P(B)P(A \cup B)=P(A)+P(B)P(A∪B)=P(A)+P(B)

减法公式：

P(A−B)=P(A)−P(AB)P(A - B)=P(A)-P(A B)P(A−B)=P(A)−P(AB)
如果事件互斥：P(A−B)=P(A)P(A - B)=P(A)P(A−B)=P(A)

乘法公式：

P(AB)=P(A)P(B∣A)P(A B)=P(A) P(B \mid A)P(AB)=P(A)P(B∣A)
P(ABC)=P(A)P(B∣A)P(C∣AB)P(A B C)=P(A) P(B \mid A) P(C \mid A B)P(ABC)=P(A)P(B∣A)P(C∣AB)
如果事件独立：P(AB)=P(A)P(B)P(A B)=P(A) P(B)P(AB)=P(A)P(B)

全概率公式：P(A)=∑i=1NP(Bi)P(A∣Bi)P(A)=\sum_{i=1}^{N} P(B_{i}) P(A \mid B_{i})P(A)=∑i=1NP(Bi)P(A∣Bi)

贝叶斯公式：P(Bj∣A)=P(Bj)P(A∣Bj)∑i=1NP(Bi)P(A∣Bi)P(B_{j} \mid A)=\frac{P(B_{j}) P(A \mid B_{j})}{\sum_{i=1}^{N} P(B_{i}) P(A \mid B_{i})}P(Bj∣A)=∑i=1NP(Bi)P(A∣Bi)P(Bj)P(A∣Bj)

0.2 随机变量 XXX

0.2.1 随机变量的概率分布 PPP

离散型——分布律：P{X=xk}=PkP\{X=x_{k}\}=P_{k}P{X=xk}=Pk

特别地：

P{N=n}=P{N⩽n}−P{N⩽n−1}=F(n)−F(n−1)P\{N = n\}=P\{N \leqslant n\}-P\{N \leqslant n-1\}=F(n)-F(n-1)P{N=n}=P{N⩽n}−P{N⩽n−1}=F(n)−F(n−1)

P{N=n}=P{N⩾n}−P{N⩾n+1}P\{N=n\}=P\{N \geqslant n\}-P\{N \geqslant n+1\}P{N=n}=P{N⩾n}−P{N⩾n+1}

连续型——概率密度：f(x)=dF(x)dxf(x)=\frac{d F(x)}{d x}f(x)=dxdF(x)

0.2.2 随机变量的分布函数 F(x)F(x)F(x)

离散型：F(x)=P{X⩽xk}=∑xk≤xPkF(x)=P\{X \leqslant x_{k}\}=\sum_{x_{k} \le x}^{} P_{k}F(x)=P{X⩽xk}=∑xk≤xPk

连续型：F(x)=P{X⩽x}=∫−∞xf(t)dtF(x)=P\{X \leqslant x\}=\int_{-\infty}^{x} f(t) d tF(x)=P{X⩽x}=∫−∞xf(t)dt

0.2.3 随机变量的数学期望 E(X)E(X)E(X)

离散型：E(X)=∑k=1∞xkpkE(X)=\sum_{k=1}^{\infty} x_{k} p_{k}E(X)=∑k=1∞xkpk

连续型：E(X)=∫−∞∞xf(x)dxE(X)=\int_{-\infty}^{\infty} x f(x) d xE(X)=∫−∞∞xf(x)dx

性质：

E(C)=CE(C)=CE(C)=C
E(CX)=CE(X)E(CX)=CE(X)E(CX)=CE(X)
E(X±Y)=E(X)±E(Y)E(X \pm Y)=E(X) \pm E(Y)E(X±Y)=E(X)±E(Y)
如果 X 与 Y 互不相关：E(XY)=E(X)E(Y)E(X Y)=E(X) E(Y)E(XY)=E(X)E(Y)

0.2.4 随机变量的方差 D(X)D(X)D(X)

定义：D(X)=E{[X−E(X)]2}D(X)=E\left\{[X-E(X)]^{2}\right\}D(X)=E{[X−E(X)]2}

性质：

D(X)=E(x2)−[E(x)]2D(X)=E(x^{2})-[E(x)]^{2}D(X)=E(x2)−[E(x)]2
D(C)=0D(C) = 0D(C)=0
D(aX+b)=a2D(X)D(aX+b)=a^{2} D(X)D(aX+b)=a2D(X)
D(X±Y)=D(X)+D(Y)±2Cov(X,Y)D(X \pm Y)=D(X)+D(Y) \pm 2 Cov(X, Y)D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
如果 X 与 Y 互不相关：D(X±Y)=D(X)+D(Y)D(X \pm Y)=D(X)+D(Y)D(X±Y)=D(X)+D(Y)

0.2.5 随机变量的矩 ak,bka_k,b_kak,bk

kkk 阶原点矩：ak=E(Xk)a_{k}=E(X^{k})ak=E(Xk)

kkk 阶中心矩：bk=E{[X−E(X)]k}b_{k}=E\left\{[X-E(X)]^{k}\right\}bk=E{[X−E(X)]k}

k+lk+lk+l 阶混合矩：E(XkYl)E(X^{k}Y^{l})E(XkYl)

k+lk+lk+l 阶中心矩：E{[X−E(X)]k[X−E(X)]l}E\left\{[X-E(X)]^{k}[X-E(X)]^{l}\right\}E{[X−E(X)]k[X−E(X)]l}

性质：

a1=E(X)a_1=E(X)a1=E(X)
a2=E(X2)a_2=E(X^2)a2=E(X2)
b2=D(X)b_2=D(X)b2=D(X)

0.2.5 随机变量的协方差 Cov(X,Y)Cov(X,Y)Cov(X,Y)

定义：Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}Cov(X, Y)=E\left\{[X-E(X)] [Y-E(Y)]\right\}Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

性质：

Cov(X,Y)=E(XY)−E(X)E(Y)Cov(X, Y)=E(X Y)-E(X) E(Y)Cov(X,Y)=E(XY)−E(X)E(Y)
Cov(X,Y)=Cov(Y,X)Cov(X, Y)=Cov(Y, X)Cov(X,Y)=Cov(Y,X)
Cov(aX,bY)=abCov(X,Y)Cov(a X, b Y)=a b Cov(X, Y)Cov(aX,bY)=abCov(X,Y)
Cov(X1±X2,Y)=Cov(X1,Y)±Cov(X2,Y)Cov(X_{1} \pm X_{2},Y)=Cov(X_{1},Y) \pm Cov(X_{2},Y)Cov(X1±X2,Y)=Cov(X1,Y)±Cov(X2,Y)

相关系数： ρxy=Cov(X,Y)D(X)D(Y)\rho_{x y}=\frac{Cov(X, Y)}{\sqrt{D(X) D(Y)}}ρxy=D(X)D(Y)Cov(X,Y)

独立条件：XXX，YYY 都服从正态分布，且协方差为 000，可以推 XXX，YYY 独立

0.3 随机向量 η\etaη

随机向量：η=[X1X2…Xn]T\eta=\begin{bmatrix} X_1 & X_2 & … & X_n \end{bmatrix}^Tη=[X1X2…Xn]T

随机向量的期望向量：θ=[μ1μ2…μn]T\theta=\begin{bmatrix} \mu_1 & \mu_2 & … & \mu_n \end{bmatrix}^Tθ=[μ1μ2…μn]T

随机向量的协方差矩阵：

Σ=[Cov(X1,X1)Cov(X1,X2)…Cov(X1,Xn)Cov(X2,X1)Cov(X2,X2)…Cov(X2,Xn)…………Cov(Xn,X1)Cov(Xn,X2)…Cov(Xn,Xn)]\Sigma=\begin{bmatrix} Cov(X_1, X_1) & Cov(X_1, X_2) & … & Cov(X_1, X_n) \\ Cov(X_2, X_1) & Cov(X_2, X_2) & … & Cov(X_2, X_n) \\ … & … & … & … \\ Cov(X_n, X_1) & Cov(X_n, X_2) & … & Cov(X_n, X_n) \end{bmatrix}Σ=⎣⎢⎢⎡Cov(X1,X1)Cov(X2,X1)…Cov(Xn,X1)Cov(X1,X2)Cov(X2,X2)…Cov(Xn,X2)…………Cov(X1,Xn)Cov(X2,Xn)…Cov(Xn,Xn)⎦⎥⎥⎤

η∼N(θ,Σ)\eta \sim N(\theta, \Sigma)η∼N(θ,Σ)

性质：Aη∼N(Aθ,AΣAT)A\eta \sim N(A\theta, A\Sigma A^T)Aη∼N(Aθ,AΣAT)

0.4 ChebyshevChebyshevChebyshev 不等式

P{∣X−μ∣⩾ε}⩽σ2ε2P\{|X-\mu| \geqslant \varepsilon\} \leqslant \frac{\sigma^{2}}{\varepsilon^{2}}P{∣X−μ∣⩾ε}⩽ε2σ2
P{∣X−μ∣<ε}⩾1−σ2ε2P\{|X-\mu| < \varepsilon\} \geqslant 1-\frac{\sigma^{2}}{\varepsilon^{2}}P{∣X−μ∣<ε}⩾1−ε2σ2

0.5 中心极限定理

∑k=1nXi−nE(X)nD(X)∼N(0,1)\frac{\sum_{k=1}^{n} X_{i} - nE(X)}{\sqrt{nD(X)}} \sim N(0,1)nD(X)∑k=1nXi−nE(X)∼N(0,1)

author: virgilwjj

1 抽样分布

1.1 统计量 TTT

1.1.1 样本均值 Xˉ\bar XXˉ

定义：Xˉ=1n∑i=1n1Xi\bar{X}=\frac{1}{n} \sum_{i=1}^{n_{1}} X_{i}Xˉ=n1∑i=1n1Xi

性质：

E(Xˉ)=E(X)E(\bar X)=E(X)E(Xˉ)=E(X)
D(Xˉ)=D(X)nD(\bar X)= \frac{D(X)}{n}D(Xˉ)=nD(X)

1.1.2 样本方差 S2S^2S2

定义：S2=1n−1∑i=1n(Xi−Xˉ)2S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}S2=n−11∑i=1n(Xi−Xˉ)2

性质：

E(S2)=D(X)E(S^2)=D(X)E(S2)=D(X)
D(S2)=2D(X)2n−1D(S^2)= \frac{2 D(X)^2}{n-1}D(S2)=n−12D(X)2

1.1.3 样本矩 Ak,BkA_{k},B_{k}Ak,Bk

kkk 阶样本原点矩：Ak=1n∑i=1n1XikA_k=\frac{1}{n} \sum_{i=1}^{n_{1}} X_{i}^kAk=n1∑i=1n1Xik

kkk 阶样本中心矩：Bk=1n∑i=1n(Xi−Xˉ)kB_k=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{k}Bk=n1∑i=1n(Xi−Xˉ)k

性质：

A1=XˉA_1 = \bar XA1=Xˉ
A2=1n∑i=1nXi2A_2=\frac{1}{n} \sum_{i=1}^{n}X_{i}^{2}A2=n1∑i=1nXi2
B2=n−1nS2B_2 = \frac{n-1}{n}S^2B2=nn−1S2

1.1.4. 顺序统计量 X[i]X_{[i]}X[i]

极小统计量： X[1]=min(Xi)X_{[1]}=min(X_i)X[1]=min(Xi)

极大统计量： X[n]=max(Xi)X_{[n]}=max(X_i)X[n]=max(Xi)

经验分布：Fn(X)=kn,X[k]⩽X<X[k+1]F_n(X)=\frac{k}{n},\quad X_{[k]} \leqslant X < X_{[k+1]}Fn(X)=nk,X[k]⩽X<X[k+1]

性质：

P{X[1]⩽x}=1−P{X[1]>x}=1−[P{X>x}]n=1−[1−P{X⩽x}]nP\{X_{[1]} \leqslant x\}=1-P\{X_{[1]}>x\}=1-[P\{X > x\}]^{n}=1-[1-P\{X \leqslant x\}]^{n}P{X[1]⩽x}=1−P{X[1]>x}=1−[P{X>x}]n=1−[1−P{X⩽x}]n
1. P{X[n]⩽x}=[P{X⩽x}]nP\{X_{[n]} \leqslant x\}=[P\{X \leqslant x\}]^{n}P{X[n]⩽x}=[P{X⩽x}]n
2. P{X[1]=x}=n[1−P{X⩽x}]n−1P{X=x}P\{X_{[1]}=x\}=n[1-P\{X \leqslant x\}]^{n-1}P\{X=x\}P{X[1]=x}=n[1−P{X⩽x}]n−1P{X=x}
3. P{X[n]=x}=n[P{X⩽x}]n−1P{X=x}P\{X_{[n]}=x\}=n[P\{X \leqslant x\}]^{n-1}P\{X=x\}P{X[n]=x}=n[P{X⩽x}]n−1P{X=x}

1.2 常用的分布

1.2.1 常用的离散型分布

分布	记作	P{X=k}P\{X=k\}P{X=k}	E(X)E(X)E(X)	D(X)D(X)D(X)
0−10-10−1 分布	X∼B(1,p)X \sim B\left(1, p\right)X∼B(1,p)	P{X=k}=pk(1−p)1−kP\{X=k\}=p^{k}(1-p)^{1-k}P{X=k}=pk(1−p)1−k	E(X)=pE(X)=pE(X)=p	D(X)=p(1−p)D(X)=p(1-p)D(X)=p(1−p)
二项分布	X∼B(n,p)X \sim B\left(n, p\right)X∼B(n,p)	P{X=k}=Cnkpk(1−p)n−kP\{X=k\}=C_{n}^{k} p^{k}(1-p)^{n-k}P{X=k}=Cnkpk(1−p)n−k	E(X)=npE(X)=npE(X)=np	D(X)=np(1−p)D(X)=np(1-p)D(X)=np(1−p)
几何分布	X∼G(p)X \sim G(p)X∼G(p)	P{X=k}=p(1−p)k−1P\{X=k\}=p(1-p)^{k-1}P{X=k}=p(1−p)k−1	E(X)=1pE(X)=\frac{1}{p}E(X)=p1	D(X)=1−pp2D(X)=\frac{1-p}{p^{2}}D(X)=p21−p
超几何分布	X∼H(n,M,N)X \sim H(n,M,N)X∼H(n,M,N)	P{X=k}=CMkCN−Mn−kCNnP\{X=k\}=\frac{C_{M}^{k} C_{N-M}^{n-k}}{C_{N}^{n}}P{X=k}=CNnCMkCN−Mn−k	E(X)=nMNE(X)=\frac{nM}{N}E(X)=NnM	D(x)=nMN(1−MN)N−nN−1D(x)=\frac{nM}{N}(1-\frac{M}{N})\frac{N-n}{N-1}D(x)=NnM(1−NM)N−1N−n
PoissonPoissonPoisson分布	X∼P(λ)X \sim P\left(\lambda \right)X∼P(λ)	P{X=k}=λkk!e−λP\{X=k\}=\frac{\lambda^{k}}{k !} e^{-\lambda}P{X=k}=k!λke−λ	E(X)=λE(X)=\lambdaE(X)=λ	D(X)=λD(X)=\lambdaD(X)=λ

1.2.2 常用的连续型分布

连续型分布	记作	f(x)f(x)f(x)	E(X)E(X)E(X)	D(X)D(X)D(X)
均匀分布	X∼U(a,b)X \sim U\left(a, b\right)X∼U(a,b)	f(x)=1b−a,a⩽x⩽bf(x)=\frac{1}{b-a} ,\quad a \leqslant x \leqslant bf(x)=b−a1,a⩽x⩽b	E(X)=a+b2E(X)=\frac{a+b}{2}E(X)=2a+b	D(X)=(b−a)212D(X)=\frac{(b-a)^2}{12}D(X)=12(b−a)2
指数分布	X∼E(λ)X \sim E\left(\lambda \right)X∼E(λ)	f(x)=λe−λx,a⩽x⩽bf(x)=\lambda e^{-\lambda x},\quad a \leqslant x \leqslant bf(x)=λe−λx,a⩽x⩽b	E(X)=1λE(X)=\frac{1}{\lambda}E(X)=λ1	D(X)=1λ2D(X)=\frac{1}{\lambda^{2}}D(X)=λ21
正态分布	X∼N(μ,σ2)X \sim N\left(\mu, \sigma^{2}\right)X∼N(μ,σ2)	f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}f(x)=2πσ1e−2σ2(x−μ)2	E(X)=μE(X)=\muE(X)=μ	D(X)=σ2D(X)=\sigma^{2}D(X)=σ2
Γ\GammaΓ 分布	X∼Γ(α,λ)X \sim \Gamma\left(\alpha, \lambda \right)X∼Γ(α,λ)	f(x)=λαΓ(α)xα−1e−λx,x>0f(x)=\frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x},\quad x>0f(x)=Γ(α)λαxα−1e−λx,x>0	E(X)=αλE(X)=\frac{\alpha}{\lambda}E(X)=λα	D(X)=αλ2D(X)=\frac{\alpha}{\lambda^{2}}D(X)=λ2α
IΓI\GammaIΓ 分布	X∼IΓ(α,λ)X \sim I\Gamma\left(\alpha, \lambda\right)X∼IΓ(α,λ)	f(x)=λαΓ(α)x−α−1e−λx,x>0f(x)=\frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{-\alpha-1} e^{-\frac{\lambda}{x}},\quad x>0f(x)=Γ(α)λαx−α−1e−xλ,x>0	E(X)=λα−1E(X)=\frac{\lambda}{\alpha-1}E(X)=α−1λ	D(X)=λ2(α−1)2(α−2)D(X)=\frac{\lambda^2}{(\alpha-1)^2(\alpha-2)}D(X)=(α−1)2(α−2)λ2
B\BetaB 分布	X∼B(α,β)X \sim \Beta\left(\alpha,\beta\right)X∼B(α,β)	f(x)=1B(α,β)xα−1(1−x)β−1,x>0f(x)=\frac{1}{\Beta(\alpha, \beta)} x^{\alpha-1}(1-x)^{\beta-1},\quad x>0f(x)=B(α,β)1xα−1(1−x)β−1,x>0	E(X)=αα+βE(X)=\frac{\alpha}{\alpha+\beta}E(X)=α+βα	D(X)=αβ(α+β)2(α+β+1)D(X)=\frac{\alpha \beta}{(\alpha + \beta)^2 (\alpha + \beta + 1)}D(X)=(α+β)2(α+β+1)αβ

1.2.3 常用的统计分布

分布	记作	f(x)f(x)f(x)	E(X)E(X)E(X)	D(X)D(X)D(X)
χ2\chi^{2}χ2 分布	X∼χ2(n)X \sim \chi^{2}\left(n\right)X∼χ2(n)	kn(x)=12n/2Γ(n/2)xn/2−1e−x/2k_n(x)=\frac{1}{2^{n/2}\Gamma(n/2)} x^{n/2-1} e^{-x/2}kn(x)=2n/2Γ(n/2)1xn/2−1e−x/2	E(X)=nE(X)=nE(X)=n	D(X)=2nD(X)=2 nD(X)=2n
ttt 分布	X∼t(n)X \sim t\left(n\right)X∼t(n)	tn(x)=Γ(n+12)nπΓ(n2)(1+x2n)−n+12t_{n}(x)=\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n \pi} \Gamma\left(\frac{n}{2}\right)}\left(1+\frac{x^{2}}{n}\right)^{-\frac{n+1}{2}}tn(x)=nπΓ(2n)Γ(2n+1)(1+nx2)−2n+1	E(X)=0E(X)=0E(X)=0	D(X)=nn−2D(X)=\frac{n}{n-2}D(X)=n−2n
FFF 分布	X∼F(m,n)X \sim F\left(m, n\right)X∼F(m,n)	fm,n(x)=Γ(m+n2)Γ(m2)Γ(n2)mm2nn2xm2−1(n+mx)m+n2f_{m, n}(x)=\frac{\Gamma\left(\frac{m+n}{2}\right)}{\Gamma\left(\frac{m}{2}\right) \Gamma\left(\frac{n}{2}\right)} m^{\frac{m}{2}} n^{\frac{n}{2}} \frac{x^{\frac{m}{2}-1}}{(n+m x)^{\frac{m+n}{2}}}fm,n(x)=Γ(2m)Γ(2n)Γ(2m+n)m2mn2n(n+mx)2m+nx2m−1	E(X)=nn−2E(X)=\frac{n}{n - 2}E(X)=n−2n	D(X)=2n2(m+n−2)m(n−2)2(n−4)D(X)=\frac{2 n^2 (m + n - 2)}{m (n - 2)^2 (n - 4)}D(X)=m(n−2)2(n−4)2n2(m+n−2)

1.2.4 具有可加性的分布

前提：XXX 与 YYY 独立

分布	分布 XXX	分布 YYY	分布 X+YX+YX+Y
二项分布	X∼B(n1,p)X \sim B\left(n_{1}, p\right)X∼B(n1,p)	Y∼B(n2,p)Y \sim B\left(n_{2}, p\right)Y∼B(n2,p)	X+Y∼B(n1+n2,p)X+Y \sim B\left(n_{1}+n_{2}, p\right)X+Y∼B(n1+n2,p)
PoissonPoissonPoisson分布	X∼P(λ1)X \sim P\left(\lambda_{1} \right)X∼P(λ1)	Y∼P(λ2)Y \sim P\left(\lambda_{2} \right)Y∼P(λ2)	X+Y∼P(λ1+λ2)X+Y \sim P\left(\lambda_{1}+\lambda_{2} \right)X+Y∼P(λ1+λ2)
正态分布	X∼N(μ1,σ12)X \sim N\left(\mu_{1}, \sigma_{1}^{2}\right)X∼N(μ1,σ12)	Y∼N(μ2,σ22)Y \sim N\left(\mu_{2}, \sigma_{2}^{2}\right)Y∼N(μ2,σ22)	X+Y∼N(μ1+μ2,σ12+σ22)X + Y \sim N\left(\mu_{1} + \mu_{2}, \sigma_{1}^{2}+\sigma_{2}^{2}\right)X+Y∼N(μ1+μ2,σ12+σ22)
Γ\GammaΓ 分布	X∼Γ(α1,λ)X \sim \Gamma\left(\alpha_{1}, \lambda\right)X∼Γ(α1,λ)	Y∼Γ(α2,λ)Y \sim \Gamma\left(\alpha_{2}, \lambda\right)Y∼Γ(α2,λ)	X+Y∼Γ(α1+α2,λ)X+Y \sim \Gamma\left(\alpha_{1}+\alpha_{2}, \lambda\right)X+Y∼Γ(α1+α2,λ)
χ2\chi^{2}χ2 分布	X∼χ2(n1)X \sim \chi^{2}\left(n_{1}\right)X∼χ2(n1)	Y∼χ2(n2)Y \sim \chi^{2}\left(n_{2}\right)Y∼χ2(n2)	X+Y∼χ2(n1+n2)X + Y \sim \chi^{2}\left(n_{1} + n_{2}\right)X+Y∼χ2(n1+n2)

1.2.5 具有无记忆性的分布

P(X>s+t∣X>t)=P(X>s)P(X>s+t|X>t)=P(X>s)P(X>s+t∣X>t)=P(X>s)

分布	事件
几何分布	“扔了9次硬币正面，第10次反面概率还是 1/2”
指数分布	“等了9小时没出现客人，接下来的1小时出现第一位客人的概率还是不变”

1.2.6 0−10-10−1 分布 X∼B(1,p)X \sim B\left(1, p\right)X∼B(1,p)

事件：掷 111 次硬币，出现正面的概率

1.2.7 二项分布 X∼B(n,p)X \sim B\left(n, p\right)X∼B(n,p)

事件：掷 nnn 次硬币，出现 kkk 次正面的概率

1.2.8 几何分布

事件：掷到第 kkk 次硬币，才出现正面的概率

1.2.9 超几何分布

事件：在 NNN 件产品中有 MMM 件次品，从中一次性抽取 nnn 件产品，有 kkk 件次品的概率

1.2.10 PoissonPoissonPoisson分布 X∼P(λ)X \sim P\left(\lambda \right)X∼P(λ)

事件：一段时间内，发生 kkk 次的概率

PoissonPoissonPoisson定理：nnn 很大，ppp 很小时：B(n,p)≈P(np)B\left(n, p\right) \approx P\left(np \right)B(n,p)≈P(np)

1.2.11 均匀分布 X∼U(a,b)X \sim U\left(a, b\right)X∼U(a,b)

分布函数：F(x)={0,x<ax−ab−a,a⩽x<b1,b⩽xF(x)=\left\{\begin{array}{ll}0 & , & x<a \\ \frac{x-a}{b-a} & , & a \leqslant x<b \\ 1 & , & b \leqslant x\end{array}\right.F(x)=⎩⎨⎧0b−ax−a1,,,x<aa⩽x<bb⩽x

1.2.12 指数分布 X∼E(λ)X \sim E\left(\lambda \right)X∼E(λ)

事件：发生一次事件，所需要的时间。

和 PoissonPoissonPoisson分布一同理解：假如 λ=2\lambda=2λ=2，一小时平均发生两次，发生一次平均需要半小时。

分布函数：F(x)={1−e−λx,x>00,x⩽0F(x)=\left\{\begin{array}{cl}1-e^{-\lambda x} & , x>0 \\ 0 & , x \leqslant 0\end{array}\right.F(x)={1−e−λx0,x>0,x⩽0

建立服从 χ2\chi^{2}χ2 分布检验量：2λnXˉ∼χ2(2n)2 \lambda n \bar X \sim \chi^{2}(2 n)2λnXˉ∼χ2(2n)

1.2.13 正态分布 X∼N(μ,σ2)X \sim N\left(\mu, \sigma^{2}\right)X∼N(μ,σ2)

分布函数：F(x)=12πσ∫−∞xe−(t−μ)22σ2dtF(x)=\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{x} e^{-\frac{(t-\mu)^{2}}{2 \sigma^{2}} d t}F(x)=2πσ1∫−∞xe−2σ2(t−μ)2dt

1.2.14 二维正态分布 (X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y) \sim N\left(\mu_1,\mu_2,\sigma_1^{2},\sigma_2^{2},\rho\right)(X,Y)∼N(μ1,μ2,σ12,σ22,ρ)

概率密度函数：f(x,y)=(2πσ1σ21−ρ2)−1exp⁡[−12(1−ρ2)((x−μ1)2σ12−2ρ(x−μ1)(y−μ2)σ1σ2+(y−μ2)2σ22)]f(x, y)=\left(2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}\right)^{-1} \exp \left[-\frac{1}{2\left(1-\rho^{2}\right)}\left(\frac{\left(x-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}-\frac{2 \rho\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right)\right]f(x,y)=(2πσ1σ21−ρ2)−1exp[−2(1−ρ2)1(σ12(x−μ1)2−σ1σ22ρ(x−μ1)(y−μ2)+σ22(y−μ2)2)]

1.2.15 Γ\GammaΓ 分布 X∼Γ(α,λ)X \sim \Gamma\left(\alpha, \lambda \right)X∼Γ(α,λ)

Γ\GammaΓ 分布性质：

cX∼Γ(α,λc)c X \sim \Gamma\left(\alpha, \frac{\lambda}{c}\right)cX∼Γ(α,cλ)
E(λ)=Γ(1,λ)E\left(\lambda \right) = \Gamma\left(1, \lambda \right)E(λ)=Γ(1,λ)
χ2(n)=Γ(n2,12)\chi^{2}(n)=\Gamma\left(\frac{n}{2}, \frac{1}{2}\right)χ2(n)=Γ(2n,21)

Γ\GammaΓ 函数：Γ(α)=∫0+∞xα−1e−xdx,α>0\Gamma(\alpha)=\int_{0}^{+\infty} x^{\alpha-1} e^{-x} d x , \alpha>0Γ(α)=∫0+∞xα−1e−xdx,α>0

Γ\GammaΓ 函数性质：

Γ(1)=1\Gamma(1)=1Γ(1)=1
Γ(12)=π\Gamma(\frac{1}{2})=\sqrt{\pi}Γ(21)=π
Γ(α+1)=αΓ(α)\Gamma(\alpha+1)=\alpha\Gamma(\alpha)Γ(α+1)=αΓ(α)
Γ(n+1)=nΓ(n)=n!\Gamma(n+1)=n\Gamma(n)=n!Γ(n+1)=nΓ(n)=n!

1.2.16 IΓI\GammaIΓ 分布 X∼IΓ(α,λ)X \sim I\Gamma\left(\alpha, \lambda\right)X∼IΓ(α,λ)

X∼Γ(α,λ)X \sim \Gamma(\alpha, \lambda)X∼Γ(α,λ)，则 1X∼IΓ(α,λ)\frac{1}{X} \sim I\Gamma(\alpha, \lambda)X1∼IΓ(α,λ)

1.2.17 B\BetaB 分布 X∼B(α,β)X \sim \Beta\left(\alpha,\beta\right)X∼B(α,β)

B\BetaB 函数：B(α,β)=∫01xα−1(1−x)β−1dx(α>0)\Beta(\alpha,\beta)=\int_{0}^{1} x^{\alpha-1} (1-x)^{\beta-1} d x \quad(\alpha>0)B(α,β)=∫01xα−1(1−x)β−1dx(α>0)

B\BetaB 函数性质：

B(α,β)=Γ(α)Γ(β)Γ(α+β)B(\alpha,\beta)=\frac{\Gamma(\alpha) \Gamma(\beta)}{\Gamma(\alpha+\beta)}B(α,β)=Γ(α+β)Γ(α)Γ(β)

1.2.18 χ2\chi^{2}χ2 分布 X∼χ2(n)X \sim \chi^{2}\left(n\right)X∼χ2(n)

1.2.19 ttt 分布 X∼t(n)X \sim t\left(n\right)X∼t(n)

ttt 分布性质：

t1−α(n)=−tα(n)t_{1-\alpha}(n) = -t_{\alpha}(n)t1−α(n)=−tα(n)
t(n)2=X(n)t(n)^{2}=X(n)t(n)2=X(n)

1.2.20 FFF 分布 X∼F(m,n)X \sim F\left(m, n\right)X∼F(m,n)

FFF 分布性质：

F1−α(m,n)=1/Fα(n,m)F_{1-\alpha}(m,n) = 1 / F_{\alpha}(n,m)F1−α(m,n)=1/Fα(n,m)

1.3 常用的抽样分布

1.3.1 一个正态总体的抽样分布

n(Xˉ−μ)σ∼N(0,1)\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma} \sim N(0,1)σn(Xˉ−μ)∼N(0,1)
(n−1)S2σ2∼χ2(n−1)\frac{(n-1) S^{2}}{\sigma^{2}} \sim \chi^{2}(n-1)σ2(n−1)S2∼χ2(n−1)
n(Xˉ−μ)S∼t(n−1)\frac{\sqrt{n}(\bar{X}-\mu)}{S} \sim t(n-1)Sn(Xˉ−μ)∼t(n−1)
∑i=1n(Xi−μ)2σ2∼χ2(n)\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\sigma^{2}} \sim \chi^{2}(n)σ2∑i=1n(Xi−μ)2∼χ2(n)

1.3.2 两个正态总体的抽样分布

(Xˉ−Yˉ)−(μ1−μ2)σ12n1+σ22n2∼N(0,1)\frac{(\bar{X}-\bar{Y})-\left(\mu_{1}-\mu_{2}\right)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac {\sigma_2^2}{n_2}}} \sim N(0,1)n1σ12+n2σ22(Xˉ−Yˉ)−(μ1−μ2)∼N(0,1)
如果 σ12=σ22\sigma_{1}^{2}=\sigma_{2}^{2}σ12=σ22 ：

SW2=(n1−1)S12+(n2−1)S22n1+n2−2S_{W}^{2}=\frac{\left(n_{1}-1\right) S_{1}^{2}+\left(n_{2}-1\right) S_{2}^{2}}{n_{1}+n_{2}-2}SW2=n1+n2−2(n1−1)S12+(n2−1)S22

(Xˉ−Yˉ)−(μ1−μ2)SW1n1+1n2∼t(n1+n2−2)\frac{(\bar{X}-\bar{Y})-\left(\mu_{1}-\mu_{2}\right)}{S_{W} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}} \sim t(n_1+n_2-2)SWn11+n21(Xˉ−Yˉ)−(μ1−μ2)∼t(n1+n2−2)
S12/σ12S22/σ22∼F(n1−1,n2−1)\frac{S_{1}^{2} / \sigma_{1}^{2}}{S_{2}^{2} / \sigma_{2}^{2}} \sim F\left(n_{1}-1, n_{2}-1\right)S22/σ22S12/σ12∼F(n1−1,n2−1)
∑i=1n1(Xi−μ1)2/n1σ12∑i=1n2(Yi−μ2)2/n2σ22∼F(n1,n2)\frac{\sum_{i=1}^{n_1}\left(X_{i}-\mu_1\right)^{2} / n_1\sigma_1^{2}}{\sum_{i=1}^{n_2}\left(Y_{i}-\mu_2\right)^{2} / n_2\sigma_2^{2}} \sim F\left(n_{1}, n_{2}\right)∑i=1n2(Yi−μ2)2/n2σ22∑i=1n1(Xi−μ1)2/n1σ12∼F(n1,n2)

1.3.3 一个指数总体的抽样分布

2λnXˉ∼χ2(2n)2 \lambda n \bar X \sim \chi^{2}(2 n)2λnXˉ∼χ2(2n)

1.3.4 一个二项总体的抽样分布

X−npnp(1−p)∼N(0,1)\frac{X-n p}{\sqrt{n p(1-p)}} \sim N(0,1)np(1−p)X−np∼N(0,1)
ps−pp(1−p)n∼N(0,1)\frac{p_s-p}{\sqrt{\frac{p(1-p)}{n}}} \sim N(0,1)np(1−p)ps−p∼N(0,1)

1.3.5 一个非正态总体均值的抽样分布

Xˉ−E(X)D(X)/n∼N(0,1)\frac{\bar X - E(X)}{\sqrt{D(X)/n}} \sim N(0,1)D(X)/nXˉ−E(X)∼N(0,1)
Xˉ−E(X)S2/n∼N(0,1)\frac{\bar X - E(X)}{\sqrt{S^2/n}} \sim N(0,1)S2/nXˉ−E(X)∼N(0,1)

1.3.6 两个总体的组合的抽样分布

χ2(n1)+χ2(n2)=χ2(n1+n2)\chi^{2}(n_1)+\chi^{2}(n_2)=\chi^{2}(n_1+n_2)χ2(n1)+χ2(n2)=χ2(n1+n2)
χ2(n1)/n1χ2(n2)/n2=F(n1,n2)\frac{\chi^{2}(n_1)/n_1}{\chi^{2}(n_2)/n_2}=F(n_1,n_2)χ2(n2)/n2χ2(n1)/n1=F(n1,n2)
N(0,1)χ2(n)/n=t(n)\frac{N(0,1)}{\sqrt{\chi^{2}(n)/n}}=t(n)χ2(n)/nN(0,1)=t(n)

author: virgilwjj

2 参数估计

2.1 点估计

2.1.1 矩估计

AkA_kAk 估计 aka_kak，Ak=akA_k=a_kAk=ak
BkB_kBk 估计 bkb_kbk，Bk=bkB_k=b_kBk=bk

2.1.2 极大似然估计

似然函数取对数，再求导
前后项比较，求出极值点
边界条件与极小极大统计量的关系

2.1.3 评价估计量好坏的标准

无偏性：E(θ^)=θE(\hat\theta)=\thetaE(θ^)=θ

有效性：

1. 如果 $E(\hat\theta_1)=E(\hat\theta_2)=\theta$ 时，$D(\hat\theta_1)<D(\hat\theta_2)$，$\hat\theta_1$ 比 $\hat \theta_2$ 更有效
2. 均方误差 $M(\hat \theta) = E((\hat \theta - \theta)^2)$，$M(\hat \theta_1)<M(\hat \theta_2)$，$\hat\theta_1$ 比 $\hat \theta_2$ 更有效

一致性：θ^\hat\thetaθ^ 依概率收敛于 θ\thetaθ

2.2 区间估计

2.2.1 一个总体的置信区间

P{k1<θ<k2}=1−αP\{k_1 < \theta < k_2\}=1-\alphaP{k1<θ<k2}=1−α

2.2.2 两个总体的置信区间

P{k1<θ1−θ2<k2}=1−αP\{k_1 < \theta_1 - \theta_2 < k_2\}=1-\alphaP{k1<θ1−θ2<k2}=1−α
P{k1<θ1/θ2<k2}=1−αP\{k_1 < \theta_1 / \theta_2 < k_2\}=1-\alphaP{k1<θ1/θ2<k2}=1−α

2.3 BayesBayesBayes 估计

2.3.1 核

e−(x−μ)22σ2e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}e−2σ2(x−μ)2：X∼N(μ,σ2)X \sim N\left(\mu, \sigma^{2}\right)X∼N(μ,σ2)
xα−1e−λxx^{\alpha-1} e^{-\lambda x}xα−1e−λx：X∼Γ(α,λ)X \sim \Gamma\left(\alpha, \lambda \right)X∼Γ(α,λ)
x−α−1e−λxx^{-\alpha-1} e^{-\frac{\lambda}{x}}x−α−1e−xλ：X∼IΓ(α,λ)X \sim I\Gamma\left(\alpha, \lambda\right)X∼IΓ(α,λ)
xα−1(1−x)β−1x^{\alpha-1}(1-x)^{\beta-1}xα−1(1−x)β−1：X∼B(α,β)X \sim \Beta\left(\alpha,\beta\right)X∼B(α,β)

2.3.2 损失函数

(θ−d)2(\theta-d)^{2}(θ−d)2：θ^=E(θ)\hat{\theta}=E(\theta)θ^=E(θ)
λ(θ)(θ−d)2\lambda(\theta) (\theta-d)^{2}λ(θ)(θ−d)2：θ^=E[θλ(θ)]E[λ(θ)]\hat{\theta}=\frac{E[\theta \lambda(\theta)]}{E[\lambda(\theta)]}θ^=E[λ(θ)]E[θλ(θ)]

author: virgilwjj

3 假设检验

3.1 拒绝域

H0H_0H0	H1H_1H1	拒绝域
a=a0a = a_0a=a0	a≠a0a \ne a_0a=a0	a^≠a0\hat a \ne a_0a^=a0
a=a0a = a_0a=a0	a>a0a > a_0a>a0	a^>a0\hat a > a_0a^>a0
a=a0a = a_0a=a0	a=a1(a0<a1)a = a_1(a_0<a_1)a=a1(a0<a1)	a^>a0\hat a > a_0a^>a0
a⩽a0a \leqslant a_0a⩽a0	a>a0a > a_0a>a0	a^>a0\hat a > a_0a^>a0
a=a0a = a_0a=a0	a<a0a < a_0a<a0	a^<a0\hat a < a_0a^<a0
a=a0a = a_0a=a0	a=a1(a0>a1)a = a_1(a_0>a_1)a=a1(a0>a1)	a^<a0\hat a < a_0a^<a0
a⩾a0a \geqslant a_0a⩾a0	a<a0a < a_0a<a0	a^<a0\hat a < a_0a^<a0

3.2 两类错误

3.1.1 第一类错误弃真

P{拒绝了H0∣H0为真}=αP\{拒绝了H_0 \mid H_0 为真\}=\alphaP{拒绝了H0∣H0为真}=α

3.1.2 第二类错误采假

P{接受了H0∣H0为假}=βP\{接受了 H_0 \mid H_0 为假\}=\betaP{接受了H0∣H0为假}=β

3.2 参数检验

3.3 非参数检验

3.3.1 χ2\chi^{2}χ2 检验

H0H_0H0：P(X)=P0(X)P(X)=P_0(X)P(X)=P0(X)

H1H_1H1：P(X)≠P0(X)P(X) \ne P_0(X)P(X)=P0(X)

检验统计量：K2=∑i=1knp^i(vin−p^i)2=∑i=1k(vi−np^i)2np^i=1n∑i=1kvi2p^i−nK^{2}=\sum_{i=1}^{k} \frac{n}{\hat p_{i}}\left(\frac{v_{i}}{n}-\hat p_{i}\right)^{2}=\sum_{i=1}^{k} \frac{\left(v_{i}-n \hat p_{i}\right)^{2}}{n \hat p_{i}}=\frac{1}{n} \sum_{i=1}^{k} \frac{v_{i}^{2}}{\hat p_{i}}-nK2=∑i=1kp^in(nvi−p^i)2=∑i=1knp^i(vi−np^i)2=n1∑i=1kp^ivi2−n
拒绝域：K2>χα2(k−r−1)K^{2} > \chi_\alpha^{2}(k-r-1)K2>χα2(k−r−1)

rrr：未知的参数的个数，即需要做点估计的参数的个数；不需要做点估计的参数或题目告诉你的，算已知。

3.3.2 χ2\chi^{2}χ2 分析

H0H_0H0：P(AB)=P(A)P(B)P(A B)=P(A)P(B)P(AB)=P(A)P(B)

H1H_1H1：P(AB)≠P(A)P(B)P(A B) \ne P(A)P(B)P(AB)=P(A)P(B)

检验统计量：K2=∑i=1s∑j=1t(nij−np^iq^j)2np^iq^jK^{2}=\sum_{i=1}^{s} \sum_{j=1}^{t} \frac{\left(n_{i j}-n \hat{p}_{i} \hat{q}_{j}\right)^{2}}{n \hat{p}_{i} \hat{q}_{j}}K2=∑i=1s∑j=1tnp^iq^j(nij−np^iq^j)2

拒绝域：K2>χα2((s−1)(t−1))K^{2}>\chi_{\alpha}^{2}((s-1)(t-1))K2>χα2((s−1)(t−1))

当 2∗22 * 22∗2 时：

检验统计量：K2=n(n11n22−n12n21)2n1.n2.n.1n.2K^{2}=\frac{n\left(n_{11} n_{22}-n_{12} n_{21}\right)^{2}}{n_{1 .} n_{2 .} n_{. 1} n_{. 2}}K2=n1.n2.n.1n.2n(n11n22−n12n21)2

拒绝域：K2>χα2(1)K^{2}>\chi_{\alpha}^{2}(1)K2>χα2(1)

3.3.3 秩和检验

检验统计量：第二个样本的秩和 WWW

拒绝域：

F(x)F(x)F(x)，G(x)G(x)G(x) 是两个总体分布函数

H0H_0H0	H1H_1H1	拒绝域
F(x)⩽G(x)F(x) \leqslant G(x)F(x)⩽G(x)	F(x)>G(x)F(x)>G(x)F(x)>G(x)	W⩾dW \geqslant dW⩾d
F(x)⩾G(x)F(x) \geqslant G(x)F(x)⩾G(x)	F(x)<G(x)F(x) < G(x)F(x)<G(x)	W⩽cW \leqslant cW⩽c
F(x)=G(x)F(x) = G(x)F(x)=G(x)	F(x)≠G(x)F(x) \ne G(x)F(x)=G(x)	W⩽c∪W⩾dW \leqslant c \cup W \geqslant dW⩽c∪W⩾d

μ1\mu_1μ1，μ2\mu_2μ2 是两个总体的均值

H0H_0H0	H1H_1H1	拒绝域
μ1⩾μ2\mu_1 \geqslant \mu_2μ1⩾μ2	μ1<μ2\mu_1 < \mu_2μ1<μ2	W⩾dW \geqslant dW⩾d
μ1⩽μ2\mu_1 \leqslant \mu_2μ1⩽μ2	μ1>μ2\mu_1 > \mu_2μ1>μ2	W⩽cW \leqslant cW⩽c
μ1=μ2\mu_1 = \mu_2μ1=μ2	μ1≠μ2\mu_1 \ne \mu_2μ1=μ2	W⩽c∪W⩾dW \leqslant c \cup W \geqslant dW⩽c∪W⩾d

建立服从正态分布检验量：R1∼N(n1(n1+n2+1)2,n1n2(n1+n2+1)12)R_1 \sim N(\frac{n_1(n1+n2+1)}{2},\frac{n_1 n_2 (n1+n2+1)}{12})R1∼N(2n1(n1+n2+1),12n1n2(n1+n2+1))

R1R_1R1 为第一个样本的秩和

3.3.4 符号检验

单样本：与中位数的差的绝对值的秩和检验

双样本：对应的差的绝对值的秩和检验

author: virgilwjj

4 方差分析

4.1 方差分析的常用统计量

误差方差估计：σ^2=RSSn−r\hat{\sigma}^{2}=\frac{R S S}{n-r}σ^2=n−rRSS

总平方和：TSS=∑i=1r∑j=1ni(yij−yˉ)2=(n−1)S2TSS=\sum_{i=1}^{r} \sum_{j=1}^{n_{i}}\left(y_{i j}-\bar{y}\right)^{2}=(n-1)S^2TSS=∑i=1r∑j=1ni(yij−yˉ)2=(n−1)S2

自变量平方和：CSS=∑i=1r∑j=1ni(yˉi−yˉ)2CSS=\sum_{i=1}^{r} \sum_{j=1}^{n_{i}}\left(\bar{y}_{i}-\bar{y}\right)^{2}CSS=∑i=1r∑j=1ni(yˉi−yˉ)2

残差平方和：RSS=∑i=1r∑j=1ni(yij−yiˉ)2=∑i=1r(ni−1)Si2RSS=\sum_{i=1}^{r} \sum_{j=1}^{n_{i}}\left(y_{i j}-\bar{y_i}\right)^{2}=\sum_{i=1}^{r}(n_i-1)S_i^2RSS=∑i=1r∑j=1ni(yij−yiˉ)2=∑i=1r(ni−1)Si2

性质：

TSS=CSS+RSSTSS=CSS+RSSTSS=CSS+RSS
RSSσ2=(n−r)σ^2σ2∼χ2(n−r)\frac{R S S}{\sigma^{2}}=\frac{(n-r) \hat{\sigma}^{2}}{\sigma^{2}} \sim \chi^{2}(n-r)σ2RSS=σ2(n−r)σ^2∼χ2(n−r)
CSSσ2∼χ2(r−1)\frac{CSS}{\sigma^{2}} \sim \chi^{2}(r-1)σ2CSS∼χ2(r−1)

4.2 方差分析

H0H_0H0：μ1=μ2=…=μr\mu_1=\mu_2= … =\mu_rμ1=μ2=…=μr

H1H_1H1：μ1,μ2,…,μr\mu_1,\mu_2, … ,\mu_rμ1,μ2,…,μr 不完全相等

检验统计量：F=CSS/(r−1)RSS/(n−r)F=\frac{CSS/(r-1)}{RSS/(n-r)}F=RSS/(n−r)CSS/(r−1)

拒绝域：F>F(r−1,n−r)F>F(r-1,n-r)F>F(r−1,n−r)

方差来源	平方和	自由度	均方	F
分类变量	CSSCSSCSS	r−1r-1r−1	CSS/(r−1)CSS/(r-1)CSS/(r−1)	CSS/(r−1)RSS/(n−r)\frac{CSS/(r-1)}{RSS/(n-r)}RSS/(n−r)CSS/(r−1)
残差变量	RSSRSSRSS	n−rn-rn−r	RSS/(n−r)RSS/(n-r)RSS/(n−r)
总计	TSSTSSTSS	n−1n-1n−1	TSS/(n−1)TSS/(n-1)TSS/(n−1)

author: virgilwjj

5 线性回归模型

5.1 一元线性回归

5.1.1 一元回归分析

Y=Xβ+εY = X\beta+\varepsilonY=Xβ+ε

X=[1x11x2……1xn]X=\begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ … & … \\ 1 & x_n \\ \end{bmatrix}X=⎣⎢⎢⎡11…1x1x2…xn⎦⎥⎥⎤

β=[β0β1]T\beta=\begin{bmatrix} \beta_0 & \beta_1 \end{bmatrix}^Tβ=[β0β1]T

ε∼N(0,σ2In)\varepsilon \sim N(0, \sigma^2 I_n)ε∼N(0,σ2In)

Y∼N(Xβ,σ2In)Y \sim N(X\beta, \sigma^2 I_n)Y∼N(Xβ,σ2In)

S=XTXS=X^T XS=XTX

β^=[β^0β^1]T\hat \beta=\begin{bmatrix} \hat \beta_0 & \hat \beta_1 \end{bmatrix}^Tβ^=[β^0β^1]T

β^∼N(β,σ2S−1)\hat \beta \sim N(\beta, \sigma^2 S^{-1})β^∼N(β,σ2S−1)

S−1=1Lxx[∑i=1nxi2n−xˉ−xˉ1]S^{-1}=\frac{1}{L_{x x}}\begin{bmatrix} \frac{\sum_{i=1}^{n}x_i^2}{n} & -\bar x \\ -\bar x & 1 \end{bmatrix}S−1=Lxx1[n∑i=1nxi2−xˉ−xˉ1]

5.1.1 最小二乘法

β^0=yˉ−β^1xˉ\hat{\beta}_{0}=\bar{y}-\hat{\beta}_{1} \bar{x}β^0=yˉ−β^1xˉ

回归系数估计：β^1=LxyLxx\hat{\beta}_{1}=\frac{L_{x y}}{L_{x x}}β^1=LxxLxy

误差方差估计：σ^2=RSSn−2\hat{\sigma}^{2}=\frac{RSS}{n-2}σ^2=n−2RSS

总平方和： TSS=∑i=1n(yi−yˉ)2=LyyTSS=\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}=L_{y y}TSS=∑i=1n(yi−yˉ)2=Lyy

回归平方和：RegSS=∑i=1n(y^i−yˉ)2=Lxy2LxxRegSS=\sum_{i=1}^{n}\left(\hat{y}_{i}-\bar{y}\right)^{2}=\frac{L_{x y}^{2}}{L_{x x}}RegSS=∑i=1n(y^i−yˉ)2=LxxLxy2

残差平方和 RSS=∑i=1n(yi−yi^)2RSS=\sum_{i=1}^{n}\left(y_{i}-\hat{y_i}\right)^{2}RSS=∑i=1n(yi−yi^)2

相关系数 r2=RegSSTSS=Lxy2LxxLyyr^2=\frac{RegSS}{TSS}=\frac{L_{x y}^2}{L_{x x} L_{y y}}r2=TSSRegSS=LxxLyyLxy2

性质：

TSS=RegSS+RSSTSS=RegSS+RSSTSS=RegSS+RSS
RSSσ2=(n−2)σ^2σ2∼χ2(n−2)\frac{RSS}{\sigma^{2}}=\frac{(n-2) \hat{\sigma}^{2}}{\sigma^{2}} \sim \chi^{2}(n-2)σ2RSS=σ2(n−2)σ^2∼χ2(n−2)
RegSSσ2∼χ2(1)\frac{RegSS}{\sigma^{2}} \sim \chi^{2}(1)σ2RegSS∼χ2(1)
β^0∼N(β0,σ2(1n+xˉ2Lxx))=N(β0,σ2∑i=1nxi2nLxx)\hat{\beta}_{0} \sim N\left(\beta_{0}, \sigma^{2}\left(\frac{1}{n}+\frac{\bar{x}^{2}}{L_{x x}}\right)\right)=N\left(\beta_{0}, \frac{\sigma^{2} \sum_{i=1}^{n}x_i^2}{nL_{x x}}\right)β^0∼N(β0,σ2(n1+Lxxxˉ2))=N(β0,nLxxσ2∑i=1nxi2)
β^1∼N(β1,σ2Lxx)\hat{\beta}_{1} \sim N\left(\beta_{1}, \frac{\sigma^{2}}{L_{x x}}\right)β^1∼N(β1,Lxxσ2)
β^0\hat \beta_0β^0 与 β^1\hat \beta_1β^1 不独立，协方差为 Cov(β^0,β^1)=−σ2xˉLxxCov\left(\hat{\beta}_{0}, \hat{\beta}_{1}\right)=-\sigma^{2} \frac{\bar x}{L_{x x}}Cov(β^0,β^1)=−σ2Lxxxˉ

5.1.2 回归关系检验—— FFF 检验法

H0H_0H0：β1=0\beta_1=0β1=0

H1H_1H1：β1≠0\beta_1 \ne 0β1=0

检验统计量：F=RegSSRSS/(n−2)=(n−2)Lxx2LxxLyy−Lxy2=(n−2)r21−r2F=\frac{RegSS}{RSS/(n-2)}=\frac{(n-2)L_{x x}^2}{L_{x x}L_{y y}-L_{x y}^2}=\frac{(n-2)r^2}{1-r^2}F=RSS/(n−2)RegSS=LxxLyy−Lxy2(n−2)Lxx2=1−r2(n−2)r2

拒绝域：F>F(1,n−2)F>F(1,n-2)F>F(1,n−2)

方差来源	平方和	自由度	均方	F
回归变量	RegSSRegSSRegSS	111	RegSSRegSSRegSS	RegSSRSS/(n−2)\frac{RegSS}{RSS/(n-2)}RSS/(n−2)RegSS
残差变量	RSSRSSRSS	n−2n-2n−2	RSS/(n−2)RSS/(n-2)RSS/(n−2)
总计	TSSTSSTSS	n−1n-1n−1	TSS/(n−1)TSS/(n-1)TSS/(n−1)

5.1.3 回归关系检验—— ttt 检验法

β^1∼N(β1,σ2Lxx)\hat{\beta}_{1} \sim N\left(\beta_{1}, \frac{\sigma^{2}}{L_{x x}}\right)β^1∼N(β1,Lxxσ2)

(n−2)σ^2σ2∼χ2(n−2)\frac{(n-2) \hat{\sigma}^{2}}{\sigma^{2}} \sim \chi^{2}(n-2)σ2(n−2)σ^2∼χ2(n−2)

检验统计量：t=β^1−β1σ^Lxx∼t(n−2)t=\frac{\hat \beta_1 - \beta_1}{\hat \sigma} \sqrt{L_{x x}} \sim t(n-2)t=σ^β^1−β1Lxx∼t(n−2)

拒绝域：∣t∣>tα/2(n−2)|t| > t_{\alpha/2}(n-2)∣t∣>tα/2(n−2)

5.1.4 回归关系检验—— rrr 检验法

检验统计量：r=RegSSTSS=Lxy2LxxLyyr=\sqrt{\frac{RegSS}{TSS}}=\sqrt{\frac{L_{x y}^2}{L_{x x} L_{y y}}}r=TSSRegSS=LxxLyyLxy2

拒绝域：∣r∣>rα(n−2)|r| > r_{\alpha}(n-2)∣r∣>rα(n−2)

5.1.5 利用回归方程进行预测（y0y_0y0 的区间估计，x0x_0x0 对区间的控制）

y^0=β^0+β^1x0=(1,x0)(β^0,β^1)T\hat y_0 = \hat \beta_0 + \hat \beta_1 x_0=(1, x_0) (\hat \beta_0, \hat \beta_1)^Ty^0=β^0+β^1x0=(1,x0)(β^0,β^1)T

y^0∼N(β0+β1x0,σ2[1n+(x0−xˉ)2Lxx])\hat y_0 \sim N(\beta_0 + \beta_1 x_0, \sigma^2 [\frac{1}{n}+\frac{(x_0 - \bar x)^2}{L_{x x}}])y^0∼N(β0+β1x0,σ2[n1+Lxx(x0−xˉ)2])

y0=β^0+β^1x0+ε0y_0=\hat \beta_0 + \hat \beta_1 x_0 + \varepsilon_0y0=β^0+β^1x0+ε0

y0∼N(β0+β1x0,σ2)y_0 \sim N(\beta_0 + \beta_1 x_0, \sigma^2)y0∼N(β0+β1x0,σ2)

y0−y^0∼N(0,σ2[1+1n+(x0−xˉ)2Lxx])y_0 - \hat y_0 \sim N(0, \sigma^2[1 + \frac{1}{n}+\frac{(x_0 - \bar x)^2}{L_{x x}}])y0−y^0∼N(0,σ2[1+n1+Lxx(x0−xˉ)2])

(n−2)σ^2σ2∼χ2(n−2)\frac{(n-2) \hat{\sigma}^{2}}{\sigma^{2}} \sim \chi^{2}(n-2)σ2(n−2)σ^2∼χ2(n−2)

检验统计量：t=y0−y^0σ^1+1n+(x0−xˉ)2Lxx∼t(n−2)t=\frac{y_0 - \hat y_0}{\hat \sigma \sqrt{1 + \frac{1}{n}+\frac{(x_0 - \bar x)^2}{L_{x x}}}} \sim t(n-2)t=σ^1+n1+Lxx(x0−xˉ)2y0−y^0∼t(n−2)

置信区间：∣t∣<tα/2(n−2)|t|<t_{\alpha/2}(n-2)∣t∣<tα/2(n−2)

5.1.6 β0\beta_0β0 的区间估计

β^0∼N(β0,σ2(1n+xˉ2Lxx))\hat{\beta}_{0} \sim N\left(\beta_{0}, \sigma^{2}\left(\frac{1}{n}+\frac{\bar{x}^{2}}{L_{x x}}\right)\right)β^0∼N(β0,σ2(n1+Lxxxˉ2))

(n−2)σ^2σ2∼χ2(n−2)\frac{(n-2) \hat{\sigma}^{2}}{\sigma^{2}} \sim \chi^{2}(n-2)σ2(n−2)σ^2∼χ2(n−2)

检验统计量：t=β^0−β0σ^1n+xˉ2Lxx∼t(n−2)t=\frac{\hat \beta_0 - \beta_0}{\hat \sigma \sqrt{\frac{1}{n}+\frac{\bar{x}^{2}}{L_{x x}}}} \sim t(n-2)t=σ^n1+Lxxxˉ2β^0−β0∼t(n−2)

置信区间：∣t∣<tα/2(n−2)|t|<t_{\alpha/2}(n-2)∣t∣<tα/2(n−2)

东北大学——应用数理统计——笔记相关推荐

c++求n的几次方_数理统计|笔记整理（E）——Ch7-C习题课
上一节笔记传送门:数理统计|笔记整理(D)--Ch1-6习题课 -------------------------------------- 大家好!这一节我们依然会补充一些习题,内容则是正文的后半部 ...
数理统计笔记1：常用分布
引言数理统计笔记的第一篇总结了数理统计中常用的分布,包括Bernoulli分布.二项分布.泊松分布.均匀分布.指数分布和正态分布. 正态分布概率密度函数为:f(x)=12πσexp⁡(−(x−μ)2 ...
数理统计笔记2：总体均值的抽样分布
引言数理统计笔记的第2篇总结了数理统计中样本均值的分布,可以帮助理解样本均值和总体均值分布之间的联系.举了一个例子可以加深理解,并且还补充了中心极限定理的知识. 一个关键的结论就此诞生了!!! 样本 ...
数理统计笔记7：分类数据分析-拟合优度检验和列联分析
引言数理统计笔记的第7篇介绍了分类数据分析的方法,包括拟合优度检验和列联分析,给出了两者的卡方检验量的表达式,并且用例子进行了说明,最后谈了列联分析需要注意的问题. 引言什么是分类型数据拟合优度 ...
概率论与数理统计笔记系列之第二章：随机变量及其分布
概率论与数理统计笔记(第二章随机变量及其分布) 对于统计专业来说,书本知识总有遗忘,翻看教材又太麻烦,于是打算记下笔记与自己的一些思考,主要参考用书是茆诗松老师编写的<概率论与数理统计教程&g ...
数理统计笔记10：回归分析
引言数理统计笔记的第10篇介绍了回归分析,从相关关系开始介绍,然后介绍回归分析,主要介绍了一元回归模型和多元回归模型,并对其中的原理和检验进行了叙述,最后简单介绍了一下可以化为线性回归模型的非线性回 ...
数理统计笔记3：样本方差的抽样分布，两个样本方差比的抽样分布，t统计量的分布
引言数理统计笔记的第3篇总结了数理统计中样本方差的分布(卡方分布),两个样本方差比的抽样分布(F分布)以及t统计量的分布. 样本方差的抽样分布两个样本方差比的抽样分布附:T统计量的分布
概率与数理统计-笔记说明
书籍版本概率论与数理统计(第四版) / 浙江大学盛骤等编,北京:高等教育出版社,2008.6 概率导论(第2版:修订版) / (美) 伯特瑟卡斯(Bertsekas,D.P.)等著:郑忠国等译.- ...
宋浩概率论与数理统计笔记（一）
基本信息本篇是根据宋浩老师在B站的概率论与数理统计完成,标明了每一个知识点所在的时间点. 在学数学的时候笔记必不可少,但频繁暂停记笔记又浪费时间,那你就借他山之石,快速掌握基本数学知识. 宋浩老师视 ...
概率论与数理统计の笔记
概率论应用范围主要是人工智能,和现在大数据背景下的数据处理概率论考前总结数学总目录参考教材: <概率论与数理统计浙大版> <考研数学复习全书> 第一章随机事件与概率第 ...

东北大学——应用数理统计——笔记

0 概率论基础

0.1 概率 P(A)P(A)P(A)

0.1.1 事件间的关系

0.1.2 概率的计算公式

0.2 随机变量 XXX

0.2.1 随机变量的概率分布 PPP

0.2.2 随机变量的分布函数 F(x)F(x)F(x)

0.2.3 随机变量的数学期望 E(X)E(X)E(X)

0.2.4 随机变量的方差 D(X)D(X)D(X)

0.2.5 随机变量的矩 ak,bka_k,b_kak​,bk​

0.2.5 随机变量的协方差 Cov(X,Y)Cov(X,Y)Cov(X,Y)

0.3 随机向量 η\etaη

0.4 ChebyshevChebyshevChebyshev 不等式

0.5 中心极限定理

1 抽样分布

1.1 统计量 TTT

1.1.1 样本均值 Xˉ\bar XXˉ

1.1.2 样本方差 S2S^2S2

1.1.3 样本矩 Ak,BkA_{k},B_{k}Ak​,Bk​

1.1.4. 顺序统计量 X[i]X_{[i]}X[i]​

1.2 常用的分布

1.2.1 常用的离散型分布

1.2.2 常用的连续型分布

1.2.3 常用的统计分布

1.2.4 具有可加性的分布

1.2.5 具有无记忆性的分布

1.2.6 0−10-10−1 分布 X∼B(1,p)X \sim B\left(1, p\right)X∼B(1,p)

1.2.7 二项分布 X∼B(n,p)X \sim B\left(n, p\right)X∼B(n,p)

1.2.8 几何分布

1.2.9 超几何分布

1.2.10 PoissonPoissonPoisson分布 X∼P(λ)X \sim P\left(\lambda \right)X∼P(λ)

1.2.11 均匀分布 X∼U(a,b)X \sim U\left(a, b\right)X∼U(a,b)

1.2.12 指数分布 X∼E(λ)X \sim E\left(\lambda \right)X∼E(λ)

1.2.13 正态分布 X∼N(μ,σ2)X \sim N\left(\mu, \sigma^{2}\right)X∼N(μ,σ2)

1.2.14 二维正态分布 (X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y) \sim N\left(\mu_1,\mu_2,\sigma_1^{2},\sigma_2^{2},\rho\right)(X,Y)∼N(μ1​,μ2​,σ12​,σ22​,ρ)

1.2.15 Γ\GammaΓ 分布 X∼Γ(α,λ)X \sim \Gamma\left(\alpha, \lambda \right)X∼Γ(α,λ)

1.2.16 IΓI\GammaIΓ 分布 X∼IΓ(α,λ)X \sim I\Gamma\left(\alpha, \lambda\right)X∼IΓ(α,λ)

1.2.17 B\BetaB 分布 X∼B(α,β)X \sim \Beta\left(\alpha,\beta\right)X∼B(α,β)

1.2.18 χ2\chi^{2}χ2 分布 X∼χ2(n)X \sim \chi^{2}\left(n\right)X∼χ2(n)

1.2.19 ttt 分布 X∼t(n)X \sim t\left(n\right)X∼t(n)

1.2.20 FFF 分布 X∼F(m,n)X \sim F\left(m, n\right)X∼F(m,n)

1.3 常用的抽样分布

1.3.1 一个正态总体的抽样分布

1.3.2 两个正态总体的抽样分布

1.3.3 一个指数总体的抽样分布

1.3.4 一个二项总体的抽样分布

1.3.5 一个非正态总体均值的抽样分布

1.3.6 两个总体的组合的抽样分布

2 参数估计

2.1 点估计

2.1.1 矩估计

2.1.2 极大似然估计

2.1.3 评价估计量好坏的标准

2.2 区间估计

2.2.1 一个总体的置信区间

2.2.2 两个总体的置信区间

2.3 BayesBayesBayes 估计

2.3.1 核

2.3.2 损失函数

3 假设检验

3.1 拒绝域

3.2 两类错误

3.1.1 第一类错误 弃真

3.1.2 第二类错误 采假

3.2 参数检验

3.3 非参数检验

3.3.1 χ2\chi^{2}χ2 检验

3.3.2 χ2\chi^{2}χ2 分析

3.3.3 秩和检验

3.3.4 符号检验

4 方差分析

4.1 方差分析的常用统计量

4.2 方差分析

5 线性回归模型

5.1 一元线性回归

5.1.1 一元回归分析

5.1.1 最小二乘法

5.1.2 回归关系检验—— FFF 检验法

5.1.3 回归关系检验—— ttt 检验法

0.2.5 随机变量的矩 ak,bka_k,b_kak,bk

1.1.3 样本矩 Ak,BkA_{k},B_{k}Ak,Bk

1.1.4. 顺序统计量 X[i]X_{[i]}X[i]

1.2.14 二维正态分布 (X,Y)∼N(μ1,μ2,σ12,σ22,ρ)(X,Y) \sim N\left(\mu_1,\mu_2,\sigma_1^{2},\sigma_2^{2},\rho\right)(X,Y)∼N(μ1,μ2,σ12,σ22,ρ)

3.1.1 第一类错误弃真

3.1.2 第二类错误采假

5.1.5 利用回归方程进行预测（y0y_0y0 的区间估计，x0x_0x0 对区间的控制）

5.1.6 β0\beta_0β0 的区间估计