第一章随机事件及其概率

概率的公理化定义：
1）非负性公理
2）正则性公理
3）可加性公理

重复组合：从n个不同的元素中每次取出一个，放回后再取出下一个，如此连续取r次所得的组合称为重复组合，总数为C_{n+r-1}^{r}
可结合插板法考虑

概率的加法公式

多个事件的独立性不只是两两独立，eg：三个事件相互独立需要满足4个等式。

条件概率同样满足概率的公理化中的三个条件。

乘法公式

全概率公式（经由另一对全空间的分割，通过乘法公式/条件概率推算得出）

由全概率公式可知，抽签不分先后，机会是均等的。

敏感性问题的调查，可以设置两个问题，其中A为感兴趣的B为不感兴趣的。被调查者从一个罐子中随机抽取一只球，抽到白球则回答A，抽到红球则回答B。通过相关概率公式可以计算感兴趣的问题的概率性质。

贝叶斯公式，可由条件概率公式、乘法公式及全概率公式得出。

第二章随机变量及其概率分布

分布函数F(x)=P(X<=x)的性质：
1）0<=F(x)<=1
2）在x趋于负无穷时为0
3）在x趋于正无穷时为1
4）F(x)是非降函数
5）右连续函数

泊松分布
是常用对的离散分布之一，eg: 在一定时间内，电话总站接错电话的次数。其中使用的 λλ\lambda不同。泊松分布与计数过程相关联，在一定时间或一定区域或一特定单位内的前提下进行。

(泊松定理)
n大p小，且\lambda=np大小合适，二项分布中的概率有一个很好的近似公式，可用泊松分布中相应次数的概率近似二项分布中的概率。(就求极限即可)

人们把一次试验中出现概率很小(如小于0.05)成为稀有事件，此时可使用二项分布的泊松近似。

超几何分布

指数分布Exp(λ)Exp(λ)Exp(\lambda)
p(x)=λe−λx,x≥0p(x)=λe−λx,x≥0p(x)=\lambda e^{-\lambda x}, x\geq0

随机变量函数的分布。Y=g(X)Y=g(X)Y=g(X)
则pY(y)=pX(h(y))|h′(y)|pY(y)=pX(h(y))|h′(y)|p_{Y}(y)=p_{X}(h(y))|h'(y)|
其中x=h(y)x=h(y)x=h(y)为y=g(x)y=g(x)y=g(x)的反函数.

期望存在的条件是期望对应的积分绝对可积。
期望不一定存在如柯西分布p(x)=1π(x2+1),−∞<x<+∞p(x)=1π(x2+1),−∞<x<+∞p(x)=\frac{1}{\pi(x^2+1)}, -\infty的期望不存在。

正态分布N(μ,σ)N(μ,σ)N(\mu, \sigma)
p(x)=12π√σe−(x−μ)22σ2,−∞<x<+∞p(x)=12πσe−(x−μ)22σ2,−∞<x<+∞p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty，其中−∞<μ<+∞−∞<μ<+∞-\infty决定位置, σ>0σ>0\sigma>0决定散布大小。
(从正态分布可以导出一些有用的分布，如统计中常用的三大分布 χ2χ2\chi^2，ttt， F" role="presentation" style="position: relative;">FFF)
0.95 (-1.96, 1.96)
0.99 (-2.58, 2.58)
0.99 (-3.29, 3.29)

伽马分布Ga(a,λ)Ga(a,λ)Ga(a, \lambda)
p(x)=λaΓ(a)xa−1e−λx,x>0p(x)=λaΓ(a)xa−1e−λx,x>0p(x)=\dfrac{\lambda^a}{\Gamma(a)}x^{a-1}e^{-\lambda x}, x>0
其中a>0a>0a>0称为形状参数， λ>0λ>0\lambda>0称为尺度参数。
a<1,a=1,a>1a<1,a=1,a>1a1时密度函数各不相同，a>1a>1 a>1时密度函数具有单峰，另外1<a≤21<a≤21与a>2a>2a>2时又有不同。
用于描述产品寿命
注： Γ(1)=1,Γ(n+1)=n!,Γ(12)=π−−√Γ(1)=1,Γ(n+1)=n!,Γ(12)=π\Gamma(1)=1, \Gamma(n+1)=n!, \Gamma(\frac{1}{2})=\sqrt{\pi}

1)因此， a=1a=1a=1的伽马分布Ga(1，λ)Ga(1，λ)Ga(1， \lambda)是指数分布。可用来描述第一次冲击到来的时间，电话的通话是时间等。具有无记忆性。

2) a=λ=n2a=λ=n2a=\lambda=\dfrac{n}{2}, λ=12λ=12\lambda=\dfrac{1}{2}的伽马分布Ga(n2，12)Ga(n2，12)Ga(\dfrac{n}{2}， \dfrac{1}{2})称为自由度为nnn的χ2" role="presentation" style="position: relative;">χ2χ2\chi^2分布

贝塔分布Be(a,b)Be(a,b)Be(a, b)
p(x)=Γ(a+b)Γ(a)+Γ(b)xa−1(1−x)b−1,0≤x≤1p(x)=Γ(a+b)Γ(a)+Γ(b)xa−1(1−x)b−1,0≤x≤1p(x)=\dfrac{\Gamma(a+b)}{\Gamma(a)+\Gamma(b)}x^{a-1}(1-x)^{b-1}, 0\leq x\leq1,其中a>0,b>0a>0,b>0a>0, b>0均为形状参数
β(a,b)=∫10xa−1(1−x)b−1dx,a>0,b>0β(a,b)=∫01xa−1(1−x)b−1dx,a>0,b>0\beta(a, b)=\int_{0}^{1}x^{a-1}(1-x)^{b-1}dx, a>0, b>0
β(a,b)=Γ(a)+Γ(b)Γ(a+b)β(a,b)=Γ(a)+Γ(b)Γ(a+b)\beta(a, b)=\dfrac{\Gamma(a)+\Gamma(b)}{\Gamma(a+b)}
a=1,b=1时a=1,b=1时a=1, b=1时Be(1,1)Be(1,1)Be(1, 1)即为U(0,1)U(0,1)U(0, 1)
期望与方差
E(X)E(X)E(X)是分布位置的特征数。
X−E(X)X−E(X)X-E(X)偏差
E(X−E(X))2E(X−E(X))2E(X-E(X))^2表征随机变量取值的波动大小
Var(X)=E[X−E(X)]2=E(X2)−E(X)2Var(X)=E[X−E(X)]2=E(X2)−E(X)2Var(X)=E[X-E(X)]^2=E(X^2)-E(X)^2
σ(X)=Var(X)−−−−−−√σ(X)=Var(X)\sigma(X)=\sqrt{Var(X)}
可利用求导、二项式公式、泰勒展开、分部积分
二项分布 B(n,p)B(n,p)B(n,p)
期望 npnpnp, 方差np(1−p)np(1−p)np(1-p)
泊松分布P(λ)P(λ) P(\lambda)
期望 λλ\lambda, 方差 λλ\lambda
几何分布
期望p^{-1}

均与分布 U(a,b)U(a,b)U(a, b)
期望 a+b2a+b2\frac{a+b}{2}, 方差(b−a)212(b−a)212\frac{(b-a)^2}{12}
指数分布 Exp(λ)Exp(λ)Exp(\lambda)
p(x)=λe−λx,x≥0p(x)=λe−λx,x≥0p(x)=\lambda e^{-\lambda x}, x\geq0
期望1λ1λ\frac{1}{\lambda}, 方差1λ21λ2\frac{1}{\lambda^2}
正态分布N(μ,σ)N(μ,σ)N(\mu, \sigma)
p(x)=12π√σe−(x−μ)22σ2,−∞<x<+∞p(x)=12πσe−(x−μ)22σ2,−∞<x<+∞p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty，其中−∞<μ<+∞−∞<μ<+∞-\infty决定位置, σ>0σ>0\sigma>0决定散布大小。
(从正态分布可以导出一些有用的分布，如统计中常用的三大分布 χ2χ2\chi^2，ttt， F" role="presentation" style="position: relative;">FFF)
期望μμ\mu
方差σ2σ2\sigma^2
伽马分布Ga(a,λ)Ga(a,λ)Ga(a, \lambda)
期望aλaλ\dfrac{a}{\lambda}, 方差aλ2aλ2\dfrac{a}{\lambda^2}
χ2χ2\chi^2分布
期望nnn, 方差2n" role="presentation" style="position: relative;">2n2n2n
贝塔分布Be(a,b)Be(a,b)Be(a, b)
期望aa+baa+b\dfrac{a}{a+b}

切比雪夫不等式
P(|X−E(X)≥ϵ|≤Var(X)ϵ)P(|X−E(X)≥ϵ|≤Var(X)ϵ)P(|X-E(X)\geq\epsilon|\leq\dfrac{Var(X)}{\epsilon})

矩
变导系数Cv=Var(X)−−−−−−√EXCv=Var(X)EXC_{v}=\dfrac{\sqrt{Var(X)}}{EX}
分位数F(xα)=∫xα−∞p(x)dx=P(X≤α)=αF(xα)=∫−∞xαp(x)dx=P(X≤α)=αF(x_{\alpha})=\int_{-\infty}^{x_{\alpha}}p(x)dx=P(X\le \alpha)=\alpha,xαxαx_{\alpha}称为XXX分布的α" role="presentation" style="position: relative;">αα\alpha分位数，或αα\alpha下侧分位数。
众数Mod(X)Mod(X)Mod(X), P(X=x)P(X=x)P(X=x)达到最大的xxx

第三章多维随机变量

二维正态分布N(μ1,μ2,σ12,σ12,ρ)" role="presentation" style="position: relative;">N(μ1,μ2,σ21,σ21,ρ)N(μ1,μ2,σ12,σ12,ρ)N(\mu_1, \mu_2, \sigma^2_1, \sigma^2_1, \rho)
的边缘分布是一维正态分布N(μ1,σ21)N(μ1,σ12)N(\mu_1, \sigma^2_1), N(μ2,σ22)N(μ2,σ22)N(\mu_2, \sigma^2_2)
由此也可以看出二维联合分布可以唯一决定其每个分量的的边缘分布，但是反过来不成立。

泊松分布，二项分布、正态分布、伽马分布可加性：（独立）
X∼P(λ1),Y∼P(λ1)X∼P(λ1),Y∼P(λ1)X\sim P(\lambda_1), Y\sim P(\lambda_1)，XXX与Y" role="presentation" style="position: relative;">YYY独立，则X+Y∼P(λ1+λ2)X+Y∼P(λ1+λ2)X+Y\sim P(\lambda_1+\lambda_2)
X∼B(n,p),Y∼B(m,p)X∼B(n,p),Y∼B(m,p)X\sim B(n, p), Y\sim B(m, p)，XXX与Y" role="presentation" style="position: relative;">YYY独立，则X+Y∼B(n+m,p)X+Y∼B(n+m,p)X+Y\sim B(n+m, p)
X∼N(μ1,σ21),Y∼N(μ2,σ22)X∼N(μ1,σ12),Y∼N(μ2,σ22)X\sim N(\mu_1, \sigma^2_1), Y\sim N(\mu_2, \sigma^2_2)，XXX与Y" role="presentation" style="position: relative;">YYY独立，则X+Y∼N(μ1+μ2,σ21+σ21)X+Y∼N(μ1+μ2,σ12+σ12)X+Y\sim N(\mu_1+\mu_2, \sigma^2_1+\sigma^2_1)
X∼Γ(a1,λ),Y∼Γ(a2,λ)X∼Γ(a1,λ),Y∼Γ(a2,λ)X\sim \Gamma(a_1, \lambda), Y\sim \Gamma(a_2, \lambda)，XXX与Y" role="presentation" style="position: relative;">YYY独立，则X+Y∼Γ(a1+a2,λ)X+Y∼Γ(a1+a2,λ)X+Y\sim \Gamma(a_1+a_2, \lambda)

E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)
XXX与Y" role="presentation" style="position: relative;">YYY独立，则E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)
XXX与Y" role="presentation" style="position: relative;">YYY独立，则Var(X±Y)=Var(X)+Var(Y)Var(X±Y)=Var(X)+Var(Y)Var(X\pm Y)=Var(X)+Var(Y)

协方差Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)Cov(X, Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)
XXX与Y" role="presentation" style="position: relative;">YYY独立，则Cov(X,Y)=0Cov(X,Y)=0Cov(X, Y)=0.
Var(X±Y)=Var(X)+Var(Y)±2Cov(X,Y)Var(X±Y)=Var(X)+Var(Y)±2Cov(X,Y)Var(X\pm Y)=Var(X)+Var(Y)\pm2Cov(X, Y)

条件期望E(E(X|Y))=E(X)E(E(X|Y))=E(X)E(E(X|Y))=E(X)

中心极限定理（n个相互独立、同分布的随机变量之和的分布近似于正态分布）
{Xn}{Xn}\{X_n\}是独立同分布的随机变量序列，其中E(X1)=μ,Var(X1)=σ2E(X1)=μ,Var(X1)=σ2E(X_1)=\mu, Var(X_1)=\sigma^2，假如方差有限且不为零0，则前nnn个随机变量之和的标准化变量Yn=X1+...+Xn−nμnσ" role="presentation" style="position: relative;">Yn=X1+...+Xn−nμn−−√σYn=X1+...+Xn−nμnσY_n=\dfrac{X_1+...+X_n-n\mu}{\sqrt{n}\sigma}的分布函数收敛于Φ(y)Φ(y)\Phi(y), 即
limn→+∞P(Yn≤y)=Φ(y)limn→+∞P(Yn≤y)=Φ(y)\lim\limits_{n\to+\infty}P(Y_n\le y)=\Phi(y)

因此np≥5,n(1−p)≥5np≥5,n(1−p)≥5np\geq5, n(1-p)\geq5时可用正态分布近似二项分布。使用正态近似应修正区间为往左右放大dfrac12dfrac12dfrac{1}{2}

独立不同分布的随机变量之和也有类似的中心极限定理。

统计量及其分布

从这里开始，我们通过对随机现象的观测或试验来获取数据，通过对数据的分析与推断去寻求隐藏在数据中的统计规律性。

eg：通过样本去推断总体。由于在实际中常常只能得到有限的甚至少量的数据，这部分数据必然带有随机性，我们需要从中尽可能地排出随机性的干扰以做出合理的推断。

常用的抽取样本的方法是“简单随机抽样”，样本具有代表性（同分布），独立性。

经验分布函数，n增大经验分布函数也将在概率移一下越来越靠近总体分布函数。

X=(X1,X2,...,Xn)X=(X1,X2,...,Xn)X=(X_1, X_2, ... , X_n)是取自某总体的一个容量为nnn的样本，如果
T=T(X)=T(X1,X2,...,Xn)" role="presentation" style="position: relative;">T=T(X)=T(X1,X2,...,Xn)T=T(X)=T(X1,X2,...,Xn)T=T(X)=T(X_1, X_2, ... , X_n)不含任何未知参数，则称TTT为统计量。统计量的分布称为抽样分布。

样本均值X¯=1n∑i=1nXi" role="presentation" style="position: relative;">X¯=1n∑i=1nXiX¯=1n∑i=1nXi\bar{X}=\dfrac{1}{n}\sum\limits_{i=1}^{n}X_i
样本方差S2n=1n∑i=1n(Xi−X¯)2Sn2=1n∑i=1n(Xi−X¯)2S_{n}^2=\dfrac{1}{n}\sum\limits_{i=1}^{n}(X_i-\bar{X})^2
nnn不大时，常用S2=1n−1∑i=1n(Xi−X¯)2" role="presentation" style="position: relative;">S2=1n−1∑i=1n(Xi−X¯)2S2=1n−1∑i=1n(Xi−X¯)2S^2=\dfrac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar{X})^2

计算偏差平方和Q=∑i=1n(xi−x¯)2Q=∑i=1n(xi−x¯)2Q=\sum\limits_{i=1}^{n}(x_i-\bar{x})^2的常用公式:
Q=∑i=1n(xi−x¯)2=∑i=1nx2i−2∑i=1nxi⋅x¯+∑i=1nx¯2=∑i=1nx2i−nx¯2=∑i=1nx2i−1n(∑i=1nxi)2Q=∑i=1n(xi−x¯)2=∑i=1nxi2−2∑i=1nxi⋅x¯+∑i=1nx¯2=∑i=1nxi2−nx¯2=∑i=1nxi2−1n(∑i=1nxi)2Q=\sum\limits_{i=1}^{n}(x_i-\bar{x})^2=\sum\limits_{i=1}^{n}x_i^2-2\sum\limits_{i=1}^{n}x_i\cdot\bar{x}+\sum\limits_{i=1}^{n}\bar{x}^2=\sum\limits_{i=1}^{n}x_i^2-n\bar{x}^2=\sum\limits_{i=1}^{n}x_i^2-\dfrac{1}{n}(\sum\limits_{i=1}^{n}x_i)^2

X1,X2,...,XnX1,X2,...,XnX_1, X_2, ... , X_n是来自总体N(μ,σ2)N(μ,σ2)N(\mu, \sigma^2)的一个样本，则
n−1σ2S2=nσ2S2n=1σ2∑i=1n(Xi−X¯)2∼χ2(n−1)n−1σ2S2=nσ2Sn2=1σ2∑i=1n(Xi−X¯)2∼χ2(n−1)\dfrac{n-1}{\sigma^2}S^2=\dfrac{n}{\sigma^2}S_{n}^2=\dfrac{1}{\sigma^2}\sum\limits_{i=1}^{n}(X_i-\bar{X})^2\sim \chi^2(n-1)且与X¯X¯\bar{X}独立

偏度反映了总体分布密度曲线的对称信息。是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。偏度(Skewness)亦称偏态、偏态系数。SK>0SK>0SK>0右偏，正偏，右长尾，也就是说均值右边的数据较多。

峰度（Kurtosis）与偏度类似，反映了总体分布密度曲线的在其峰值附近的陡峭程度的信息。是描述总体中所有取值分布形态陡缓程度的统计量。这个统计量需要与正态分布相比较，峰度为0表示该总体数据分布与正态分布的陡缓程度相同；峰度大于0表示该总体数据分布与正态分布相比较为陡峭，为尖顶峰；峰度小于0表示该总体数据分布与正态分布相比较为平坦，为平顶峰。峰度的绝对值数值越大表示其分布形态的陡缓程度与正态分布的差异程度越大。

总体偏度SK=μ3σ3SK=μ3σ3SK=\dfrac{\mu_3}{\sigma^3}即为标准化变量的三阶矩。
总体峰度μ4σ4−3μ4σ4−3\dfrac{\mu_4}{\sigma^4}-3

其中μ3,μ4μ3,μ4\mu_3, \mu_4皆为中心距。

次序统计量的抽样分布
第kkk个次序统计量X(k)" role="presentation" style="position: relative;">X(k)X(k)X_{(k)}的概率密度函数是：
pk(x)=n!(k−1)!(n−k)![F(x)]k−1[1−F(x)]n−kp(x)pk(x)=n!(k−1)!(n−k)![F(x)]k−1[1−F(x)]n−kp(x)p_{k}(x)=\dfrac{n!}{(k-1)!(n-k)!}[F(x)]^{k-1}[1-F(x)]^{n-k}p(x)

样本极差表示样本取值范围的大小也反映了总体取值的分散和集中程度。
R=X(n)−X(1)R=X(n)−X(1)R=X_{(n)}-X_{(1)}

参数估计

形式有两种：点估计和区间估计

点估计值能给人们一个明确的数量，未知参数是多少，但是却不能给出精度。

点估计的常用方法有矩法估计和极大似然估计。

矩法估计用样本矩去估计总体矩

评价估计的好坏，无偏性（渐进五篇）、有效性（无偏时，方差最小）、均方误差准则（有偏时，均方误差最小）、相和性（p收敛，n越大θ^θ^\hat{\theta}应该越来越接近θθ\theta）

辛钦大数定律独立同分布的随机变量，具有有限数学希望，则样本均值是数学期望的相和估计。

极大似然估计（MLE，总体分布类型已知时
）
在θθ\theta的一切取值之中选出一个使样本观测值出现的概率为最大的θθ\theta值（记为）作θ^θ^\hat{\theta}为θθ\theta的估计，并称θ^θ^\hat{\theta}为θθ\theta的极大似然估计.
L(θ)=∏i=1np(xi;θ)L(θ)=∏i=1np(xi;θ)L(\theta)=\prod\limits_{i=1}{n}p(x_i; \theta),
则L(θ^)=maxL(θ)L(θ^)=maxL(θ)L(\hat{\theta})=\max L(\theta)
可通过求导获得极大似然估计的情况，直接求导（为求导方便，常对似然函数取对数）。不可时，通过定义出发直接求L(θ)L(θ)L(\theta)的极大值点。

极大似然估计的不变原则，θ^θ^\hat{\theta}为θθ\theta的极大似然估计， g(θ)g(θ)g(\theta)是θθ\theta的连续函数，则
g(θ^)g(θ^)g(\hat{\theta})为g(θ)g(θ)g(\theta)的极大似然估计.

极大似然估计具有渐进正态性。

区间估计给出一个区间以及相应的精度。
P(θL≤θ≤θU)≥1−αP(θL≤θ≤θU)≥1−αP(\theta_{L}\le \theta\le\theta_{U})\ge 1-\alpha, 则称随机区间[θL,θU][θL,θU][\theta_{L}, \theta_{U}]是θθ\theta的置信水平为1−α1−α1-\alpha的置信区间
常用方法枢轴量法（点估计θ^θ^\hat{\theta}通过点估计去寻找）
从θθ\theta的一个点估计θ^θ^\hat{\theta}出发，构造θ^θ^\hat{\theta}与θθ\theta的一个函数G(θ^,θ)G(θ^,θ)G(\hat{\theta},\theta),是的GGG的分布已知且与θ" role="presentation" style="position: relative;">θθ\theta无关
eg:
正态分布N(μ,σ2)N(μ,σ2)N(\mu, \sigma^2)

1）正态均值
方差σ2σ2\sigma^2已知，样本数nnn已知, 将X¯−μσ/n" role="presentation" style="position: relative;">X¯−μσ/n−−√X¯−μσ/n\dfrac{\bar{X}-\mu}{\sigma/\sqrt{n}}作为枢轴量给出均值μμ\mu得到置信区间

2）正态均值
方差σ2σ2\sigma^2未知，样本数nnn已知,
将X¯−μS/n" role="presentation" style="position: relative;">X¯−μS/n−−√X¯−μS/n\dfrac{\bar{X}-\mu}{S/\sqrt{n}}(t(n−1))作为枢轴量给出均值t(n−1))作为枢轴量给出均值t(n-1))作为枢轴量给出均值\mu$得到置信区间。

ttt分布t(n)X∼N(0,1)" role="presentation" style="position: relative;">t(n)X∼N(0,1)t(n)X∼N(0,1)t(n) X\sim N(0, 1), Y∼χ2(n)Y∼χ2(n)Y\sim \chi^2(n)，且XXX与Y" role="presentation" style="position: relative;">YYY独立，则t=XY/n−−−−√t=XY/nt=\dfrac{X}{\sqrt{Y/n}}的分布称为自由度为nnn的t" role="presentation" style="position: relative;">ttt分布

3)正态方差
均值μμ\mu未知，样本数nnn已知,
将(n−1)S2σ2" role="presentation" style="position: relative;">(n−1)S2σ2(n−1)S2σ2\dfrac{(n-1)S^2}{\sigma^2}(χ2(n−1)χ2(n−1)\chi^2(n-1))作为轴量给出方差σ2σ2\sigma^2得到置信区间。

4)两正态均值差
同正态均值的思路

5）两正态方差比

FFF分布F(n,m)" role="presentation" style="position: relative;">F(n,m)F(n,m)F(n, m)
X∼χ2(n)X∼χ2(n)X\sim \chi^2(n), Y∼χ2(m)Y∼χ2(m)Y\sim \chi^2(m),且XXX与Y" role="presentation" style="position: relative;">YYY独立，则F=X/nY/mF=X/nY/mF=\dfrac{X/n}{Y/m}的分布称为自由度是nnn与m" role="presentation" style="position: relative;">mmm的FFF分布

假设检验

步骤
1）建立假设，原假设与备择假设
常把没有把握不能轻易肯定的命题作为备择假设，把没有充分理由不能轻易否定的命题作为原假设，只有理由充足时才会拒绝它，否则保留。
2）寻找检验统计量（由于要确认原假设是否为真，那么我们先假定原假设成立，然后用样本去判断真伪，而样本信息较为分散，所以要构造一个统计量帮助判断）
3）显著水平与临界值
显著水平即为原假设为真但被拒绝的概率
两类错误：
第一类错误，原假设为真而被拒绝，拒真概率记为α" role="presentation" style="position: relative;">αα\alpha
第二类错误，原假设为假但保留，取伪概率记为ββ\beta
单双边看备择假设
样本容量固定时，两者一般一个大一个小，不能同时减小，所以抽取样本时，尽量使样本容量大一点，可减小两类错误。
4）作判断，拒绝或保留原假设

关于均值的检验
1）方差已知
X¯X¯\bar{X}作为检验统计量

2）方差未知
X¯−μ0S/n−−√X¯−μ0S/n\dfrac{\bar{X}-\mu_0}{S/\sqrt{n}}作为检验统计量

关于方差的检验
(n−1)S2σ20(n−1)S2σ02\dfrac{(n-1)S^2}{\sigma^2_0}作为检验统计量

两正态总体方差
S2XS2YSX2SY2\dfrac{S_{X}^2}{S_{Y}^2}作为检验统计量

两正态总体均值差
同正态均值的思路

p值

前面所讨论的检验问题是在分布形式已知的前提下对分布的参数进行的，他们都属于参数假设检验问题，当我们对总体分布知之甚少时，就要采用非参数检验。

χ2χ2\chi^2拟合优度检验
用来检验一批分类数据所来自的总体的分布是否与某种理论分布相一致。

1)总体可分为有限类，但总体分布不含未知参数。（此时pipip_i已知）
总体XXX可分为r" role="presentation" style="position: relative;">rrr类，记为A1,...ArA1,...ArA_1, ...A_r。
H0:p(Ai)=pi,i=1,...rH0:p(Ai)=pi,i=1,...rH_0: p(A_i)=p_i, i=1, ...r
nnn充分大且H0" role="presentation" style="position: relative;">H0H0H_0为真时,χ2=∑i=1r(ni−npi)2npiχ2=∑i=1r(ni−npi)2npi\chi^2=\sum\limits_{i=1}^{r}\dfrac{(n_i-np_i)^2}{np_i}近似服从自由度为r−1r−1r-1的χ2χ2\chi^2分布

2)总体可分为有限类，但总体分布含kkk个未知参数。（此时pi" role="presentation" style="position: relative;">pipip_i未知，可用极大似然估计去代替，相应的自由度减kkk）

3)总体为连续分布的情况
H0:X" role="presentation" style="position: relative;">H0:XH0:XH_0: X服从分布F(x)F(x)F(x)
把检验问题转化为分类数据的检验问题

列联表的独立性检验
H0:pi,j=pi,.p.,j∀i,jH0:pi,j=pi,.p.,j∀i,jH_0: p_{i, j}=p_{i, .}p_{., j}\forall i, j
χ2=∑ri=1∑cj=1(nij−npi,j)2npi,j=∑ri=1∑cj=1(nij−npi,.p.,j)2npi,.p.,jχ2=∑i=1r∑j=1c(nij−npi,j)2npi,j=∑i=1r∑j=1c(nij−npi,.p.,j)2npi,.p.,j\chi^2=\sum_{i=1}^{r}\sum_{j=1}^{c}\dfrac{(n_{ij}-np_{i,j})^2}{np_{i,j}}=\sum_{i=1}^{r}\sum_{j=1}^{c}\dfrac{(n_{ij}-np_{i, .}p_{., j})^2}{np_{i, .}p_{., j}}
pi,.p.,jpi,.p.,jp_{i, .}p_{., j}使用极大似然估计去替换
p^i,.=ni,.np^i,.=ni,.n\hat{p}_{i, .}=\dfrac{n_{i, .}}{n}
p^.j=n.,jnp^.j=n.,jn\hat{p}_{. j}=\dfrac{n_{., j}}{n}
即采用检验统计量
χ2=∑ri=1∑cj=1(nij−np^i,.p^.j)2np^i,.p^.jχ2=∑i=1r∑j=1c(nij−np^i,.p^.j)2np^i,.p^.j\chi^2=\sum_{i=1}^{r}\sum_{j=1}^{c}\dfrac{(n_{ij}-n\hat{p}_{i, .}\hat{p}_{. j})^2}{n\hat{p}_{i, .}\hat{p}_{. j}}自由度为n−(r+c−2)=(r−1)(c−1)n−(r+c−2)=(r−1)(c−1)n-(r+c-2)=(r-1)(c-1)

方差分析

单因子方差分析
因子–变量，水平–变量的不同过取值

设因子AAA有r" role="presentation" style="position: relative;">rrr个水平A1,..,ArA1,..,ArA_1,.., A_r，每一水平下都可以看成一个总体，现有rrr个水平，故有r" role="presentation" style="position: relative;">rrr个总体，假定
1）每一总体服从正态分布
2）每一总体方差相同
3）从每一总体中抽出的样本独立
比较哥哥总体的均值是否一致
H0:μ1=...=μrH0:μ1=...=μrH_0: \mu_1=...=\mu_r
H0H0H_0为真时，称该因子的各水平间无显著差异，简称该因子不显著。

方差分析检验具有相同方差的正态总体均值是否相等
aiaia_i称为因子AAA的第i" role="presentation" style="position: relative;">iii水平的主效应,原假设可改写为
H0:a1=...=ar=0H0:a1=...=ar=0H_0: a_1=...=a_r=0

总偏差平方和
ST=∑i=1r∑j=1mi(yi,j−y¯)2ST=∑i=1r∑j=1mi(yi,j−y¯)2S_T=\sum\limits_{i=1}^{r}\sum\limits_{j=1}^{m_i}(y_{i, j}-\bar{y})^2
由于假设原假设为真，所以除去一个常数项(方差)后服从自由度为n−1n−1n-1的χ2χ2\chi^2分布

组内偏差平方和(误差偏差平方和)
Sϵ=∑i=1r∑j=1mi(yi,j−yi,.¯)2Sϵ=∑i=1r∑j=1mi(yi,j−yi,.¯)2S_{\epsilon}=\sum\limits_{i=1}^{r}\sum\limits_{j=1}^{m_i}(y_{i, j}-\bar{y_{i, .}})^2
除去一个常数项(方差)后服从自由度为n−rn−rn-r的χ2χ2\chi^2分布

因子AAA 的偏差平方和
SA=∑i=1r∑j=1mi(yi,.¯−y¯)2=∑i=1rmi(yi,.¯−y¯)2" role="presentation" style="position: relative;">SA=∑i=1r∑j=1mi(yi,.¯−y¯)2=∑i=1rmi(yi,.¯−y¯)2SA=∑i=1r∑j=1mi(yi,.¯−y¯)2=∑i=1rmi(yi,.¯−y¯)2S_{A}=\sum\limits_{i=1}^{r}\sum\limits_{j=1}^{m_i}(\bar{y_{i, .}}-\bar{y})^2=\sum\limits_{i=1}^{r}m_i(\bar{y_{i, .}}-\bar{y})^2

ST=Sϵ+SAST=Sϵ+SAS_T=S_{\epsilon}+S_{A}
由于假设原假设为真，所以SASAS_{A}除去一个常数项(方差)后服从自由度为r−1r−1r-1的χ2χ2\chi^2分布

采用检验统计量F=SA/(r−1)Sϵ/(n−r)F=SA/(r−1)Sϵ/(n−r)F=\dfrac{S_{A}/(r-1)}{S_{\epsilon}/(n-r)}

多重比较
当因子显著时，如何进一步去确认哪些水平减的确有差异，哪些水平间无显著差异。同时比较任意两个水平间有无显著差异的问题叫做多重比较。

一元线性回归

回归系数如何估计？
一个直观的想法是观测值与估计值的偏差越小越好，转化为求偏差平方和达到最小，即最小二成估计

回归方程是否有意义？
H0:β1=0H0:β1=0H_0: \beta_1=0
F检验，类似于方差分析，从偏差平方和分解入手。
F=SR/1SE/(n−2)F=SR/1SE/(n−2)F=\dfrac{S_R/1}{S_E/(n-2)}

t检验(β1^β1^\hat{\beta_1}服从正态分布)t=β1^σ^/lxx−−−√t=β1^σ^/lxxt=\dfrac{\hat{\beta_1}}{\hat{\sigma}/\sqrt{l_{xx}}}

剩余标准差
s=∑i(yi−yi^)2n−2−−−−−−−−−−⎷s=∑i(yi−yi^)2n−2s=\sqrt{\dfrac{\sum\limits_{i}(y_i-\hat{y_i})^2}{n-2}}越小越好

概率论与数理统计（茆诗松）复习相关推荐

平方的观测值表概率_茆诗松的概率论与数理统计（第六章）
本章干货十足: 开篇集中讨论"无偏.有效.相合.渐近正态"四大性质,整理它们的联系与差异: 不同方法解决EM例题,引入"双硬币模型"说明EM算法的应用场景和基本 ...
[DataAnalysis]数据分析基础-茆诗松数理统计
一.充分统计量总体分布函数为,统计量T称为θ的充分统计量,如果给定T的取值后,的条件分布与θ无关. 二.点估计 1.概念:是来自总体的一个样本,用于估计未知参数θ的统计量称为θ的估计量,或者称为θ的 ...
[DataAnalysis]数据分析基础-茆诗松概率论知识点汇总
一.切比雪夫不等式证明: 二.常用离散分布二项分布泊松分布 ps:二项分布的泊松近似超几何分布:N件产品中有M件不合格,从中随机抽n件,其中不合格件数X服从的分布几何分布:记事件A发生的概率 ...
试验设计茆诗松电子版_非标机械设计有哪些设计过程？
推荐阅读:机械设计工程师技术成长之路(连载9)外企机械工程师的二十年职业感悟机械设计工程师--设计能力从何而来?完整版<机械工程师生存现状解析>看懂机械设计流程,你也可以成为一名合格的机械 ...
茆诗松《贝叶斯统计》第二版勘误
1. 第11页,例1.3.1中,sigma0的定义应该是:sigma0^2=sigma^2/n,书中把n写成pi了 2. 第12页,1.3.4公式的第二部分,应该是:1/tao1^2 = 1/ sig ...
20应用统计考研复试要点(part38)--概率论与数理统计
学习笔记,仅供参考,有错必纠概率论与数理统计(茆诗松/陈希孺) 点估计矩估计就是利用样本矩来估计总体中相应的参数.首先推导涉及感兴趣的参数的总体矩的方程.然后取出一个样本并从这个样本估计总体矩. ...
20应用统计考研复试要点(part37)--概率论与数理统计
学习笔记,仅供参考,有错必纠概率论与数理统计(茆诗松/陈希孺) 总体与个体在一个统计问题中,我们把研究对象的全体称为总体,构成总体的每个成员称为个体. 样本和样品为了了解总体的分布,我们从总体中 ...
20应用统计考研复试要点(part36)--概率论与数理统计
学习笔记,仅供参考,有错必纠概率论与数理统计(茆诗松/陈希孺) 伯努利大数定理设 S n S_n Sn
[概统]本科二年级概率论与数理统计第一讲古典概型
[概统]本科二年级概率论与数理统计第一讲古典概型古典概型排列组合复习组合恒等式的例题古典概型的例题事件概率的性质条件概率与独立性全概率公式与贝叶斯公式事件概率的例题打算这两年写 ...

概率论与数理统计（茆诗松）复习

第一章随机事件及其概率

第二章随机变量及其概率分布

第三章多维随机变量

统计量及其分布

参数估计

假设检验

方差分析

概率论与数理统计（茆诗松）复习相关推荐

最新文章

热门文章

概率论与数理统计（茆诗松）复习

第一章 随机事件及其概率

第二章 随机变量及其概率分布

第三章 多维随机变量

统计量及其分布

参数估计

假设检验

方差分析

概率论与数理统计（茆诗松）复习相关推荐

最新文章

热门文章

第一章随机事件及其概率

第二章随机变量及其概率分布

第三章多维随机变量