UA MATH571A 一元线性回归II 统计推断1
UA MATH571A 一元线性回归II 统计推断1
- β1\beta_1β1的假设检验与置信区间
- Gauss-Markov定理
- 检验的势
- 双边检验，单边检验与置信区间
- 置信区间
- 双边检验
- 单边检验
在上一篇的例子中，我们讨论到仅使用系数的估计值无法进行稳健的推断。因为系数的估计量服从某个随机分布，给定样本下系数的估计值只是这个随机分布的一个实现，据此无法窥测到系数估计量的整体分布情况。所以本篇从系数估计量的分布出发，试图得出一些稳健的统计推断。
在一元线性回归模型 Yi=β0+β1Xi+ϵiY_i = \beta_0 + \beta_1 X_i + \epsilon_iYi=β0+β1Xi+ϵi 中，回归系数β1\beta_1β1与β0\beta_0β0的估计量为
β^1=∑i=1N(Xi−Xˉ)(Yi−Yˉ)∑i=1N(Xi−Xˉ)2β^0=Yˉ−β^1Xˉ\hat{\beta}_1= \frac{\sum_{i=1}^{N} (X_i -\bar{X}) (Y_i - \bar{Y})}{\sum_{i=1}^{N} (X_i - \bar{X})^2} \\ \hat{\beta}_0 = \bar{Y} - \hat{\beta}_1\bar{X} β^1=∑i=1N(Xi−Xˉ)2∑i=1N(Xi−Xˉ)(Yi−Yˉ)β^0=Yˉ−β^1Xˉ
注意到
∑i=1N(Xi−Xˉ)(Yi−Yˉ)=∑i=1N(Xi−Xˉ)Yi−Yˉ∑i=1N(Xi−Xˉ)=∑i=1N(Xi−Xˉ)Yi\sum_{i=1}^{N} (X_i -\bar{X}) (Y_i - \bar{Y}) = \sum_{i=1}^{N} (X_i -\bar{X}) Y_i -\bar{Y} \sum_{i=1}^{N} (X_i -\bar{X}) = \sum_{i=1}^{N} (X_i -\bar{X}) Y_i i=1∑N(Xi−Xˉ)(Yi−Yˉ)=i=1∑N(Xi−Xˉ)Yi−Yˉi=1∑N(Xi−Xˉ)=i=1∑N(Xi−Xˉ)Yi
因此定义
ki=(Xi−Xˉ)∑i=1N(Xi−Xˉ)2k_i = \frac{(X_i -\bar{X}) }{\sum_{i=1}^{N} (X_i - \bar{X})^2} ki=∑i=1N(Xi−Xˉ)2(Xi−Xˉ)
β1\beta_1β1可以写成YiY_iYi的线性组合
β^1=∑i=1N(Xi−Xˉ)Yi∑i=1N(Xi−Xˉ)2=∑i=1NkiYi\hat{\beta}_1=\sum_{i=1}^{N} \frac{(X_i -\bar{X}) Y_i }{\sum_{i=1}^{N} (X_i - \bar{X})^2} = \sum_{i=1}^{N} k_i Y_i β^1=i=1∑N∑i=1N(Xi−Xˉ)2(Xi−Xˉ)Yi=i=1∑NkiYi
同样地，β0\beta_0β0 也可以写成YiY_iYi的线性组合
β^0=Yˉ−β^1Xˉ=∑i=1N(1N−kiXˉ)Yi\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1\bar{X} = \sum_{i=1}^{N} (\frac{1}{N} - k_i \bar{X}) Y_i β^0=Yˉ−β^1Xˉ=i=1∑N(N1−kiXˉ)Yi
β1\beta_1β1的假设检验与置信区间
从β1\beta_1β1关于YiY_iYi的线性组合出发，
β^1=∑i=1NkiYi=β0∑i=1Nki+β1∑i=1NkiXi+∑i=1Nkiϵi\hat{\beta}_1= \sum_{i=1}^{N} k_i Y_i = \beta_0 \sum_{i=1}^{N} k_i + \beta_1 \sum_{i=1}^{N} k_i X_i + \sum_{i=1}^{N} k_i \epsilon_i β^1=i=1∑NkiYi=β0i=1∑Nki+β1i=1∑NkiXi+i=1∑Nkiϵi
其中
∑i=1Nki=∑i=1N(Xi−Xˉ)∑i=1N(Xi−Xˉ)2=(NXˉ−NXˉ)∑i=1N(Xi−Xˉ)2=0\sum_{i=1}^{N} k_i = \sum_{i=1}^{N} \frac{(X_i -\bar{X}) }{\sum_{i=1}^{N} (X_i - \bar{X})^2} = \frac{(N\bar{X}-N\bar{X}) }{\sum_{i=1}^{N} (X_i - \bar{X})^2} =0 i=1∑Nki=i=1∑N∑i=1N(Xi−Xˉ)2(Xi−Xˉ)=∑i=1N(Xi−Xˉ)2(NXˉ−NXˉ)=0
∑i=1NkiXi=∑i=1N(Xi−Xˉ)Xi∑i=1N(Xi−Xˉ)2=∑i=1N(Xi−Xˉ)(Xi−Xˉ)∑i=1N(Xi−Xˉ)2=1\sum_{i=1}^{N} k_i X_i= \sum_{i=1}^{N} \frac{(X_i -\bar{X})X_i }{\sum_{i=1}^{N} (X_i - \bar{X})^2} = \frac{ \sum_{i=1}^{N} (X_i -\bar{X})(X_i -\bar{X}) }{\sum_{i=1}^{N} (X_i - \bar{X})^2} =1 i=1∑NkiXi=i=1∑N∑i=1N(Xi−Xˉ)2(Xi−Xˉ)Xi=∑i=1N(Xi−Xˉ)2∑i=1N(Xi−Xˉ)(Xi−Xˉ)=1
因此
β^1=β1+∑i=1Nkiϵi∼N(β1,∑i=1Nki2σ2)\hat{\beta}_1= \beta_1 + \sum_{i=1}^{N} k_i \epsilon_i \sim N(\beta_1, \sum_{i=1}^{N} k_i^2 \sigma^2 ) β^1=β1+i=1∑Nkiϵi∼N(β1,i=1∑Nki2σ2)
从β^1\hat{\beta}_1β^1的分布中可以发现：1）用最小二乘法与最大似然估计得到的β1\beta_1β1的估计量都是无偏的；2）估计量服从正态分布。
上一篇我们给出了σ2\sigma^2σ2的无偏估计为MSEMSEMSE，此处给出简单论证。
(N−2)MSEσ2=∑i=1N(Yi−Y^iσ)2∼χ2(N−2)\frac{(N-2)MSE}{\sigma^2} = \sum_{i=1}^N (\frac{Y_i-\hat{Y}_i}{\sigma})^2 \sim \chi^2 (N-2) σ2(N−2)MSE=i=1∑N(σYi−Y^i)2∼χ2(N−2)
简单解释一下，由于Yi−Y^iσ\frac{Y_i-\hat{Y}_i}{\sigma}σYi−Y^i 服从标准正态分布，但Y^i\hat{Y}_iY^i使用了两个系数的估计量，所以有两个自由度损失，因此总自由度为N−2N-2N−2，而标准正态分布平方为卡方分布。
E(MSE)=σ2⟺E((N−2)MSEσ2)=N−2E(MSE) = \sigma^2 \Longleftrightarrow E(\frac{(N-2)MSE}{\sigma^2}) = N-2 E(MSE)=σ2⟺E(σ2(N−2)MSE)=N−2
因此β1\beta_1β1的标准差的无偏估计为
se(β1^)=σ^{β^1}=MSE∑i=1Nki2se(\hat{\beta_1})=\hat{\sigma} \{\hat{\beta}_1\} = \sqrt{MSE\sum_{i=1}^{N} k_i^2 } se(β1^)=σ^{β^1}=MSEi=1∑Nki2
其中
∑i=1Nki2=∑i=1N(Xi−Xˉ)2[∑i=1N(Xi−Xˉ)2]2=1∑i=1N(Xi−Xˉ)2\sum_{i=1}^{N} k_i^2 = \frac{\sum_{i=1}^{N} (X_i-\bar{X})^2}{[\sum_{i=1}^{N} (X_i-\bar{X})^2]^2} = \frac{1}{\sum_{i=1}^{N} (X_i-\bar{X})^2} i=1∑Nki2=[∑i=1N(Xi−Xˉ)2]2∑i=1N(Xi−Xˉ)2=∑i=1N(Xi−Xˉ)21
从而可以构造t分布
t=β^1−β1se(β1^)=β^1−β1MSE∑i=1N(Xi−Xˉ)2∼t(N−2)t = \frac{\hat{\beta}_1 - \beta_1}{se(\hat{\beta_1})} = \frac{\hat{\beta}_1 - \beta_1}{\sqrt{\frac{MSE}{\sum_{i=1}^{N} (X_i-\bar{X})^2}}} \sim t(N-2) t=se(β1^)β^1−β1=∑i=1N(Xi−Xˉ)2MSEβ^1−β1∼t(N−2)
Gauss-Markov定理
回归系数的最小二乘估计是最优线性无偏估计（Best Linear Unbiased Estimate， BLUE）。这表示最小二乘估计在所有线性无偏估计中方差最小。假设某估计量
β~1=∑i=1NciYi\tilde{\beta}_1 = \sum_{i=1}^{N} c_i Y_i β~1=i=1∑NciYi
是无偏估计，则
E(β~1)=∑i=1NciE(Yi)=β0∑i=1Nci+β1∑i=1NciXi=β1E(\tilde{\beta}_1) = \sum_{i=1}^{N} c_i E(Y_i) = \beta_0 \sum_{i=1}^{N} c_i + \beta_1 \sum_{i=1}^{N} c_i X_i = \beta_1 E(β~1)=i=1∑NciE(Yi)=β0i=1∑Nci+β1i=1∑NciXi=β1
从而
∑i=1Nci=0∑i=1NciXi=1\sum_{i=1}^{N} c_i = 0 \\ \sum_{i=1}^{N} c_i X_i = 1 i=1∑Nci=0i=1∑NciXi=1
不妨假设ci=ki+dic_i = k_i + d_ici=ki+di，
Var(β~1)=σ2∑i=1Nci2=σ2∑i=1N(ki+di)2=σ2∑i=1N(ki2+di2+2kidi)Var(\tilde{\beta}_1) = \sigma^2 \sum_{i=1}^{N} c_i^2 = \sigma^2 \sum_{i=1}^{N} (k_i+d_i)^2 = \sigma^2 \sum_{i=1}^{N} (k_i^2 + d_i^2 + 2k_i d_i) Var(β~1)=σ2i=1∑Nci2=σ2i=1∑N(ki+di)2=σ2i=1∑N(ki2+di2+2kidi)
其中交叉项为零
∑i=1Nkidi=∑i=1Nki(ci−ki)=∑i=1Nci(Xi−Xˉ)−1∑i=1N(Xi−Xˉ)2=(∑i=1NciXi−Xˉ∑i=1Nci)−1∑i=1N(Xi−Xˉ)2=0\sum_{i=1}^{N} k_i d_i = \sum_{i=1}^{N} k_i (c_i - k_i) = \frac{ \sum_{i=1}^{N}c_i (X_i - \bar{X}) - 1}{\sum_{i=1}^{N}(X_i-\bar{X})^2}= \frac{( \sum_{i=1}^{N}c_i X_i - \bar{X}\sum_{i=1}^{N}c_i ) - 1}{\sum_{i=1}^{N}(X_i-\bar{X})^2}=0 i=1∑Nkidi=i=1∑Nki(ci−ki)=∑i=1N(Xi−Xˉ)2∑i=1Nci(Xi−Xˉ)−1=∑i=1N(Xi−Xˉ)2(∑i=1NciXi−Xˉ∑i=1Nci)−1=0
所以方差可以简化为
Var(β~1)=σ2(∑i=1Nki2+∑i=1Ndi2)≥σ2∑i=1Nki2Var(\tilde{\beta}_1) = \sigma^2 (\sum_{i=1}^{N} k_i^2 +\sum_{i=1}^{N} d_i^2 ) \ge \sigma^2 \sum_{i=1}^{N} k_i^2 Var(β~1)=σ2(i=1∑Nki2+i=1∑Ndi2)≥σ2i=1∑Nki2
因此最小二乘估计是BLUE。
检验的势
如果我们想要检验β1\beta_1β1是否等于猜测值β10\beta_{10}β10，那么可以使用检验方差未知时正态分布均值的t检验方法。用假设检验的语言描述如下：
H0:β1=β10Ha:β1≠β10H_0: \beta_1 = \beta_{10} \\ H_a: \beta_1 \ne \beta_{10} H0:β1=β10Ha:β1=β10
其中原假设H0H_0H0为β1\beta_1β1等于猜测值β10\beta_{10}β10，备择假设HaH_aHa为β1\beta_1β1不等于猜测值β10\beta_{10}β10。显然原假设和备择假设包含了β1\beta_1β1所有可能的值，因此原假设与备择假设总是有且仅有一个成立。假设检验有两种可能的错误，弃真、取伪。弃真（第一类错误）指的是拒绝了应该是正确的原假设，取伪（第二类错误）指的是接受了应该是错误的原假设。弃真的概率用α\alphaα表示，取伪的概率用β\betaβ表示
α=P(rejectH0∣H0istrue)β=P(acceptH0∣H0isfalse)\alpha = P(reject\ H_0|H_0\ is\ true) \\ \beta = P(accept\ H_0|H_0\ is\ false) α=P(reject H0∣H0 is true)β=P(accept H0∣H0 is false)
检验的势（Power）的含义是当原假设错误时，能准确拒绝原假设的概率，被定义为
1−β=1−P(acceptH0∣H0isfalse)=P(rejectH0∣H0isfalse)1-\beta =1- P(accept\ H_0|H_0\ is\ false) = P(reject\ H_0|H_0\ is\ false) 1−β=1−P(accept H0∣H0 is false)=P(reject H0∣H0 is false)
我们希望犯这两类错误的概率都尽可能低，而在给定样本与统计模型时这两个概率总是此消彼长的。因为取伪的后果更加严重，因此在做假设检验时总是在控制α\alphaα的基础上让β\betaβ尽可能小，基于这种思想，假设检验其实是一个优化问题。
双边检验，单边检验与置信区间
置信区间
基于真实的系数构造的t分布为
t=β^1−β1se(β1^)=β^1−β1MSE∑i=1N(Xi−Xˉ)2∼t(N−2)t = \frac{\hat{\beta}_1 - \beta_1}{se(\hat{\beta_1})} = \frac{\hat{\beta}_1 - \beta_1}{\sqrt{\frac{MSE}{\sum_{i=1}^{N} (X_i-\bar{X})^2}}} \sim t(N-2) t=se(β1^)β^1−β1=∑i=1N(Xi−Xˉ)2MSEβ^1−β1∼t(N−2)
根据该分布可以给出下面的关系式，其中1−α1-\alpha1−α是置信水平
1−α=P(t(α2,N−2)<t<t(1−α2,N−2))1-\alpha = P(t(\frac{\alpha}{2},N-2)< t<t(1-\frac{\alpha}{2},N-2)) 1−α=P(t(2α,N−2)<t<t(1−2α,N−2))
从而
t(α2,N−2)<t<t(1−α2,N−2)t(α2,N−2)<β^1−β1se(β1^)<t(1−α2,N−2)β^1+se(β1^)t(α2,N−2)<β1<β^1+se(β1^)t(1−α2,N−2)β^1−se(β1^)t(1−α2,N−2)<β1<β^1+se(β1^)t(1−α2,N−2)t(\frac{\alpha}{2},N-2)< t<t(1-\frac{\alpha}{2},N-2) \\ t(\frac{\alpha}{2},N-2)< \frac{\hat{\beta}_1 - \beta_1}{se(\hat{\beta_1})} <t(1-\frac{\alpha}{2},N-2) \\ \hat{\beta}_1 +se(\hat{\beta_1})t(\frac{\alpha}{2},N-2)< \beta_1 < \hat{\beta}_1 +se(\hat{\beta_1})t(1-\frac{\alpha}{2},N-2) \\ \hat{\beta}_1-se(\hat{\beta_1})t(1-\frac{\alpha}{2},N-2)< \beta_1 < \hat{\beta}_1+se(\hat{\beta_1})t(1-\frac{\alpha}{2},N-2) t(2α,N−2)<t<t(1−2α,N−2)t(2α,N−2)<se(β1^)β^1−β1<t(1−2α,N−2)β^1+se(β1^)t(2α,N−2)<β1<β^1+se(β1^)t(1−2α,N−2)β^1−se(β1^)t(1−2α,N−2)<β1<β^1+se(β1^)t(1−2α,N−2)
上式给出了回归系数估计量的置信水平为1−α1-\alpha1−α的置信区间，如果根据根据样本计算得到的回归系数的估计值在置信区间之内，那么我们可以相信这个估计值是合理的，否则我们可以不认可系数的估计值。
双边检验
在一元线性回归中进行的如下检验是双边检验：
H0:β1=0Ha:β1≠0H_0: \beta_1 = 0 \\ H_a: \beta_1 \ne 0 H0:β1=0Ha:β1=0
原假设即我们认为不存在X对Y的效应，备择假设的含义是X对Y存在非零的效应。因为回归分析总是想要去验证某种效应是否存在，以及是正向还是负向的效应，而错误拒绝原假设的后果更小并且犯错的概率（α\alphaα）是被控制在某个之下的。所以假设检验是想看能否拒绝原假设，进而证明某种效应是存在的。在上面的叙述中，我们已经知道了估计量β^1\hat{\beta}_1β^1服从均值为β1\beta_1β1的正态分布，因此这个检验其实就是方差未知时对正态分布均值的检验。构造t统计量
t∗=β^1se(β1^)∼t(N−2)t^* = \frac{\hat{\beta}_1 }{se(\hat{\beta_1})} \sim t(N-2) t∗=se(β1^)β^1∼t(N−2)
t∗t^*t∗相当于在原假设下对t的一个猜测值，如果希望将弃真的概率控制为α\alphaα （检验水平），若
∣t∗∣≤t(1−α2,N−2)|t^*| \le t(1-\frac{\alpha}{2},N-2) ∣t∗∣≤t(1−2α,N−2)
接收原假设，若
∣t∗∣>t(1−α2,N−2)|t^*| > t(1-\frac{\alpha}{2},N-2) ∣t∗∣>t(1−2α,N−2)
拒绝原假设，接受备择假设。考虑
∣t∗∣≤t(1−α2,N−2)⟺−se(β1^)t(1−α2,N−2)<β^1<se(β1^)t(1−α2,N−2)|t^*| \le t(1-\frac{\alpha}{2},N-2) \Longleftrightarrow \\ -se(\hat{\beta_1})t(1-\frac{\alpha}{2},N-2)< \hat{\beta}_1 < se(\hat{\beta_1})t(1-\frac{\alpha}{2},N-2) ∣t∗∣≤t(1−2α,N−2)⟺−se(β1^)t(1−2α,N−2)<β^1<se(β1^)t(1−2α,N−2)
上式为原假设的接受域，显然检验水平与置信水平互补时，如果真实系数为0，接受域与置信区间完全一致。检验的p值为如下概率：
p=P(∣t∣>t∗)=2P(t>t∗)=2(1−P(t≤t∗))p=P(|t|>t^*)=2P(t>t^*) = 2(1-P(t \le t^*)) p=P(∣t∣>t∗)=2P(t>t∗)=2(1−P(t≤t∗))
所以
p≤α⟺∣t∗∣>t(1−α2,N−2)p \le \alpha \Longleftrightarrow |t^*| > t(1-\frac{\alpha}{2},N-2) p≤α⟺∣t∗∣>t(1−2α,N−2)
单边检验
在之前的数值例子中，我们想要检验的是年龄对女性肌肉量的效应是否为负，因此我们需要单边检验：
H0:β1≥0Ha:β1<0H_0: \beta_1 \ge 0 \\ H_a: \beta_1 < 0 H0:β1≥0Ha:β1<0
单边检验如双边检验仅在一些细节上有所不同。若
t∗≥−t(1−α,N−2)t^* \ge -t(1-\alpha,N-2) t∗≥−t(1−α,N−2)
接收原假设，若
t∗<−t(1−α,N−2)t^*< -t(1-\alpha,N-2) t∗<−t(1−α,N−2)
拒绝原假设，接受备择假设。此检验的p值为
p=P(t<−∣t∗∣)p=P(t<-|t^*|) p=P(t<−∣t∗∣)
如果检验的是系数是否为正，则.
H0:β1≤0Ha:β1>0H_0: \beta_1 \le 0 \\ H_a: \beta_1 > 0 H0:β1≤0Ha:β1>0
若
t∗≤t(1−α,N−2)t^* \le t(1-\alpha,N-2) t∗≤t(1−α,N−2)
接收原假设，若
t∗>t(1−α,N−2)t^*> t(1-\alpha,N-2) t∗>t(1−α,N−2)
拒绝原假设，接受备择假设。此检验的p值为
p=P(t>∣t∗∣)p=P(t>|t^*|) p=P(t>∣t∗∣)
UA MATH571A 一元线性回归II 统计推断1相关推荐
- UA MATH571A 一元线性回归II 统计推断2
UA MATH571A 一元线性回归II 统计推断2 β0\beta_0β0的分布 拟合与预测 拟合值的区间估计 预测值的区间估计 数值例子:女性肌肉量与年龄的关系 β0\beta_0β0的分布 ...
- UA MATH571A 多元线性回归II 变量选择
UA MATH571A 多元线性回归II 变量选择 多项式回归与交互项回归 阶数的确定 含质量型变量的回归 含质量型变量的交互项 二值变量与二值变量的交互项 二值变量与数量型变量的交互项 变量选择的准 ...
- UA MATH571A 一元线性回归IV 模型诊断
UA MATH571A 一元线性回归IV 模型诊断 解释变量 解释变量的可视化 残差 残差的性质 Semistudentized Residual 残差的可视化 残差关于解释变量的图 残差关于拟合值的 ...
- UA MATH571A 一元线性回归III 方差分析与相关性分析
UA MATH571A 一元线性回归III 方差分析与相关性分析 ANOVA Table F检验 回归系数的F检验 F检验与t检验等价 广义线性检验方法 R2R^2R2 数值例子:女性肌肉量与年龄的关 ...
- UA MATH571A 一元线性回归I 模型设定与估计
UA MATH571A 一元线性回归I 模型设定与估计 模型设定 最小二乘法(Method of Least Square) Coefficients Mean Response and Residu ...
- UA MATH571A 多元线性回归I 模型设定与推断
UA MATH571A 多元线性回归I 模型设定与推断 模型设定 最小二乘法(Method of Least Square) 系数 Mean Response and Residual 多元回归的AN ...
- UA MATH571A 多元线性回归V 自相关与非线性模型简介
UA MATH571A 多元线性回归V 自相关与非线性模型简介 一阶误差自相关模型 Durbin-Watson检验 一阶自相关的消去 Cochrane-Orcutt方法 Hildreth-Lu方法 非 ...
- UA MATH571A 多元线性回归IV 广义线性模型
UA MATH571A 多元线性回归IV 广义线性模型 广义线性模型 二值被解释变量 Probit模型 Logit模型 系数的最大似然估计 系数的推断 Wald检验 似然比检验 二项回归 拟合优度检验 ...
- UA MATH 571B 回归 QE练习题 一元线性回归理论
UA MATH 571B 回归 QE练习题 一元线性回归理论 2015/1/5 2015/5/5 2016/5/6 2017/1/5 2017/5/6 这是2015年1月第五题,2015年5月第五题, ...
最新文章
- MSChart中转义符
- 一、Pytho第一课——Python安装及配置路径方法（最详细小白教程，没有之一。如若不懂，不是还可以私信嘛!对吧？）
- python映射的主要特点_30 个 Python 语言的特点技巧
- get 与 post的区别?application json 与form表单的区别?
- Flex中让Panel等容器可拖动
- 打包fpm mysql_fpm制做mysql-5.6.33 rpm包
- 中科院分区和JCR分区查询
- 3D游戏建模概念设计流程
- 【Poco学习笔记】Poco库介绍
- 详解 JavaScript 的发展史
- SAP ABAP MOVE 及 CORRESPONDING 7.4版本新用法
- 【回炉重造】—— 异常
- 把下列c语言的语句改写成汇编语言的程序片段,其中变量都为整形变量,汇编程序设计读书笔记（4）...
- 算法刷题打卡第34天：有效的井字游戏
- 基于RoCE v1配置PFC
- 权限系统就该这么设计，yyds
- 查询IBM服务器保修期
- ubuntu rsyslog mysql_Ubuntu下rsyslog集中收集mysql审计日志
- Windows 10 滑动关机
- win10系统文件拖拽卡顿_win10系统运行会卡顿的解决方法