【回归分析】03.回归参数的估计(1)
文章目录
- 【回归分析】3. 回归参数的估计(1)
- 3.1 最小二乘估计
- 3.2 最小二乘估计的性质
【回归分析】3. 回归参数的估计(1)
3.1 最小二乘估计
用 yyy 表示因变量，x1,x2,⋯,xpx_1,x_2,\cdots,x_px1,x2,⋯,xp 表示对 yyy 有影响的 ppp 个自变量。
总体回归模型：假设 yyy 和 x1,x2,⋯,xpx_1,x_2,\cdots,x_px1,x2,⋯,xp 之间满足如下线性关系式
y=β0+β1x1+β2x2+⋯+βpxp+e,y=\beta_0+\beta_1 x_1+\beta_2x_2+\cdots+\beta_px_p+e \ , y=β0+β1x1+β2x2+⋯+βpxp+e ,
其中 eee 是随机误差，将 β0\beta_0β0 称为回归常数，将 β1,β1,⋯,βp\beta_1,\beta_1,\cdots,\beta_pβ1,β1,⋯,βp 称为回归系数。总体回归函数：定量地刻画因变量的条件均值与自变量之间的相依关系，即
E(y∣x)=β0+β1x1+β2x2+⋯+βpxp,{\rm E}(y|x)=\beta_0+\beta_1 x_1+\beta_2x_2+\cdots+\beta_px_p \ , E(y∣x)=β0+β1x1+β2x2+⋯+βpxp ,
回归分析的首要目标就是估计回归函数。
假定已有因变量 yyy 和自变量 x1,x2,⋯,xpx_1,x_2,\cdots,x_px1,x2,⋯,xp 的 nnn 组观测样本 (xi1,xi2,⋯,xip),i=1,2,⋯,n\left(x_{i1},x_{i2},\cdots,x_{ip}\right),\,i=1,2,\cdots,n(xi1,xi2,⋯,xip),i=1,2,⋯,n 。
- 样本回归模型：样本观测值满足如下线性方程组
yi=β0+β1xi1+β2xi2+⋯+βpxip+ei,i=1,2,⋯,n.y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+\cdots+\beta_px_{ip}+e_i \ , \quad i=1,2,\cdots,n \ . yi=β0+β1xi1+β2xi2+⋯+βpxip+ei ,i=1,2,⋯,n .
- Gauss-Markov 假设：随机误差项 ei,i=1,2,⋯,ne_i,\,i=1,2,\cdots,nei,i=1,2,⋯,n 满足如下假设：
- 零均值：E(ei)=0{\rm E}(e_i)=0E(ei)=0 ；
- 同方差：Var(ei)=σ2{\rm Var}(e_i)=\sigma^2Var(ei)=σ2 ；
- 不相关：Cov(ei,ej)=0,i≠j{\rm Cov}(e_i,e_j)=0 \ , \ \ i\neq jCov(ei,ej)=0 , i=j 。
如果将样本回归模型中的线性方程组，用矩阵形式表示为
Y=def(y1y2⋮yn)=(1x11⋯x1p1x21⋯x2p⋮⋮⋱⋮1xn1⋯xnp)(β0β1⋮βp)+(e1e2⋮en)=defXβ+e,Y\xlongequal{def}\left(\begin{array}{c} y_1 \\ y_2 \\ \vdots \\ y_n \end{array}\right)=\left(\begin{array}{c} 1 & x_{11} & \cdots & x_{1p} \\ 1 & x_{21} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \ \\ 1 & x_{n1} & \cdots & x_{np} \\ \end{array}\right)\left(\begin{array}{c} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{array}\right)+\left(\begin{array}{c} e_1 \\ e_2 \\ \vdots \\ e_n \end{array}\right)\xlongequal{def}X\beta+e \ , Ydef⎝⎜⎜⎜⎛y1y2⋮yn⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛11⋮1x11x21⋮xn1⋯⋯⋱⋯x1px2p⋮ xnp⎠⎟⎟⎟⎞⎝⎜⎜⎜⎛β0β1⋮βp⎠⎟⎟⎟⎞+⎝⎜⎜⎜⎛e1e2⋮en⎠⎟⎟⎟⎞defXβ+e ,
其中 XXX 称为设计矩阵。若将 Gauss-Markov 假设也用矩阵形式表示为
E(e)=0,Cov(e)=σ2In,{\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ , E(e)=0 ,Cov(e)=σ2In ,
将矩阵方程和 Gauss-Markov 假设合写在一起，即可得到最基本的线性回归模型：
Y=Xβ+e,E(e)=0,Cov(e)=σ2In.Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . Y=Xβ+e ,E(e)=0 ,Cov(e)=σ2In .
最小二乘估计：寻找一个 β\betaβ 的估计，使得误差向量 e=Y−Xβe=Y-X\betae=Y−Xβ 的长度的平方达到最小。设
Q(β)=∥Y−Xβ∥2=(Y−Xβ)′(Y−Xβ)=Y′Y−2Y′Xβ+β′X′Xβ,\begin{aligned} Q(\beta)&=\|Y-X\beta\|^2 \\ \\ &=(Y-X\beta)'(Y-X\beta) \\ \\ &=Y'Y-2Y'X\beta+\beta'X'X\beta \ , \end{aligned} Q(β)=∥Y−Xβ∥2=(Y−Xβ)′(Y−Xβ)=Y′Y−2Y′Xβ+β′X′Xβ ,
对 β\betaβ 求导，令其等于零，可得正规方程组
X′Xβ=X′Y.X'X\beta=X'Y \ . X′Xβ=X′Y .
正规方程组有唯一解的充要条件是 rank(X′X)=p+1{\rm rank}\left(X'X\right)=p+1rank(X′X)=p+1 ，这等价于 rank(X)=p+1{\rm rank}(X)=p+1rank(X)=p+1 ，即 XXX 是列满秩的。正规方程组的唯一解为
β^=(X′X)−1X′Y.\hat\beta=\left(X'X\right)^{-1}X'Y \ . β^=(X′X)−1X′Y .
以上的讨论说明 β^\hat\betaβ^ 是 Q(β)Q(\beta)Q(β) 的一个驻点，下面证明 β^\hat\betaβ^ 是 Q(β)Q(\beta)Q(β) 的最小值点。
对任意的 β∈Rp+1\beta\in\mathbb{R}^{p+1}β∈Rp+1 ，有
∥Y−Xβ∥2=∥Y−Xβ^+X(β^−β)∥2=∥Y−Xβ^∥2+∥X(β^−β)∥2+2(β^−β)′X′(Y−Xβ^).\begin{aligned} \|Y-X\beta\|^2&=\left\|Y-X\hat\beta+X\left(\hat\beta-\beta\right)\right\|^2 \\ \\ &=\left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\beta\right)\right\|^2+2\left(\hat\beta-\beta\right)'X'\left(Y-X\hat\beta\right) \ . \end{aligned} ∥Y−Xβ∥2=∥∥∥Y−Xβ^+X(β^−β)∥∥∥2=∥∥∥Y−Xβ^∥∥∥2+∥∥∥X(β^−β)∥∥∥2+2(β^−β)′X′(Y−Xβ^) .
因为 β^\hat\betaβ^ 满足正规方程组 X′Xβ^=X′YX'X\hat\beta=X'YX′Xβ^=X′Y ，所以 X′(Y−Xβ^)=0X'\left(Y-X\hat\beta\right)=0X′(Y−Xβ^)=0 ，所以对任意的 β∈Rp+1\beta\in\mathbb{R}^{p+1}β∈Rp+1 ，有
∥Y−Xβ∥2=∥Y−Xβ^∥2+∥X(β^−β)∥2.\begin{aligned} \|Y-X\beta\|^2&=\left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\beta\right)\right\|^2 \ . \end{aligned} ∥Y−Xβ∥2=∥∥∥Y−Xβ^∥∥∥2+∥∥∥X(β^−β)∥∥∥2 .
所以有
Q(β)=∥Y−Xβ∥2≥∥Y−Xβ^∥2=Q(β^).Q(\beta)=\|Y-X\beta\|^2\geq \left\|Y-X\hat\beta\right\|^2=Q\left(\hat\beta\right) \ . Q(β)=∥Y−Xβ∥2≥∥∥∥Y−Xβ^∥∥∥2=Q(β^) .
当且仅当 β=β^\beta=\hat\betaβ=β^ 时等号成立。
我们将 Y^=Xβ^\hat{Y}=X\hat\betaY^=Xβ^ 称为 YYY 的拟合值向量或投影向量，注意到
Y^=Xβ^=X(X′X)−1X′Y=defHY,\hat{Y}=X\hat\beta=X\left(X'X\right)^{-1}X'Y\xlongequal{def}HY \ , Y^=Xβ^=X(X′X)−1X′YdefHY ,
我们将 H=X(X′X)−1X′H=X\left(X'X\right)^{-1}X'H=X(X′X)−1X′ 称为帽子矩阵，它是自变量空间的投影矩阵，这里的自变量空间指的是矩阵 XXX 的列空间。此外，我们将 e^=Y−Y^=(I−H)Y\hat{e}=Y-\hat{Y}=(I-H)Ye^=Y−Y^=(I−H)Y 称为残差向量。
中心化模型：将原始数据进行中心化，令
xˉj=1n∑i=1nxij,j=1,2,⋯,p.\bar{x}_j=\frac1n\sum_{i=1}^nx_{ij} \ , \quad j=1,2,\cdots,p \ . xˉj=n1i=1∑nxij ,j=1,2,⋯,p .
将样本回归模型改写为
yi=α+β1(xi1−xˉ1)+β2(xi2−xˉ2)+⋯+βp(xip−xˉp)+ei,i=1,2,⋯,ny_i=\alpha+\beta_1\left(x_{i1}-\bar{x}_1\right)+\beta_2\left(x_{i2}-\bar{x}_2\right)+\cdots+\beta_p\left(x_{ip}-\bar{x}_p\right)+e_i \ , \quad i=1,2,\cdots,n yi=α+β1(xi1−xˉ1)+β2(xi2−xˉ2)+⋯+βp(xip−xˉp)+ei ,i=1,2,⋯,n
其中 α=β0+β1xˉ1+β2xˉ2+⋯+βpxˉp\alpha=\beta_0+\beta_1\bar{x}_1+\beta_2\bar{x}_2+\cdots+\beta_p\bar{x}_pα=β0+β1xˉ1+β2xˉ2+⋯+βpxˉp 。定义设计矩阵为
Xc=(x11−xˉ1x12−xˉ2⋯x1p−xˉpx21−xˉ1x22−xˉ2⋯x2p−xˉp⋮⋮⋱⋮xn1−xˉ1xn2−xˉ2⋯xnp−xˉp),X_c=\begin{pmatrix} x_{11}-\bar{x}_1 & x_{12}-\bar{x}_2 & \cdots &x_{1p}-\bar{x}_p \\ x_{21}-\bar{x}_1 & x_{22}-\bar{x}_2 & \cdots &x_{2p}-\bar{x}_p \\ \vdots &\vdots & \ddots & \vdots \\ x_{n1}-\bar{x}_1 & x_{n2}-\bar{x}_2 & \cdots &x_{np}-\bar{x}_p \\ \end{pmatrix} \ , Xc=⎝⎜⎜⎜⎛x11−xˉ1x21−xˉ1⋮xn1−xˉ1x12−xˉ2x22−xˉ2⋮xn2−xˉ2⋯⋯⋱⋯x1p−xˉpx2p−xˉp⋮xnp−xˉp⎠⎟⎟⎟⎞ ,
将中心化模型写成矩阵形式：
Y=1nα+Xβ+e=(1nXc)(αβ)+e.Y=\boldsymbol 1_n\alpha+X\beta+e=\begin{pmatrix} \boldsymbol 1_n & X_c \end{pmatrix}\begin{pmatrix} \alpha \\ \beta \end{pmatrix}+e \ . Y=1nα+Xβ+e=(1nXc)(αβ)+e .
其中 β=(β1,β2,⋯,βp)′\beta=\left(\beta_1,\beta_2,\cdots,\beta_p\right)'β=(β1,β2,⋯,βp)′ 。注意到
1n′Xc=0,\boldsymbol 1_n'X_c=0 \ , 1n′Xc=0 ,
因此正规方程组可以写为
(n00Xc′Xc)(αβ)=(1n′YXc′Y)⟺{nα=1n′Y,Xc′Xcβ=Xc′Y,\begin{pmatrix} n & 0 \\ 0 & X_c'X_c \end{pmatrix} \begin{pmatrix} \alpha \\ \beta \end{pmatrix} =\begin{pmatrix} \boldsymbol 1_n'Y \\ X_c'Y \end{pmatrix} \quad \iff \quad \left\{\begin{array}{l} n\alpha=\boldsymbol 1_n'Y \ , \\ X_c'X_c\beta=X_c'Y \ , \end{array}\right. (n00Xc′Xc)(αβ)=(1n′YXc′Y)⟺{nα=1n′Y ,Xc′Xcβ=Xc′Y ,
解得回归参数的最小二乘估计为
{α^=yˉ,β^=(Xc′Xc)−1Xc′Y.\left\{\begin{array}{l} \hat\alpha=\bar{y} \ , \\ \hat\beta=\left(X_c'X_c\right)^{-1}X_c'Y \ . \end{array}\right. {α^=yˉ ,β^=(Xc′Xc)−1Xc′Y .
标准化模型：将原始数据进行标准化，令
sj2=∑i=1n(xij−xˉj)2,j=1,2,⋯,p,zij=xij−xˉjsj,i=1,2,⋯,nj=1,2,⋯,p,\begin{aligned} &s_j^2=\sum_{i=1}^n\left(x_{ij}-\bar{x}_j\right)^2 \ , \quad j=1,2,\cdots,p \ , \\ \\ &z_{ij}=\frac{x_{ij}-\bar{x}_j}{s_{j}} \ , \quad i=1,2,\cdots,n \quad j=1,2,\cdots,p \ , \end{aligned} sj2=i=1∑n(xij−xˉj)2 ,j=1,2,⋯,p ,zij=sjxij−xˉj ,i=1,2,⋯,nj=1,2,⋯,p ,
将样本回归模型改写为
yi=γ+xi1−xˉ1s1β1+xi2−xˉ2s2β1+⋯xip−xˉpspβ1+ei,i=1,2,⋯,n,y_i=\gamma+\frac{x_{i1}-\bar{x}_1}{s_1}\beta_1+\frac{x_{i2}-\bar{x}_2}{s_2}\beta_1+\cdots\frac{x_{ip}-\bar{x}_p}{s_p}\beta_1+e_i \ , \quad i=1,2,\cdots,n \ , yi=γ+s1xi1−xˉ1β1+s2xi2−xˉ2β1+⋯spxip−xˉpβ1+ei ,i=1,2,⋯,n ,
令 Z=(zij)n×pZ=(z_{ij})_{n\times p}Z=(zij)n×p ，将标准化模型写成矩阵形式：
Y=1nγ+Zβ+e=(1nZ)(γβ)+e.Y=\boldsymbol 1_n\gamma+Z\beta+e=\begin{pmatrix} \boldsymbol 1_n & Z \end{pmatrix}\begin{pmatrix} \gamma \\ \beta \end{pmatrix}+e \ . Y=1nγ+Zβ+e=(1nZ)(γβ)+e .
解得回归参数的最小二乘估计为
{γ^=yˉ,β^=(Z′Z)−1Z′Y.\left\{\begin{array}{l} \hat\gamma=\bar{y} \ , \\ \hat\beta=\left(Z'Z\right)^{-1}Z'Y \ . \end{array}\right. {γ^=yˉ ,β^=(Z′Z)−1Z′Y .
这里矩阵 ZZZ 具有如下性质：
1n′Z=0,R=Z′Z=(rij)p×p.\boldsymbol{1}_n'Z=0 \ , \quad R=Z'Z=(r_{ij})_{p\times p} \ . 1n′Z=0 ,R=Z′Z=(rij)p×p .
其中 rijr_{ij}rij 为自变量 xix_ixi 和 xjx_jxj 的样本相关系数，矩阵 RRR 是自变量的样本相关系数矩阵。
3.2 最小二乘估计的性质
设线性回归模型满足 Gauss-Markov 假设，即
Y=Xβ+e,E(e)=0,Cov(e)=σ2In.Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . Y=Xβ+e ,E(e)=0 ,Cov(e)=σ2In .
下面我们来讨论最小二乘估计 β^=(X′X)−1X′Y\hat\beta=\left(X'X\right)^{-1}X'Yβ^=(X′X)−1X′Y 的一些良好的性质。
定理 3.2.1：对于线性回归模型，最小二乘估计 β^=(X′X)−1X′Y\hat\beta=\left(X'X\right)^{-1}X'Yβ^=(X′X)−1X′Y 具有下列性质：
(1) E(β^)=β{\rm E}\left(\hat\beta\right)=\betaE(β^)=β 。
(2) Cov(β^)=σ2(X′X)−1{\rm Cov}\left(\hat\beta\right)=\sigma^2\left(X'X\right)^{-1}Cov(β^)=σ2(X′X)−1 。
(1) 因为 E(Y)=Xβ{\rm E}(Y)=X\betaE(Y)=Xβ ，所以
E(β^)=(X′X)−1X′E(Y)=(X′X)−1X′Xβ=β.{\rm E}\left(\hat\beta\right)=\left(X'X\right)^{-1}X'{\rm E}(Y)=\left(X'X\right)^{-1}X'X\beta=\beta \ . E(β^)=(X′X)−1X′E(Y)=(X′X)−1X′Xβ=β .
(2) 因为 Cov(Y)=Cov(e)=σ2In{\rm Cov}(Y)={\rm Cov}(e)=\sigma^2I_nCov(Y)=Cov(e)=σ2In ，所以
Cov(β^)=Cov((X′X)−1X′Y)=(X′X)−1X′Cov(Y)X(X′X)−1=(X′X)−1Xσ2InX(X′X)−1=σ2(X′X)−1.\begin{aligned} {\rm Cov}\left(\hat\beta\right)&={\rm Cov}\left(\left(X'X\right)^{-1}X'Y\right) \\ \\ &=\left(X'X\right)^{-1}X'{\rm Cov}(Y)X\left(X'X\right)^{-1} \\ \\ &=\left(X'X\right)^{-1}X\sigma^2I_nX\left(X'X\right)^{-1} \\ \\ &=\sigma^2\left(X'X\right)^{-1} \ . \end{aligned} Cov(β^)=Cov((X′X)−1X′Y)=(X′X)−1X′Cov(Y)X(X′X)−1=(X′X)−1Xσ2InX(X′X)−1=σ2(X′X)−1 .
推论 3.2.1：设 ccc 是 p+1p+1p+1 维常数向量，我们称 c′β^c'\hat\betac′β^ 是 c′βc'\betac′β 的最小二乘估计，具有下列性质：
(1) E(c′β^)=c′β{\rm E}\left(c'\hat\beta\right)=c'\betaE(c′β^)=c′β 。
(2) Cov(c′β^)=σ2c′(X′X)−1c{\rm Cov}\left(c'\hat\beta\right)=\sigma^2c'\left(X'X\right)^{-1}cCov(c′β^)=σ2c′(X′X)−1c 。
该推论说明，对任意的线性函数 c′βc'\betac′β ，都有 c′β^c'\hat\betac′β^ 是 c′βc'\betac′β 的无偏估计，
定理 3.2.2 (Gauss-Markov)：对于线性回归模型，在 c′βc'\betac′β 的所有线性无偏估计中，最小二乘估计 c′β^c'\hat\betac′β^ 是唯一的最小方差线性无偏估计 (best linear unbiased estimator, BLUE) 。
假设 a′Ya'Ya′Y 是 c′βc'\betac′β 的一个线性无偏估计，则对 ∀β∈Rp+1\forall\beta\in\mathbb{R}^{p+1}∀β∈Rp+1 ，都有
E(a′Y)=a′Xβ=c′β.{\rm E}\left(a'Y\right)=a'X\beta=c'\beta \ . E(a′Y)=a′Xβ=c′β .
所以 a′X=c′a'X=c'a′X=c′ 。又因为
Var(a′Y)=σ2a′a=σ2∥a∥2,Var(c′β^)=σ2c′(X′X)−1c,\begin{aligned} &{\rm Var}(a'Y)=\sigma^2a'a=\sigma^2\|a\|^2 \ , \\ \\ &{\rm Var}\left(c'\hat\beta\right)=\sigma^2c'\left(X'X\right)^{-1}c \ , \end{aligned} Var(a′Y)=σ2a′a=σ2∥a∥2 ,Var(c′β^)=σ2c′(X′X)−1c ,
对 ∥a∥2\|a\|^2∥a∥2 做分解有
∥a∥2=∥a−X(X′X)−1c+X(X′X)−1c∥2=∥a−X(X′X)−1c∥2+∥X(X′X)−1c∥2+2c′(X′X)−1X′(a−X(X′X)−1c)=∥a−X(X′X)−1c∥2+∥X(X′X)−1c∥2.\begin{aligned} \|a\|^2&=\left\|a-X\left(X'X\right)^{-1}c+X\left(X'X\right)^{-1}c\right\|^2 \\ \\ &=\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\left\|X\left(X'X\right)^{-1}c\right\|^2 +2c'\left(X'X\right)^{-1}X'\left(a-X\left(X'X\right)^{-1}c\right) \\ \\ &=\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\left\|X\left(X'X\right)^{-1}c\right\|^2 \ . \end{aligned} ∥a∥2=∥∥∥a−X(X′X)−1c+X(X′X)−1c∥∥∥2=∥∥∥a−X(X′X)−1c∥∥∥2+∥∥∥X(X′X)−1c∥∥∥2+2c′(X′X)−1X′(a−X(X′X)−1c)=∥∥∥a−X(X′X)−1c∥∥∥2+∥∥∥X(X′X)−1c∥∥∥2 .
最后一个等号是因为
2c′(X′X)−1X′(a−X(X′X)−1c)=2c′(X′X)−1(X′a−c)=0.\begin{aligned} 2c'\left(X'X\right)^{-1}X'\left(a-X\left(X'X\right)^{-1}c\right)&=2c'\left(X'X\right)^{-1}\left(X'a-c\right)=0 \ . \end{aligned} 2c′(X′X)−1X′(a−X(X′X)−1c)=2c′(X′X)−1(X′a−c)=0 .
代入 a′Ya'Ya′Y 的方差，所以
Var(a′Y)=σ2∥a∥2=σ2∥a−X(X′X)−1c∥2+σ2∥X(X′X)−1c∥2=σ2∥a−X(X′X)−1c∥2+σ2c′(X′X)−1X′X(X′X)−1c=σ2∥a−X(X′X)−1c∥2+Var(c′β^)≥Var(c′β^).\begin{aligned} {\rm Var}\left(a'Y\right)&=\sigma^2\|a\|^2 \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\sigma^2\left\|X\left(X'X\right)^{-1}c\right\|^2 \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\sigma^2c'\left(X'X\right)^{-1}X'X\left(X'X\right)^{-1}c \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+{\rm Var}\left(c'\hat\beta\right) \\ \\ &\geq{\rm Var}\left(c'\hat\beta\right) \ . \end{aligned} Var(a′Y)=σ2∥a∥2=σ2∥∥∥a−X(X′X)−1c∥∥∥2+σ2∥∥∥X(X′X)−1c∥∥∥2=σ2∥∥∥a−X(X′X)−1c∥∥∥2+σ2c′(X′X)−1X′X(X′X)−1c=σ2∥∥∥a−X(X′X)−1c∥∥∥2+Var(c′β^)≥Var(c′β^) .
等号成立当且仅当 ∥a−X(X′X)−1c∥=0\left\|a-X\left(X'X\right)^{-1}c\right\|=0∥∥∥a−X(X′X)−1c∥∥∥=0 ，即 a=X(X′X)−1ca=X\left(X'X\right)^{-1}ca=X(X′X)−1c ，此时 c′Y=c′β^c'Y=c'\hat\betac′Y=c′β^ ，得证。
误差方差 σ2\sigma^2σ2 反映了模型误差对因变量的影响大小，下面来估计 σ2\sigma^2σ2 。
注意到误差向量 e=Y−Xβe=Y-X\betae=Y−Xβ 是不可观测的，用 β^\hat\betaβ^ 代替 β\betaβ ，称
e^=Y−Xβ^=Y−Y^.\hat{e}=Y-X\hat\beta=Y-\hat{Y} \ . e^=Y−Xβ^=Y−Y^ .
为残差向量。设 xi′x_i'xi′ 为设计矩阵 XXX 的第 iii 行，则第 iii 次观测的残差可以表示为
e^i=yi−xi′β^=yi−y^i,i=1,2,⋯,n,\hat e_i=y_i-x_i'\hat\beta=y_i-\hat{y}_i \ , \quad i=1,2,\cdots,n \ , e^i=yi−xi′β^=yi−y^i ,i=1,2,⋯,n ,
称 y^i\hat{y}_iy^i 为第 iii 次观测的拟合值，称 Y^\hat{Y}Y^ 为拟合值向量。
将 e^\hat{e}e^ 看作 eee 的一个估计，定义残差平方和为
RSS=e^′e^=∑i=1ne^i2,{\rm RSS}=\hat{e}'\hat{e}=\sum_{i=1}^n\hat{e}_i^2 \ , RSS=e^′e^=i=1∑ne^i2 ,
它从整体上反映了观测数据与回归直线的偏离程度。
定理 3.2.3：我们用 RSS{\rm RSS}RSS 来构造 σ2\sigma^2σ2 的无偏估计量。
(a) RSS=Y′(In−X(X′X)−1X′)Y=Y′(In−H)Y{\rm RSS}=Y'\left(I_n-X\left(X'X\right)^{-1}X'\right)Y=Y'\left(I_n-H\right)YRSS=Y′(In−X(X′X)−1X′)Y=Y′(In−H)Y ；
(b) 若定义 σ2\sigma^2σ2 的估计量为
σ^2=RSSn−rank(X),\hat\sigma^2=\frac{\rm RSS}{n-{\rm rank}(X)} \ , σ^2=n−rank(X)RSS ,
则 σ^2\hat\sigma^2σ^2 是 σ2\sigma^2σ2 的无偏估计量。
(a) 引入帽子矩阵 Y^=HY\hat{Y}=HYY^=HY ，所以 e^=(In−H)Y\hat{e}=\left(I_n-H\right)Ye^=(In−H)Y ，所以
RSS=e^′e^=Y′(In−H)′(In−H)Y=Y′(In−H)Y.{\rm RSS}=\hat{e}'\hat{e}=Y'(I_n-H)'(I_n-H)Y=Y'(I_n-H)Y \ . RSS=e^′e^=Y′(In−H)′(In−H)Y=Y′(In−H)Y .
(b) 把 Y=Xβ+eY=X\beta+eY=Xβ+e 代入 RSS{\rm RSS}RSS 的表达式可得
RSS=(Xβ+e)′(In−H)(Xβ+e)=β′X′(In−H)Xβ+e′(In−H)e=β′X′Xβ−β′X′X(X′X)−1X′Xβ++e′(In−H)e=e′(In−H)e.\begin{aligned} {\rm RSS}&=(X\beta+e)'(I_n-H)(X\beta+e) \\ \\ &=\beta'X'(I_n-H)X\beta+e'(I_n-H)e \\ \\ &=\beta'X'X\beta-\beta'X'X(X'X)^{-1}X'X\beta++e'(I_n-H)e \\ \\ &=e'(I_n-H)e \ . \end{aligned} RSS=(Xβ+e)′(In−H)(Xβ+e)=β′X′(In−H)Xβ+e′(In−H)e=β′X′Xβ−β′X′X(X′X)−1X′Xβ++e′(In−H)e=e′(In−H)e .
由定理 2.2.1 可知
E(RSS)=E[e′(In−H)e]=0+tr[(In−H)σ2In]=σ2(n−tr(H)).\begin{aligned} {\rm E}\left({\rm RSS}\right)&={\rm E}\left[e'(I_n-H)e\right] \\ \\ &=0+{\rm tr}\left[(I_n-H)\sigma^2I_n\right] \\ \\ &=\sigma^2(n-{\rm tr}(H)) \ . \end{aligned} E(RSS)=E[e′(In−H)e]=0+tr[(In−H)σ2In]=σ2(n−tr(H)) .
根据对称幂等矩阵的秩与迹相等这一性质可得
tr(H)=rank(H)=rank(X).{\rm tr}(H)={\rm rank}(H)={\rm rank}(X) \ . tr(H)=rank(H)=rank(X) .
所以有
E(RSS)=σ2(n−rank(X)).{\rm E}\left({\rm RSS}\right)=\sigma^2(n-{\rm rank}(X)) \ . E(RSS)=σ2(n−rank(X)) .
进而
σ^2=RSSn−rank(X)\hat\sigma^2=\frac{\rm RSS}{n-{\rm rank}(X)} σ^2=n−rank(X)RSS
是 σ2\sigma^2σ2 的无偏估计量。
如果误差向量 eee 服从正态分布，即 e∼Nn(0,σ2In)e\sim N_n\left(0,\sigma^2I_n\right)e∼Nn(0,σ2In) ，则可以得到 β^\hat\betaβ^ 和 σ^2\hat\sigma^2σ^2 的更多性质。
定理 3.2.4：对于线性回归模型，如果误差向量 e∼Nn(0,σ2In)e\sim N_n\left(0,\sigma^2I_n\right)e∼Nn(0,σ2In) ，则
(a) β^∼N(β,σ2(X′X)−1)\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right)β^∼N(β,σ2(X′X)−1) ；
(b) RSS/σ2∼χ2(n−rank(X)){\rm RSS}/\sigma^2\sim\chi^2(n-{\rm rank}(X))RSS/σ2∼χ2(n−rank(X)) ；
© β^\hat\betaβ^ 与 RSS{\rm RSS}RSS 相互独立。
(a) 注意到
β^=(X′X)−1X′Y=(X′X)−1X′(Xβ+e)=β+(X′X)−1X′e.\hat\beta=\left(X'X\right)^{-1}X'Y=\left(X'X\right)^{-1}X'(X\beta+e)=\beta+\left(X'X\right)^{-1}X'e \ . β^=(X′X)−1X′Y=(X′X)−1X′(Xβ+e)=β+(X′X)−1X′e .
由定理 2.3.4 和定理 3.2.1 可得
β^∼N(β,σ2(X′X)−1).\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right) \ . β^∼N(β,σ2(X′X)−1) .
(b) 注意到
eσ∼N(0,In),RSSσ2=e′(In−H)eσ2=(eσ)′(In−H)(eσ),\begin{aligned} &\frac{e}{\sigma}\sim N(0,I_n) \ , \\ \\ &\frac{\rm RSS}{\sigma^2}=\frac{e'(I_n-H)e}{\sigma^2}=\left(\frac{e}{\sigma}\right)'(I_n-H)\left(\frac{e}{\sigma}\right) \ , \end{aligned} σe∼N(0,In) ,σ2RSS=σ2e′(In−H)e=(σe)′(In−H)(σe) ,
根据对称幂等矩阵的秩与迹相等这一性质可得
rank(In−H)=tr(In−H)=n−tr(H)=n−rank(H)=n−rank(X).{\rm rank}(I_n-H)={\rm tr}(I_n-H)=n-{\rm tr}(H)=n-{\rm rank}(H)=n-{\rm rank}(X) \ . rank(In−H)=tr(In−H)=n−tr(H)=n−rank(H)=n−rank(X) .
由定理 2.4.3 可得
RSSσ2∼χ2(n−rank(X)).\frac{\rm RSS}{\sigma^2}\sim\chi^2\left(n-{\rm rank}(X)\right) \ . σ2RSS∼χ2(n−rank(X)) .
© 因为 β^=β+(X′X)−1X′e\hat\beta=\beta+\left(X'X\right)^{-1}X'eβ^=β+(X′X)−1X′e ，而 RSS=e′(In−H)e{\rm RSS}=e'\left(I_n-H\right)eRSS=e′(In−H)e ，注意到
(X′X)−1X′⋅σ2In⋅(In−H)=0,\left(X'X\right)^{-1}X'\cdot\sigma^2I_n\cdot\left(I_n-H\right)=0 \ , (X′X)−1X′⋅σ2In⋅(In−H)=0 ,
由推论 2.4.10 可知 (X′X)−1X′e\left(X'X\right)^{-1}X'e(X′X)−1X′e 与 RSS{\rm RSS}RSS 相互独立，从而 β^\hat\betaβ^ 与 RSS{\rm RSS}RSS 相互独立。
当 β\betaβ 的第一个分量是 β0\beta_0β0 时，取 c=(0,⋯,0,1,0,⋯,0)′c=(0,\cdots,0,1,0,\cdots,0)'c=(0,⋯,0,1,0,⋯,0)′ ，其中 111 在 ccc 的第 i+1i+1i+1 个位置，则
c′β=βi,c′β^=β^i,i=1,2,⋯,p.c'\beta=\beta_i \ , \quad c'\hat\beta=\hat\beta_i \ , \quad i=1,2,\cdots,p \ . c′β=βi ,c′β^=β^i ,i=1,2,⋯,p .
推论 3.2.2：对于线性回归模型，若 e∼N(0,σ2In)e\sim N\left(0,\sigma^2I_n\right)e∼N(0,σ2In) ，则
(a) βi\beta_iβi 的最小二乘估计 β^i\hat\beta_iβ^i 的分布为：
β^i∼N(βi,σ2((X′X)−1)i+1,i+1),i=1,2,⋯,p;\hat\beta_i\sim N\left(\beta_i,\sigma^2\left(\left(X'X\right)^{-1}\right)_{i+1,i+1}\right) \ , \quad i=1,2,\cdots,p \ ; β^i∼N(βi,σ2((X′X)−1)i+1,i+1) ,i=1,2,⋯,p ;
(b) 在 βi\beta_iβi 的一切线性无偏估计中，β^i\hat\beta_iβ^i 是唯一的方差最小者，i=1,2,⋯,pi=1,2,\cdots,pi=1,2,⋯,p 。
推论 3.2.3：对于中心化模型，此时 β=(β1,β2,⋯,βp)′\beta=\left(\beta_1,\beta_2,\cdots,\beta_p\right)'β=(β1,β2,⋯,βp)′ ，则有
(a) E(α^)=α,E(β^)=β{\rm E}\left(\hat\alpha\right)=\alpha,\,{\rm E}\left(\hat\beta\right)=\betaE(α^)=α,E(β^)=β ，其中 α^=yˉ,β^=(Xc′Xc)−1Xc′Y\hat\alpha=\bar{y},\,\hat\beta=\left(X_c'X_c\right)^{-1}X_c'Yα^=yˉ,β^=(Xc′Xc)−1Xc′Y ；
(b)
Cov(α^β^)=σ2(1n00(Xc′Xc)−1);{\rm Cov}\begin{pmatrix} \hat\alpha \\ \hat\beta \end{pmatrix}=\sigma^2\begin{pmatrix} \cfrac1n & 0 \\ 0 & \left(X_c'X_c\right)^{-1} \end{pmatrix} \ ; Cov(α^β^)=σ2⎝⎛n100(Xc′Xc)−1⎠⎞ ;
© 若进一步假设 e∼N(0,σ2In)e\sim N\left(0,\sigma^2I_n\right)e∼N(0,σ2In) ，则
α^∼N(α,σ2n),β^∼N(β,σ2(Xc′Xc)−1),\hat\alpha\sim N\left(\alpha,\frac{\sigma^2}{n}\right) \ , \quad \hat\beta\sim N\left(\beta,\sigma^2\left(X_c'X_c\right)^{-1}\right) \ , α^∼N(α,nσ2) ,β^∼N(β,σ2(Xc′Xc)−1) ,
且 α^\hat\alphaα^ 与 β^\hat\betaβ^ 相互独立。
总偏差平方和的分解：为了度量数据拟合的程度，我们在已经给出残差平方和 RSS{\rm RSS}RSS 的定义的基础上，继续给出回归平方和 ESS{\rm ESS}ESS 以及总偏差平方和 TSS{\rm TSS}TSS 的定义。
回归平方和：
ESS=∑i=1n(y^i−yˉ)2=(Y^−1nyˉ)′(Y^−1nyˉ).{\rm ESS}=\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2=\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)'\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right) \ . ESS=i=1∑n(y^i−yˉ)2=(Y^−1nyˉ)′(Y^−1nyˉ) .总偏差平方和：
TSS=∑i=1n(yi−yˉ)2=(Y−1nyˉ)′(Y−1nyˉ).{\rm TSS}=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2=\left(Y-\boldsymbol{1}_n\bar{y}\right)'\left(Y-\boldsymbol{1}_n\bar{y}\right) \ . TSS=i=1∑n(yi−yˉ)2=(Y−1nyˉ)′(Y−1nyˉ) .判定系数/测定系数：
R2=ESSTSS.R^2=\frac{\rm ESS}{\rm TSS} \ . R2=TSSESS .
称 R=R2R=\sqrt{R^2}R=R2 为复相关系数。
为了探究 TSS,ESS,RSS{\rm TSS},\,{\rm ESS},\,{\rm RSS}TSS,ESS,RSS 之间的关系，需要给出正规方程组的另一个等价写法。写出目标函数：
Q(β)=∑i=1nei2=∑i=1n(yi−β0−β1xi1−⋯−βpxip)2,Q(\beta)=\sum_{i=1}^ne_i^2=\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)^2 \ , Q(β)=i=1∑nei2=i=1∑n(yi−β0−β1xi1−⋯−βpxip)2 ,
关于 β0,β1,⋯,βp\beta_0,\beta_1,\cdots,\beta_pβ0,β1,⋯,βp 分别求偏导数，并令这些导函数等于 000 可得
{∑i=1n(yi−β0−β1xi1−⋯−βpxip)=0,∑i=1n(yi−β0−β1xi1−⋯−βpxip)xi1=0,⋮∑i=1n(yi−β0−β1xi1−⋯−βpxip)xip=0,\left\{\begin{array}{c} \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)=0 \ , \\ \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)x_{i1}=0 \ , \\ \vdots \\ \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)x_{ip}=0 \ , \end{array}\right. ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧i=1∑n(yi−β0−β1xi1−⋯−βpxip)=0 ,i=1∑n(yi−β0−β1xi1−⋯−βpxip)xi1=0 ,⋮i=1∑n(yi−β0−β1xi1−⋯−βpxip)xip=0 ,
这个方程组与 X′Xβ=X′YX'X\beta=X'YX′Xβ=X′Y 等价。由于最小二乘估计 β^0,β^1,⋯,β^p\hat\beta_0,\hat\beta_1,\cdots,\hat\beta_pβ^0,β^1,⋯,β^p 是正规方程组的解，所以
{∑i=1n(yi−β^0−β^1xi1−⋯−β^pxip)=0,∑i=1n(yi−β^0−β^1xi1−⋯−β^pxip)xi1=0,⋮∑i=1n(yi−β^0−β^1xi1−⋯−β^pxip)xip=0,\left\{\begin{array}{l} \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)=0 \ , \\ \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)x_{i1}=0 \ , \\ \qquad \vdots \\ \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)x_{ip}=0 \ , \end{array}\right. ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧i=1∑n(yi−β^0−β^1xi1−⋯−β^pxip)=0 ,i=1∑n(yi−β^0−β^1xi1−⋯−β^pxip)xi1=0 ,⋮i=1∑n(yi−β^0−β^1xi1−⋯−β^pxip)xip=0 ,
由第一个方程可知
∑i=1ne^i=0,1n∑i=1ny^i=yˉ=1n∑i=1nyi.\sum_{i=1}^n\hat{e}_i=0 \ , \quad \frac1n\sum_{i=1}^n\hat{y}_i=\bar{y}=\frac1n\sum_{i=1}^ny_i \ . i=1∑ne^i=0 ,n1i=1∑ny^i=yˉ=n1i=1∑nyi .
所以有
TSS=∑i=1n(yi−yˉ)2=∑i=1n(yi−y^i+y^i−yˉ)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−yˉ)2+2∑i=1n(yi−y^i)(y^i−yˉ)=∑i=1n(yi−y^i)2+∑i=1n(y^i−yˉ)2+0=RSS+ESS.\begin{aligned} {\rm TSS}&=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2 \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i+\hat{y}_i-\bar{y}\right)^2 \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2+\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2+2\sum_{i=1}^n\left(y_i-\hat{y}_i\right)\left(\hat{y}_i-\bar{y}\right) \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2+\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2+0 \\ \\ &={\rm RSS}+{\rm ESS} \ . \end{aligned} TSS=i=1∑n(yi−yˉ)2=i=1∑n(yi−y^i+y^i−yˉ)2=i=1∑n(yi−y^i)2+i=1∑n(y^i−yˉ)2+2i=1∑n(yi−y^i)(y^i−yˉ)=i=1∑n(yi−y^i)2+i=1∑n(y^i−yˉ)2+0=RSS+ESS .
可以看出，R2R^2R2 度量了自变量 x1,x2,⋯,xpx_1,x_2,\cdots,x_px1,x2,⋯,xp 对因变量 yyy 的解释能力，且有 0≤R2≤10\leq R^2\leq10≤R2≤1 。
定理 3.2.5：对于中心化模型，回归平方和 ESS{\rm ESS}ESS 的计算公式为
ESS=β^′Xc′Y=Y′Xc(Xc′Xc)−1Xc′Y.{\rm ESS}=\hat\beta'X_c'Y=Y'X_c\left(X_c'X_c\right)^{-1}X_c'Y \ . ESS=β^′Xc′Y=Y′Xc(Xc′Xc)−1Xc′Y .
由中心化模型可得 Y^=1nα^+Xcβ^\hat{Y}=\boldsymbol 1_n\hat\alpha+X_c\hat\betaY^=1nα^+Xcβ^ ，其中 β^=(β^1,β^2,⋯,β^p)\hat\beta=\left(\hat\beta_1,\hat\beta_2,\cdots,\hat\beta_p\right)β^=(β^1,β^2,⋯,β^p) ，所以有
Y^−1nyˉ=Y^−1nα^=Xcβ^.\hat{Y}-\boldsymbol1_n\bar{y}=\hat{Y}-\boldsymbol1_n\hat\alpha=X_c\hat\beta \ . Y^−1nyˉ=Y^−1nα^=Xcβ^ .
代入 ESS{\rm ESS}ESS 的计算公式得
ESS=(Y^−1nyˉ)′(Y^−1nyˉ)=β^′Xc′Xcβ^=β^′Xc′Y.{\rm ESS}=\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)'\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)=\hat\beta'X_c'X_c\hat\beta=\hat\beta'X_c'Y \ . ESS=(Y^−1nyˉ)′(Y^−1nyˉ)=β^′Xc′Xcβ^=β^′Xc′Y .
【回归分析】03.回归参数的估计(1)相关推荐
- 【应用回归分析】CH3 回归参数的估计1——最小二乘估计
目录 前言 一.经验线性回归方程 1.未知参数的估计 2.经验线性回归方程 3.[例3.1.1]一元线性回归 二.中心化的经验线性回归方程 1.中心化 2.[例3.1.2]一元线性回归(续) 三.标准 ...
- 【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计
目录 一.广义最小二乘估计的推导 二.广义最小二乘估计的性质--[定理3.6.1] 1.定理内容 2.定理证明 3.定理说明 三.简单例子 四.[例3.6.1] 一.广义最小二乘估计的推导 在前面的讨 ...
- 【应用回归分析】CH3 回归参数的估计3——约束最小二乘估计
目录 一.推导 二.定理 三.例题 一.推导 对于线性回归模型,在对参数向量没有附加任何约束条件的情况下,在前面两节我们求出了最小二乘估计并讨论了它的基本性质.但是,在一些检验问题的讨论中或其它一些场 ...
- 基于矩阵计算的线性回归分析方程中系数的估计
一.问题描述: 回归分析就是利用已知的数据来确定回归方程中的系数. 一元线性回归分析是一种非常简单也是非常基本的回归理论,能够用来刻画两个变量之间的以线性关系的变化趋势,进而预测未知点处的数据. 一元 ...
- 机器学习 | MATLAB实现支持向量机回归参数设定
机器学习 | MATLAB实现支持向量机回归参数设定 目录 机器学习 | MATLAB实现支持向量机回归参数设定 基本介绍 参数描述 学习总结 参考资料 基本介绍 RegressionSVM 是一种支 ...
- R语言广义线性模型函数GLM、glm函数构建泊松回归模型（Poisson regression）、输出提供偏差（deviances）、回归参数和标准误差、以及系数的显著性p值
R语言广义线性模型函数GLM.glm函数构建泊松回归模型(Poisson regression).输出提供偏差(deviances).回归参数和标准误差.以及系数的显著性p值 目录
- sklearn逻辑回归参数设置_【机器学习笔记】：逻辑回归实战练习（二）
作者:xiaoyu 微信公众号:Python数据科学 知乎:python数据分析师 前言 前几篇介绍了逻辑回归在机器学习中的重要性:5个原因告诉你:为什么在成为数据科学家之前,"逻辑回归&q ...
- 作业5 | AR模型参数的估计
一.简介 为随机信号建立参数模型是研究随机信号的一种基本方法,其含义是认为随机信号是由白噪激励某一确定系统的响应.只要白噪的参数确定了,研究随机信号就可以转化成研究产生随机信号的系统. 经典信号建模法 ...
- 韦伯分布(Weibull)参数矩估计MATLAB实现
韦伯分布(Weibull)参数矩估计MATLAB实现 二参数韦伯分布概率密度函数 f(x)=βη(xη)β−1e−(xη)β,β>0,η>0,x≥γ≥0f(x)=\frac{\beta}{ ...
最新文章
- 学习 JavaScript （四）核心概念：操作符
- 商务部强势回应 欧盟裁定高额税率方法不合理
- 小明种苹果python_Python实现201909-2（小明种苹果（续））满分代码，带注释
- java自动化初始变量_Java自动化测试-01.环境准备(JDK/环境变量/Intellij IDEA安装)
- HttpClient中的各种请求
- C++ stringstream输入方式
- 4. Jmeter主界面的介绍
- [C# 网络编程系列]：TCP编程
- 如何恢复MAC苹果电脑系统数据文件恢复详细教程
- Office2010安装出错(Error1406)
- 7-45 实验8_2_推销员的便条 (100 分)
- 没有心的男人 2012-02-08 21:11:06
- happen-before是什么
- Qt设计的一个图片查看器
- python批量生成word_实例5：用Python批量生成word版邀请函
- OpenGL 实验一 绘制简单图形
- Github各种账号密码错误的统一解决方案
- Android studio运行出现Unable to determine application id: com.android.tools.idea.run.ApkProvisionExcepti
- Mac下Android的Eclipse开发环境的搭建
- 【CSS】button(按钮)去默认样式