①多元线性回归模型及古典假定

1.1多元线性回归模式

多元线性回归模型是指对各个回归参数而言是线性的，而对于变量既可以是线性的，也可以不是线性的。
一般地，由n个单位构成的总体，包含被解释变量Y和k-1个解释变量 X 2 , X 3 , . . . , X k X_2,X_3,...,X_k X2,X3,...,Xk的多元总体线性回归函数的形式为：

Y i = β 1 + β 2 X 2 i + β 3 X 3 i + . . . + β k X k i + u i Y_i=β_1+β_2X_{2i}+β_3X_{3i}+...+β_kX_{ki}+u_i Yi=β1+β2X2i+β3X3i+...+βkXki+ui
在 E ( u i ∣ X 2 i , X 3 i , . . . , X k i ) = 0 E(u_i|X_{2i},X_{3i},...,X_{ki})=0 E(ui∣X2i,X3i,...,Xki)=0的条件下，多元总体线性回归函数的条件均值形式为：
E ( Y ∣ X 2 i , X 3 i , . . . , X k i ) = = β 1 + β 2 X 2 i + β 3 X 3 i + . . . + β k X k i E(Y|X_{2i},X_{3i},...,X_{ki})==β_1+β_2X_{2i}+β_3X_{3i}+...+β_kX_{ki} E(Y∣X2i,X3i,...,Xki)==β1+β2X2i+β3X3i+...+βkXki

在总体线性回归函数中，各个回归系数是未知的，只能利用样本观测值对之进行估计。如果将被解释变量的样本条件均值 Y i ^ \hat{Y_i} Yi^表示为各个解释变量的线性函数，即得多元样本线性回归函数：

Y i ^ = β 1 ^ + β 2 ^ X 2 i + β 3 ^ X 3 i + . . . + β k ^ X k i \hat{Y_i}=\hat{β_1}+\hat{β_2}X_{2i}+\hat{β_3}X_{3i}+...+\hat{β_k}X_{ki} Yi^=β1^+β2^X2i+β3^X3i+...+βk^Xki

β j ^ ( j = 1 , 2 , . . . , k ) \hat{β_j}(j=1,2,...,k) βj^(j=1,2,...,k)是对总体回归参数 β j β_j βj的估计。

多元样本线性回归函数也可以表示为：

Y i = Y i ^ + e i Y_i=\hat{Y_i}+e_i Yi=Yi^+ei
如果有n次样本观测值，则：
Y i = β 1 ^ + β 2 ^ X 2 i + β 3 ^ X 3 i + . . . + β k ^ X k i + e i Y_i=\hat{β_1}+\hat{β_2}X_{2i}+\hat{β_3}X_{3i}+...+\hat{β_k}X_{ki}+e_i Yi=β1^+β2^X2i+β3^X3i+...+βk^Xki+ei

1.2多元线性回归模型的矩阵形式

对被解释变量Y和多个解释变量做n次观测，所得的n次观测值可写为方程组形式：
Y 1 = β 1 + β 2 X 21 + β 3 X 31 + . . . + β k X k 1 + u 1 Y_1=β_1+β_2X_{21}+β_3X_{31}+...+β_kX_{k1}+u_1 Y1=β1+β2X21+β3X31+...+βkXk1+u1
Y 2 = β 1 + β 2 X 22 + β 3 X 32 + . . . + β k X k 2 + u 2 Y_2=β_1+β_2X_{22}+β_3X_{32}+...+β_kX_{k2}+u_2 Y2=β1+β2X22+β3X32+...+βkXk2+u2
…
Y n = β 1 + β 2 X 2 n + β 3 X 3 n + . . . + β k X k n + u n Y_n=β_1+β_2X_{2n}+β_3X_{3n}+...+β_kX_{kn}+u_n Yn=β1+β2X2n+β3X3n+...+βkXkn+un

该方程组也可表示为矩阵形式：
[ Y 1 Y 2 . . . Y n ] = [ 1 X 21 X 31 . . . X k 1 1 X 22 X 32 . . . X k 2 . . . . . . . . . . . . . . . 1 X 2 n X n . . . X k n ] [ β 1 β 2 . . . β k ] + [ u 1 u 2 . . . u n ] \begin{gathered} \begin{bmatrix}Y_1 \\ Y_2 \\ ... \\ Y_n \end{bmatrix}= \begin{bmatrix} 1 & X_{21} & X_{31}& ... & X_{k1} \\ 1 & X_{22} & X_{32}& ... & X_{k2} \\ ... & ... & ... & ... & ... \\ 1 & X_{2n} & X_{n}& ... & X_{kn} \end{bmatrix} \begin{bmatrix} β_1 \\ β_2 \\ ... \\ β_k \end{bmatrix}+ \begin{bmatrix} u_1 \\ u_2 \\ ... \\ u_n \end{bmatrix} \end{gathered} ⎣⎢⎢⎡Y1Y2...Yn⎦⎥⎥⎤=⎣⎢⎢⎡11...1X21X22...X2nX31X32...Xn............Xk1Xk2...Xkn⎦⎥⎥⎤⎣⎢⎢⎡β1β2...βk⎦⎥⎥⎤+⎣⎢⎢⎡u1u2...un⎦⎥⎥⎤
记
Y = [ Y 1 Y 2 . . . Y n ] β = [ β 1 β 2 . . . β k ] U = [ u 1 u 2 . . . u n ] \begin{gathered} Y= \begin{bmatrix}Y_1 \\ Y_2 \\ ... \\ Y_n \end{bmatrix} β= \begin{bmatrix} β_1 \\ β_2 \\ ... \\ β_k \end{bmatrix} U= \begin{bmatrix} u_1 \\ u_2 \\ ... \\ u_n \end{bmatrix} \end{gathered} Y=⎣⎢⎢⎡Y1Y2...Yn⎦⎥⎥⎤β=⎣⎢⎢⎡β1β2...βk⎦⎥⎥⎤U=⎣⎢⎢⎡u1u2...un⎦⎥⎥⎤

X = [ 1 X 21 X 31 . . . X k 1 1 X 22 X 32 . . . X k 2 . . . . . . . . . . . . . . . 1 X 2 n X n . . . X k n ] X= \begin{gathered} \begin{bmatrix} 1 & X_{21} & X_{31}& ... & X_{k1} \\ 1 & X_{22} & X_{32}& ... & X_{k2} \\ ... & ... & ... & ... & ... \\ 1 & X_{2n} & X_{n}& ... & X_{kn} \end{bmatrix} \end{gathered} X=⎣⎢⎢⎡11...1X21X22...X2nX31X32...Xn............Xk1Xk2...Xkn⎦⎥⎥⎤
这里的X是由解释变量 X i j X_{ij} Xij的数据构成的矩阵，其中截距项可视为解释变量总是取值为1。X一般是由非随机变量构成，有时也称为X的数据矩阵或设计矩阵。

这样多元总体线性回归函数的矩阵形式可表示为

Y = X β + U Y=Xβ+U Y=Xβ+U
E ( Y ) = X β E(Y)=Xβ E(Y)=Xβ

类似的，多元样本线性回归函数的矩阵表示为：

Y = X β ^ + e Y=X\hat{β}+e Y=Xβ^+e 或 Y ^ = X β ^ \hat{Y}=X\hat{β} Y^=Xβ^

式中，
Y ^ = [ Y 1 ^ Y 2 ^ . . . Y n ^ ] β ^ = [ β 1 ^ β 2 ^ . . . β k ^ ] e = [ e 1 e 2 . . . e n ] \begin{gathered} \hat{Y}= \begin{bmatrix}\hat{Y_1} \\\hat{ Y_2} \\ ... \\ \hat{Y_n} \end{bmatrix} \hat{β}= \begin{bmatrix} \hat{β_1} \\ \hat{β_2} \\ ... \\ \hat{β_k} \end{bmatrix} e= \begin{bmatrix} e_1 \\ e_2 \\ ... \\ e_n \end{bmatrix} \end{gathered} Y^=⎣⎢⎢⎡Y1^Y2^...Yn^⎦⎥⎥⎤β^=⎣⎢⎢⎡β1^β2^...βk^⎦⎥⎥⎤e=⎣⎢⎢⎡e1e2...en⎦⎥⎥⎤
分别为y的样本估计值向量，回归系数估计值向量，残差向量。

1.3多元线性回归模型的古典假定

多元线性回归模型基本假定如下：

1. 零均值假定
  假定随机扰动项的期望或均值为0，即
  E ( u i ) = 0 ( i = 1 , 2 , . . . , n ) E(u_i)=0(i=1,2,...,n) E(ui)=0(i=1,2,...,n)
  用矩阵可表示为
  E ( U ) = E [ u 1 u 2 . . . u n ] = [ E ( u 1 ) E ( u 2 ) . . . E ( u n ) ] = [ 0 0 . . . 0 ] \begin{gathered} E(U)=E \begin{bmatrix} u_1 \\ u_2 \\ ... \\ u_n \end{bmatrix} = \begin{bmatrix} E(u_1) \\ E(u_2) \\ ... \\ E(u_n) \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ ... \\ 0 \end{bmatrix} \end{gathered} E(U)=E⎣⎢⎢⎡u1u2...un⎦⎥⎥⎤=⎣⎢⎢⎡E(u1)E(u2)...E(un)⎦⎥⎥⎤=⎣⎢⎢⎡00...0⎦⎥⎥⎤
1. 同方差和无自协相关假定
  随机扰动项互不相关且方差相同。
1. 随机扰动项与解释变量不相关假定
  C o v ( X j i , u i ) = 0 Cov(X_{ji},u_i)=0 Cov(Xji,ui)=0 ( j = 2 , 3 , . . . , k ; i = 1 , 2 , . . . , n ) (j=2,3,...,k;i=1,2,...,n) (j=2,3,...,k;i=1,2,...,n)
1. 无多重共线性假定
1. 正态性假定
  随机扰动项 u i u_i ui服从正态分布
  u i u_i ui~ N ( 0 , σ 2 ) N(0,σ^2) N(0,σ2)

②多元线性回归模型的估计

2.1 多元线性回归模型参数的最小二乘估计

按最小二乘原则，采用使估计的剩余平方和最小的原则去确定样本回归函数:
∑ e i = Y i − ( β 1 ^ + β 2 ^ X 2 i + β 3 ^ X 3 i + . . . + β k ^ X k i ) \sum{e_i}=Y_i-(\hat{β_1}+\hat{β_2}X_{2i}+\hat{β_3}X_{3i}+...+\hat{β_k}X_{ki}) ∑ei=Yi−(β1^+β2^X2i+β3^X3i+...+βk^Xki)
使残差平方和 ∑ e i 2 \sum{e_i^2} ∑ei2最小，其必要条件是
偏导 ∂ ( ∑ e i 2 ) ∂ β j ^ = 0 ( j = 1 , 2 , . . . , k ) \frac{\partial(\sum{e_i^2})}{\partial \hat{\beta _j}}=0 (j=1,2,...,k) ∂βj^∂(∑ei2)=0(j=1,2,...,k)
即

[ ∑ e i ∑ X 2 i e i . . . ∑ X k i e i ] = [ 1 1 . . . 1 X 21 X 22 . . . X 2 n . . . . . . . . . X k 1 X k 2 . . . X k n ] [ e i e i . . . e n ] = X ′ e = [ 0 0 . . . 0 ] \begin{gathered} \begin{bmatrix} \sum{e_i} \\ \sum{X_{2i}e_i} \\ ... \\ \sum{X_{ki}e_i} \end{bmatrix} =\begin{bmatrix} 1&1&...&1 \\ X_{21}&X_{22}&...&X_{2n} \\ ...&...&&... \\ X_{k1}&X_{k2}&...&X_{kn} \end{bmatrix} \begin{bmatrix}e_i \\ e_i \\ ... \\ e_n \end{bmatrix} =X'e=\begin{bmatrix}0\\0\\...\\0 \end{bmatrix} \end{gathered} ⎣⎢⎢⎡∑ei∑X2iei...∑Xkiei⎦⎥⎥⎤=⎣⎢⎢⎡1X21...Xk11X22...Xk2.........1X2n...Xkn⎦⎥⎥⎤⎣⎢⎢⎡eiei...en⎦⎥⎥⎤=X′e=⎣⎢⎢⎡00...0⎦⎥⎥⎤
其中 X ′ X' X′为样本观测矩阵X的转置矩阵。
对样本回归函数式 Y = X β ^ + e Y=X\hat{β}+e Y=Xβ^+e两边同乘样本观测矩阵X的转置矩阵 X ′ X' X′，有

X ′ Y = X ′ X β ^ + X ′ e X'Y=X'X\hat{\beta}+X'e X′Y=X′Xβ^+X′e

由极值条件式，故有：

X ′ Y = X ′ X β ^ X'Y=X'X\hat{\beta} X′Y=X′Xβ^

由古典假定条件中的无多重共线性假定，可知 ( X ′ X ) − 1 (X'X)^{-1} (X′X)−1存在，用 ( X ′ X ) − 1 (X'X)^{-1} (X′X)−1左乘上述方程两端，可得多元线性回归模型参数向量β最小二乘估计式的矩阵表达式为：

β ^ = ( X ′ X ) − 1 X ′ Y \hat{\beta}=(X'X)^{-1}X'Y β^=(X′X)−1X′Y
由该式可以看出，参数估计量是样本观测值的函数。

2.2参数最小二乘估计的性质

①线性
最小二乘估计的参数估计量是被解释变量观测值 Y i Y_i Yi的线性组合。即 β j ^ ( j = 1 , 2 , . . . , k ) \hat{\beta_{j}}(j=1,2,...,k) βj^(j=1,2,...,k)为 Y i Y_i Yi的线性函数。
②无偏性
β ^ \hat{\beta} β^是 β \beta β的无偏估计。
③最小方差性
参数向量 β \beta β的最小二乘估计量 β ^ \hat{\beta} β^是 β \beta β的所有线性无偏估计量中方差最小的估计量。

2.3OLS估计的分布性质

在古典假定下， β j ^ ( j = 1 , 2 , . . . , k ) \hat{\beta_{j}}(j=1,2,...,k) βj^(j=1,2,...,k)服从正态分布，即：
β j ^ \hat{\beta_{j}} βj^~ N [ β j , σ 2 c j j ] N[\beta_j,\sigma^2c_{jj}] N[βj,σ2cjj]
c j j c_jj cjj是矩阵 ( X ′ X ) − 1 (X'X)^{-1} (X′X)−1中第j行第j列位置的元素。

2.4 随机扰动项的方差估计

σ ^ 2 = ∑ e i 2 n − k \hat{\sigma}^2=\frac{\sum e_i^2}{n-k} σ^2=n−k∑ei2是随机扰动项方差 σ 2 \sigma^2 σ2的无偏估计。

则 V a r ( β ^ 2 ) = σ ^ 2 c j j = ( ∑ e i 2 n − k ) c j j Var(\hat{\beta}_2)=\hat{\sigma}^2c_{jj}=(\frac{\sum e_i^2}{n-k})c_{jj} Var(β^2)=σ^2cjj=(n−k∑ei2)cjj

③多元线性回归模型的假设检验和区间估计

3.1 拟合优度检验

多重可决系数
多重可决系数可表示为

R 2 = E S S T S S = 1 − R S S T S S = 1 − ∑ e i 2 ∑ ( Y i − Y ‾ ) 2 R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS}=1-\frac{\sum{e_i^2}}{\sum{(Y_i-\overline{Y})^2}} R2=TSSESS=1−TSSRSS=1−∑(Yi−Y)2∑ei2

多重可决系数是介于0和1之间的一个数。 R 2 R^2 R2越接近1，模型对数据的拟合程度就越好。

也可以用矩阵表示

T S S = ∑ ( Y i − Y ‾ ) 2 = ∑ Y i 2 − n Y ‾ 2 = Y ′ Y − n Y ‾ 2 TSS=\sum{(Y_i-\overline{Y})^2}=\sum {Y_i^2}-n\overline{Y}^2=Y'Y-n\overline{Y}^2 TSS=∑(Yi−Y)2=∑Yi2−nY2=Y′Y−nY2

E S S = β ′ X ′ Y − n Y ‾ 2 ^ ESS=\hat{\beta'X'Y-n\overline{Y}^2} ESS=β′X′Y−nY2^

R 2 = E S S T S S = β ′ X ′ Y − n Y ‾ 2 ^ ∑ ( Y i − Y ‾ ) 2 = ∑ Y i 2 − n Y ‾ 2 = Y ′ Y − n Y ‾ 2 R^2=\frac{ESS}{TSS}=\frac{\hat{\beta'X'Y-n\overline{Y}^2}}{\sum{(Y_i-\overline{Y})^2}=\sum {Y_i^2}-n\overline{Y}^2=Y'Y-n\overline{Y}^2} R2=TSSESS=∑(Yi−Y)2=∑Yi2−nY2=Y′Y−nY2β′X′Y−nY2^

修正可决系数
样本容量不变时，随着模型中解释变量的增加，总离差平方和TSS不会改变，而解释平方和ESS可能增大，多重可决系数 R 2 R^2 R2会变大。当被解释变量相同而解释变量个数不同时，这给运用多重可决系数去比较两个模型的拟合程度带来缺陷。
此时用自由度去纠正变差，可以纠正该困难。

修正可决系数 R ‾ 2 = 1 − ∑ e i 2 / ( n − k ) ∑ ( Y i − Y ‾ ) 2 / ( n − 1 ) = 1 − n − 1 n − k ∑ e i 2 ∑ ( Y i − Y ‾ ) 2 \overline{R}^2=1-\frac{\sum{e_i^2}/(n-k)}{\sum{(Y_i-\overline{Y})^2}/(n-1)}=1-\frac{n-1}{n-k}\frac{\sum{e_i^2}}{\sum{(Y_i-\overline{Y})^2}} R2=1−∑(Yi−Y)2/(n−1)∑ei2/(n−k)=1−n−kn−1∑(Yi−Y)2∑ei2

修正可决系数与未修正可决系数的关系：

R 2 ‾ = 1 − ( 1 − R 2 ) n − 1 n − k \overline{R^2}=1-(1-R^2)\frac{n-1}{n-k} R2=1−(1−R2)n−kn−1

可以看出， k > 1 k>1 k>1时， R ‾ 2 ＜ R 2 \overline{R}^2＜R^2 R2＜R2，这意味着随解释变量的增加， R ‾ 2 \overline{R}^2 R2将小于 R 2 R^2 R2。
可决系数 R 2 R^2 R2必定非负；修正可决系数 R 2 ‾ \overline{R^2} R2可能为负值时，规定 R 2 ‾ = 0 \overline{R^2}=0 R2=0。

3.2回归方程的显著性检验(F-检验)

对回归模型整体显著性的检验，检验假设的形式为：
H 0 : β 2 = β 3 = . . . = β k = 0 H_0:\beta_2=\beta_3=...=\beta_k=0 H0:β2=β3=...=βk=0
H 1 ： β j ( j = 2 , 3 , . . . , k ) 不全为零 H_1：\beta_j(j=2,3,...,k)不全为零 H1：βj(j=2,3,...,k)不全为零
在 H 0 H0 H0成立的条件下，统计量F服从自由度为k-1和n-k的F分布

F = E S S / ( k − 1 ) R S S / ( n − k ) F=\frac{ESS/(k-1)}{RSS/(n-k)} F=RSS/(n−k)ESS/(k−1)~ F ( k − 1 , n − k ) F(k-1,n-k) F(k−1,n−k)
给定显著性水平，在F分布表中查自由度为k-1和n-k的临界值 F α ( k − 1 , n − k ) F_\alpha(k-1,n-k) Fα(k−1,n−k)。
将样本观测值代入上式中计算F值，并将F值与临界值 F α ( k − 1 , n − k ) F_\alpha(k-1,n-k) Fα(k−1,n−k)比较。若 F > F α ( k − 1 , n − k ) F>F_\alpha(k-1,n-k) F>Fα(k−1,n−k)，
则拒绝原假设 H 0 H_0 H0，说明各个解释变量联合起来对被解释变量影响显著。
反之若 F < F α ( k − 1 , n − k ) F<F_\alpha(k-1,n-k) F<Fα(k−1,n−k)，则不能拒绝原假设，说明影响不显著。

F统计量与可决系数有如下关系：

F = n − k k − 1 R 2 1 − R 2 F=\frac{n-k}{k-1} \frac{R^2}{1-R^2} F=k−1n−k1−R2R2
即伴随可决系数 R 2 R^2 R2和修正kejuexish R 2 ‾ \overline{R^2} R2的增加，F统计量的值将不断增加。
当 R 2 = 0 R^2=0 R2=0时，F=0。 R 2 R^2 R2越大时，F值也越大； R 2 = 1 R^2=1 R2=1时， F → ∞ F→∞ F→∞。
即对 H 0 : β 2 = β 3 = . . . = β k = 0 H_0:\beta_2=\beta_3=...=\beta_k=0 H0:β2=β3=...=βk=0的检验，等价于对 R 2 = 0 R^2=0 R2=0的检验。即对 R 2 R^2 R2的显著性检验。

3.3回归参数的显著性检验(t检验)

多元线性回归不仅仅要获得较高拟合优度的模型，也不仅是要寻找方程整体的显著性，也要对各个整体回归参数作出有意义的估计。因此还必须分别对每个解释变量进行显著性检验。

回归系数估计量服从如下正态分布：
β j ^ = N [ β j , V a r ( β j ^ ) ] \hat{\beta_j}=N[\beta_j,Var(\hat{\beta_j})] βj^=N[βj,Var(βj^)]
其标准化随机变量服从标准正态分布 Z = β j ^ − β j V a r ( β j ^ ) Z=\frac{\hat{\beta_j}-\beta_j}{\sqrt{Var(\hat{\beta_j})}} Z=Var(βj^) βj^−βj~ N ( 0 , 1 ) N(0,1) N(0,1)
由前边可知，
V a r ( β j ^ ) = σ 2 c j j Var(\hat{\beta_j})=\sigma^2c_{jj} Var(βj^)=σ2cjj，因为 σ 2 \sigma^2 σ2未知，故 V a r ( β j ^ ) Var(\hat{\beta_j}) Var(βj^)也未知。用 σ ^ 2 \hat{\sigma}^2 σ^2代替 σ 2 \sigma^2 σ2作标准化变换，所构造的统计量服从自由度为n-k的t分布。
即 t = β j ^ − β j σ 2 c j j ^ = β j ^ − β j σ ^ c j j t=\frac{\hat{\beta_j}-\beta_j}{\sqrt{\hat{\sigma^2c_{jj}}}}=\frac{\hat{\beta_j}-\beta_j}{\hat{\sigma}\sqrt{c_{jj}}} t=σ2cjj^ βj^−βj=σ^cjj βj^−βj~ t ( n − k ) t(n-k) t(n−k)

用t统计量对各个回归参数作显著性检验，
具体过程如下：
①提出检验假设
H 0 ： β j = 0 H_0：\beta_j=0 H0：βj=0 ( j = 1 , 2 , . . . , k ) (j=1,2,...,k) (j=1,2,...,k)
H 1 ： β j ≠ 0 H_1：\beta_j≠0 H1：βj=0 ( j = 1 , 2 , . . . , k ) (j=1,2,...,k) (j=1,2,...,k)
②计算统计量
在 H 0 H_0 H0成立的条件下， t = β j ^ − 0 σ ‾ c j j = β j ^ σ ^ c j j t=\frac{\hat{\beta_j}-0}{\overline{\sigma}\sqrt{c_{jj}}}=\frac{\hat{\beta_j}}{\hat{\sigma}\sqrt{c_{jj}}} t=σcjj βj^−0=σ^cjj βj^~ t ( n − k ) t(n-k) t(n−k)
根据样本观测值计算t统计量的值：
t ∗ = β j ^ σ ^ c j j t*=\frac{\hat{\beta_j}}{\hat{\sigma}\sqrt{c_{jj}}} t∗=σ^cjj βj^
③检验
给定显著性水平 α \alpha α，查看自由度为n-k的t分布表。得临界值 t α / 2 ( n − k ) t_{α/2}(n-k) tα/2(n−k)。
若 ∣ t ∗ ∣ ≥ t α / 2 ( n − k ) |t^*|≥t_{α/2}(n-k) ∣t∗∣≥tα/2(n−k)，即 t ∗ ≤ − t α / 2 ( n − k ) t^*≤-t_{α/2}(n-k) t∗≤−tα/2(n−k)或 t ∗ ≥ t α / 2 ( n − k ) t^*≥t_{α/2}(n-k) t∗≥tα/2(n−k)，就拒绝 H 0 H_0 H0，不拒绝 H 1 H_1 H1，说明其他解释变量不变的情况下，解释变量X_j对被解释变量Y的影响是显著的。
若 ∣ t ∗ ∣ ＜ t α / 2 ( n − k ) |t^*|＜t_{α/2}(n-k) ∣t∗∣＜tα/2(n−k)，即 − t α / 2 ( n − k ) ＜ t ∗ ＜ t α / 2 ( n − k ) -t_{α/2}(n-k)＜t^*＜t_{α/2}(n-k) −tα/2(n−k)＜t∗＜tα/2(n−k)，就不能拒绝 H 0 H_0 H0，说明其他解释变量不变的情况下，解释变量X_j对被解释变量Y的影响不显著的。

3.4 多元线性回归模型参数的区间估计

给定α，查t分布的自由度为n-k的临界值 t α / 2 ( n − k ) t_{α/2}(n-k) tα/2(n−k)，则有

P [ − t α / 2 ( n − k ) ≤ t ∗ = β j ^ − β j S E ^ ( β j ^ ) ≤ t α / 2 ( n − k ) ] = 1 − α P[-t_{α/2}(n-k)≤t^*=\frac{\hat{\beta_j}-\beta_j}{\hat{SE}(\hat{\beta_j})}≤t_{α/2}(n-k)]=1-\alpha P[−tα/2(n−k)≤t∗=SE^(βj^)βj^−βj≤tα/2(n−k)]=1−α

即
P [ β ^ − t α / 2 S E ^ ( β j ^ ) ≤ β j ≤ β ^ + t α / 2 S E ^ ( β j ^ ) ] = 1 − α P[\hat{\beta}-t_{\alpha/2}\hat{SE}(\hat{\beta_j})≤\beta_j≤\hat{\beta}+t_{\alpha/2}\hat{SE}(\hat{\beta_j})]=1-α P[β^−tα/2SE^(βj^)≤βj≤β^+tα/2SE^(βj^)]=1−α

或
P [ β ^ − t α / 2 σ ^ c j j ≤ β j ≤ β ^ + t α / 2 σ ^ c j j = 1 − α P[\hat{\beta}-t_{\alpha/2}\hat{\sigma}\sqrt{c_{jj}}≤\beta_j≤\hat{\beta}+t_{\alpha/2}\hat{\sigma}\sqrt{c_{jj}}=1-α P[β^−tα/2σ^cjj ≤βj≤β^+tα/2σ^cjj =1−α
此即多元线性回归模型参数的置信度为 1 − α 1-α 1−α的置信区间。

④多元线性回归模型的预测

4.1点预测

设多元线性回归模型为
Y = X β + U Y=X\beta+U Y=Xβ+U
若根据观测样本已经观测出参数的估计量 β ^ \hat{\beta} β^，且通过模型检验，即得到样本回归方程：
Y ^ = X β ^ \hat{Y}=X\hat{\beta} Y^=Xβ^
把样本以外各个解释变量的值表示为行向量X_f=(1,X_{2f},X_{3f},…,X_{4f})，直接代入所估计的多元样本回归函数，即可得到解释变量的点预测值：
Y ^ = X f β ^ = β 1 ^ + β 2 ^ X 2 f + β 3 ^ X 3 f + . . . + β k ^ X k f \hat{Y}=X_f\hat{\beta}=\hat{\beta_1}+\hat{\beta_2}X_{2f}+\hat{\beta_3}X_{3f}+...+\hat{\beta_k}X_{kf} Y^=Xfβ^=β1^+β2^X2f+β3^X3f+...+βk^Xkf
两边取期望得：
E ( Y ^ ) = E ( β 1 ^ + β 2 ^ X 2 f + β 3 ^ X 3 f + . . . + β k ^ X k f ) = β 1 + β 2 X 2 f + β 3 X 3 f + . . . + β k X k f = E ( Y f ) E(\hat{Y})=E(\hat{\beta_1}+\hat{\beta_2}X_{2f}+\hat{\beta_3}X_{3f}+...+\hat{\beta_k}X_{kf})=\beta_1+\beta_2X_{2f}+\beta_3X_{3f}+...+\beta_kX_{kf}=E(Y_f) E(Y^)=E(β1^+β2^X2f+β3^X3f+...+βk^Xkf)=β1+β2X2f+β3X3f+...+βkXkf=E(Yf)
说明KaTeX parse error: Expected group after '^' at position 2: Y^̲是 E ( Y f ) E(Y_f) E(Yf)的无偏估计，可以用 Y f ^ \hat{Y_f} Yf^作为 E ( Y f ) E(Y_f) E(Yf)和 Y f Y_f Yf的点预测值。

4.2平均值 E ( Y f ) E(Y_f) E(Yf)的区间预测

Y f Y_f Yf平均值 E ( Y f ) E(Y_f) E(Yf)的置信度为 1 − α 1-\alpha 1−α的预测区间为：
Y f ^ − t α / 2 σ ^ X f ( X ′ X ) − 1 X f ′ ≤ E ( Y f ) ≤ Y f ^ + t α / 2 σ ^ X f ( X ′ X ) − 1 X f ′ \hat{Y_f}-t_{\alpha/2}\hat{\sigma}\sqrt{X_f(X'X)^{-1}X'_f}≤E(Y_f)≤\hat{Y_f}+t_{\alpha/2}\hat{\sigma}\sqrt{X_f(X'X)^{-1}X'_f} Yf^−tα/2σ^Xf(X′X)−1Xf′ ≤E(Yf)≤Yf^+tα/2σ^Xf(X′X)−1Xf′

4.3个别值 Y f Y_f Yf的区间预测

Y f ^ − t α / 2 σ ^ 1 + X f ( X ′ X ) − 1 X f ′ ≤ E ( Y f ) ≤ Y f ^ + t α / 2 σ ^ 1 + X f ( X ′ X ) − 1 X f ′ \hat{Y_f}-t_{\alpha/2}\hat{\sigma}\sqrt{1+X_f(X'X)^{-1}X'_f}≤E(Y_f)≤\hat{Y_f}+t_{\alpha/2}\hat{\sigma}\sqrt{1+X_f(X'X)^{-1}X'_f} Yf^−tα/2σ^1+Xf(X′X)−1Xf′ ≤E(Yf)≤Yf^+tα/2σ^1+Xf(X′X)−1Xf′

三、多元线性回归模型（计量经济学学习笔记）相关推荐

《计量经济学》学习笔记之多元线性回归模型
导航上一章:一元线性回归模型下一章:放宽基本假定的模型文章目录导航 3.1多元线性回归模型一.多元线性回归模型二.多元线性回归的基本假设 3.2多元线性回归模型的参数估计四.参数统计量的 ...
【统计学习系列】多元线性回归模型（三）——参数估计量的性质
文章目录 1. 前文回顾 2. 衡量参数估计量好坏的指标 2.1 无偏性 2.2 一致性 2.3 有效性 3. 一些引理(可略) 3.1 期望运算的线性性 3.2 协方差运算的半线性性 3.3 矩阵迹 ...
回归方程的拟合优度检验_计量经济学第四讲（多元线性回归模型：基本假定，参数估计，统计检验）...
第三章.经典单方程计量经济学模型:多元线性回归模型 3.1多元线性回归模型及其基本假定 3.1.1多元回归模型及其表示解释变量至少有两个的线性回归模型,一般形式为如果不作说明, 是不包括常数项的解 ...
【统计学习系列】多元线性回归模型（五）——参数与模型的显著性检验：t检验与F检验
文章目录 1. 前文回顾 2. 单参数显著性检验--t检验 2.1 问题的提出 2.2 检验统计量--t统计量的构造 2.3 拒绝域的构造 2.4 浅谈p值 3. 回归方程显著性检验--F检验 3.1 ...
【统计学习系列】多元线性回归模型（四）——模型的参数估计II：区间估计
文章目录 1. 前文回顾 2. ***β*** 的区间估计 2.1 t统计量的构造 2.2 估计区间 3. *σ* 的区间估计 3.1 卡方统计量的构造 3.2 估计区间 4. ***y*** 的区间 ...
【统计学习系列】多元线性回归模型（六）——模型拟合质量评判：RMSE、R方、改进R方、AIC\BIC\SIC
文章目录 1. 前文回顾 2. 一些引理与离差平方和分解定理(可略) 2.1 引理1 2.2 引理2 2.3 引理3 2.4 平方和分解定理 3. 拟合优度评价指标I--均方根误差(RMSE) 4. ...
Python 实战多元线性回归模型，附带原理+代码
作者 | 萝卜来源 | 早起Python( ID:zaoqi-python ) 「多元线性回归模型」非常常见,是大多数人入门机器学习的第一个案例,尽管如此,里面还是有许多值得学习和注意的地方.其中多 ...
python多元线性回归模型案例_Python 实战多元线性回归模型，附带原理+代码
原标题:Python 实战多元线性回归模型,附带原理+代码作者 | 萝卜来源 | 早起Python( ID:zaoqi-python ) 「多元线性回归模型」非常常见,是大多数人入门机器学习的第一 ...
原理 + 代码 | Python 实现多元线性回归模型 (建模 + 优化，附源数据)
前言多元线性回归模型非常常见,是大多数人入门机器学习的第一个案例,尽管如此,里面还是有许多值得学习和注意的地方.其中多元共线性这个问题将贯穿所有的机器学习模型,所以本文会将原理知识穿插于代码段中,争 ...

三、多元线性回归模型（计量经济学学习笔记）

①多元线性回归模型及古典假定

1.1多元线性回归模式

1.2多元线性回归模型的矩阵形式

1.3多元线性回归模型的古典假定

②多元线性回归模型的估计

2.1 多元线性回归模型参数的最小二乘估计

2.2参数最小二乘估计的性质

2.3OLS估计的分布性质

2.4 随机扰动项的方差估计

③多元线性回归模型的假设检验和区间估计

3.1 拟合优度检验

3.2回归方程的显著性检验(F-检验)

3.3回归参数的显著性检验(t检验)

3.4 多元线性回归模型参数的区间估计

④多元线性回归模型的预测

4.1点预测

4.2平均值 E ( Y f ) E(Y_f) E(Yf)的区间预测

4.3个别值 Y f Y_f Yf的区间预测

三、多元线性回归模型（计量经济学学习笔记）相关推荐

最新文章

热门文章

三、多元线性回归模型（计量经济学学习笔记）

①多元线性回归模型及古典假定

1.1多元线性回归模式

1.2多元线性回归模型的矩阵形式

1.3多元线性回归模型的古典假定

②多元线性回归模型的估计

2.1 多元线性回归模型参数的最小二乘估计

2.2参数最小二乘估计的性质

2.3OLS估计的分布性质

2.4 随机扰动项的方差估计

③多元线性回归模型的假设检验和区间估计

3.1 拟合优度检验

3.2回归方程的显著性检验(F-检验)

3.3回归参数的显著性检验(t检验)

3.4 多元线性回归模型参数的区间估计

④多元线性回归模型的预测

4.1点预测

4.2平均值 E ( Y f ) E(Y_f) E(Yf​)的区间预测

4.3个别值 Y f Y_f Yf​的区间预测

三、多元线性回归模型（计量经济学学习笔记）相关推荐

最新文章

热门文章

4.2平均值 E ( Y f ) E(Y_f) E(Yf)的区间预测

4.3个别值 Y f Y_f Yf的区间预测