《计量经济学》学习笔记之多元线性回归模型

文章目录

导航
3.1多元线性回归模型
- 一、多元线性回归模型
- 二、多元线性回归的基本假设
3.2多元线性回归模型的参数估计
- 四、参数统计量的统计性质
- 五、样本容量问题
3.3多元线性回归模型的统计检验
- 一、拟合优度检验
- 二、方程总体线性的显著性检验(F检验)
- 三、变量的显著性检验(t检验)
- 四、参数的置信区间
3.4多元线性回归模型的预测
3.5可化为线性的多元非线性回归模型
- 一、模型的类型与变换
- 三、非线性普通最小二乘法
3.6受约束回归
- 一、模型参数的线性约束
- 二、对回归模型增加或减少解释变量
- 三、参数的稳定性

3.1多元线性回归模型

一、多元线性回归模型

●多元线性回归模型的一般形式为：

Y=β₀+β₁*X₁+β₂*X₁+⋯+β_k*X₁+μ

其中k为解释变量的数目, β_j (j=0,1,⋯,k)称为回归系数。上式也被称为总体随机函数的随机表达形式。人们习惯上把常数项看作一个虚变量的参数，在参数估计过程中该虚变量的样本观测值始终取1。这样，模型中解释变量的数目为k+1.
●总体随机函数的非随机表达形式：

E(Y|X₁,X₂,⋯,X_k)=β₀+β₁*X₁+β₂*X₁+⋯+β_k*X₁

可见，多元回归分析是以多个解释变量的给定值为条件的回归分析.上式表示，各解释变量X值给定时Y的平均响应。β_j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，X_j每变化一个单位时，Y的均值E(Y)的变化。

二、多元线性回归的基本假设

●为了使参数估计量具有良好的统计性质，对多元线性回归模型可做出类似于一元线性回归分析那样的若干基本假设：
①回归模型是正确设定的。
②解释变量X₁,X₂⋯,X_k是非随机的或固定的，且各X_j之间不存在严格的线性相关性(无完全多重共线性)。
③各解释变量X_j在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量的样本方差趋近于一个非零的有限常数。
④随机误差项具有条件零均值、同方差及不序列相关。
⑤解释变量与随机项不相关
⑥随机项满足正态分布。

3.2多元线性回归模型的参数估计

●多元线性回归在满足3.1节所列出的基本假设的情况下，可采用如下方法进行参数估计：
①普通最小二乘法
②最大似然法
③矩估计法

四、参数统计量的统计性质

●当多元回归模型满足基本假设时，其参数的最小二乘估计、最大似然估计及距估计仍然具有线性性、无偏性和有效性。同时，随着样本容量增加，即当n→+∞时，参数估计量具有渐进无偏、一致性及渐进有效性。

五、样本容量问题

●所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管参数估计量的质量如何，所要求的样本容量的下限。即样本容量必须不少于模型中解释变量的数目(包含常数项),这就是最小样本容量。
●虽然满足最小样本容量，可以得到参数估计量。但当样本容量n太小时，除了参数估计量不好以外，一些建立模型所需的后续工作也无法进行。所以一般经验认为，当n>=30或者至少n>=3(k + 1)时，才能说满足模型估计的一般要求。
●如果出现样本容量较小，甚至少于“最小样本容量”的情况，那么只依靠样本信息是无法完成模型估计的。这时需要引入非样本信息，如先验信息和后验信息，并采用其他估计方法，如贝叶斯估计方法，才能完成模型的参数估计。

3.3多元线性回归模型的统计检验

一、拟合优度检验

●可决系数与调整的可决系数
可决系数：

ESS为回归平方和, RSS为残差平方和,TSS为总离差平方和.

调整后的可决系数：

调整的可决系数与可决系数之间的关系：

●赤池信息准则(AIC)和施瓦茨准则(SC)
为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用AIC准则和SC准则，其定义分别为:

二、方程总体线性的显著性检验(F检验)

●方程总体线性的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立，作出推断。
●方程显著性的F检验
F检验思想来源于总离差平方和的分解式：

TSS=ESS+RSS F检验的统计量： ![](https://img-blog.csdnimg.cn/20200308224518904.png#pic_center)

服从自由度为(k,n-k-1)的F分布。
因此，给定显著性水平α，当：F>F_α (k,n-k-1)时，拒绝原假设，则原方程线性关系显著；反之，当：F<F_α (k,n-k-1)时，不能拒绝原假设，则原方程线性关系不显著.
●关于拟合优度检验和方程总体线性的显著性检验之间的关系:

由上式可知F与R²同向变化。当R²=0时，F = 1,当R²=1时，F为无穷大。因此，F检验是所估计回归方程的总显著性的一个度量，也是R²的一个显著性检验，亦即，检验原假设H₀:β₁=0,β₂=0,⋯β_k=0,等价于检验R²=0这一虚拟假设.
我们在应用中，不必对R²过分苛求，重要的是考察模型的经济关系是否合理。

三、变量的显著性检验(t检验)

●在一元线性回归中，t检验和F检验是一致的。

F=t²

●没有绝对的显著性水平。关键是考察变量在经济关系上是否对解释变量有影响，显著性检验起到验证作用；同时，还要看显著性水平不太高的变量在模型中的作用，不要简单地剔除变量。

四、参数的置信区间

●在1-α的置信度下β_j的置信区间是：

3.4多元线性回归模型的预测

●若给定样本以外的解释变量的观测值X₀,可以得到被解释变量的预测值：

严格的说这只是被解释变量预测值的估计值，而不是预测值。为了进行科学的预测，还需求出预测值的置信区间，包括均值E(Y₀)和点预测值Y₀的置信区间。
●给定1-α的置信水平下E(Y₀)置信区间：

●给定1-α的置信水平下Y₀的置信区间：

3.5可化为线性的多元非线性回归模型

●在实际生活中，经济变量的关系是复杂的，直接表现为线性关系的情况并不多。但是这些非线性模型又可以通过一些简单地数学处理，使之化为数学上的线性关系，从而可以运用线性回归的方法建立线性计量经济学模型。

一、模型的类型与变换

●模型的类型与变换
1.倒数模型、多项式模型与变量的直接置换法
2.幂函数模型、指数函数模型与函数变换法
3.复杂函数模型与级数展开法

三、非线性普通最小二乘法

●普通最小二乘原理
●高斯-牛顿迭代法
●牛顿-拉弗森迭代法
无论是高斯-牛顿迭代法还是牛顿-拉弗森迭代法，都存在一个问题，即如何保证迭代所逼近的是总体极小值(即最小值)而不是局部极小值？这就需要选择不同的初值，进行多次迭代求解。

3.6受约束回归

一、模型参数的线性约束

●在同一数据样本下，记无约束样本回归模型的矩阵式为：

记受约束样本回归模型的矩阵式为：

可以证明：

受约束样本回归模型的残差平方和不小于无约束样本回归模型的残差平方和，且两者总离差平方和相等，于是，受约束样本回归模型的回归平方和ESS_R不大于无约束样本回归模型的回归平方和ESS_U。这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。
但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，从而使得RSS_R和RSS_U的差异变小。于是，可用RSS_R-RSS_U的大小来检验约束条件的真实性。

●我们可以通过如下F统计量对约束条件的真实性进行检验：

根据该统计量，如果约束条件为真，则F统计量较小，不能拒绝原假设；如果约束条件为假，则F统计量较大，拒绝原假设。

二、对回归模型增加或减少解释变量

●建立回归模型时，一个重要的问题是如何判断增加重要的解释变量或去除不必要的解释变量。t检验可以对单个变量的取舍进行判断，而线性约束模型的F检验，则能对多个变量的取舍同时进行判断。

●考虑如下两个回归模型：

(1)可以看成是(2)施加了如下约束条件的受约束回归：

相应的F统计量为：

另一个等价的式子：

R²_U和R²_R分别为无约束和受约束回归方程的可决系数。

三、参数的稳定性

●邹氏参数稳定性检验
●邹氏预测检验