0.多元线性回归

多元线性回归是统计学中经常用到回归方法，一般需满足一下六个条件：

随机误差项是一个期望值或平均值为0的随机变量；

对于解释变量的所有观测值，随机误差项有相同的方差；

随机误差项彼此不相关；

解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立

解释变量之间不存在精确的(完全的)线性关系

随机误差项服从正态分布。

但以上六个条件算是比较严格的条件，在实践中大部分情况下难以满足。由于无法满足假设条件，因此多元线性回归也经常遇到多重共线性、自相关、异方差等问题。下面就总结下这三个常见的问题。

1.多重共线性

多重共线性是解释变量存在线性关系或者近似的线性关系，多重共线性影响的模型一般为底层是线性的模型，例如：回归、SVM等

如果变量间不存在多重共线性，则变量系数组成的矩阵应该是满秩的，且变量间不存在共线性不代表变量间不存在非线性关系

产生变量相关性的原因有很多，一般为经济变量之间的相同变化趋势，模型中包含滞后变量和截面数据等等

1.1多重共线性的检验

计算相关系数，因为相关系数是对线性相关的度量

对于线性回归来说，删除或者增加变量系数是不是有较大变化

系数的正负号是否与现实相违背

系数通不过显著性检验

变量之间做回归，计算可决系数和VIF=1/(1-可决系数)来度量，也称为方差扩大因子法

1.2多重共线性的影响后果

共线性使最小二乘法预估的参数不确定且估计值方差较大，方差较大又会导致参数的置信区间增大

回归显著但是回归系数通不过检验，甚至会出现回归系数的正负号的不到合理的解释

但是如果遇到必须使用这些变量度量且为了预测Y，则可以对这些变量进行线性组合

1.3多重共线性的处理方法

删除变量--这个方法一般不推荐使用，因为删除变量会导致异方差增大，异方差后面会讲到

增加样本容量--这个好像现实中也不是很好实现，毕竟能用的数据肯定都会用的，时效性不强的也没太大用

变换模型--对数据求差分；计算相对指标；吧相关变量做线性组合，即小类合并成大类；----比较靠谱的做法

逐步回归----常用方法，添加删除变量之后做可决系数、F检验和T检验来确定是否增加或者剔除变量，若果增加变量对这些指标的影响较小，也认为指标为多余的，如果增加指标引起R和F的变动且通不过T检验，说明存在共线性---常常使用的方法

岭回归---但是岭回归的参数k不好选择，k的选择严重影响方差和偏倚程度

2.异方差性

什么是异方差呢，我们前面写线性回归的时候说过，做线性回归应假定随机扰动项满足l平均值和同方差，同方差表示的是所有变量对其均值的分散程度相同，由于u=0，所以也可以说是Y围绕回归线均值的分散程度，但是如果u对不同x呈现的离散程度不同，则称u具有异方差性，也就是被解释变量的观测值分散程度随着解释变量的变化而 变化，也可以说异方差是某个解释变量引起的

2.1产生异方差的原因

模型的设定(例如多重共线性变量的删除，但是变量与y具有相关性，也会产生异方差)

测量误差和截面数据的影响

2.3异方差的影响

存在异方差将不能保证最小二乘法估计的方差最小，但是模型的拟合依然是无偏性和一致性，但不具有有效性，即不具有最小方差

异方差会导致参数的方差增大，如果还是使用不存在异方差时的方法进行估计，则会低估参数方差

破坏t检验和f检验的有效性

image

由于参数估计不满足方差最小，所以不是有效的，则对Y的预测也是无效的

2.4异方差的检验

相关图检验---观察随着x的增加y的离散程度是否增加，如果增加说明存在递增的异方差

残差图分析

image

image

image

White检验

基本思想是如果存在异方差，x与u存在相关关系，所以white检验不但可以检验异方差，还可以检验时哪个变量导致的异方差，但该方法要求大样本，但是解释变量过多又会导致丧失自由度，所以一般用u与预测值y和y的平方做回归，用F检验检验是否存在异方差，H0所有系数为0不存在异方差，否则存在异方差

2.5异方差的处理

加权最小二乘法

方差越小，样本偏离均值的程度越小，越重视，权重越大，否则越小，一般权重使用1/x,1/x2,1/根号x

模型对数变换，log之后缩小了异方差的范围

3.自相关

自相关即u存在自相关，即cov(u)不等于0，不满足线性回归的假定

3.1自相关产生的原因

经济活动滞后和经济系统的惯性

3.2自相关的后果

存在自相关将不能保证最小二乘法估计的方差最小，但是模型的拟合依然是无偏性和一致性，但不具有有效性，即不具有最小方差，所以估计的参数不是最佳线性无偏估计

低估真实的方差会导致高估t检验的值，夸大参数显著性，本来不重要的变量会变为重要的变量，失去t检验的意义

方差的变大导致预测变量的区间增加，降低了预测的精度

3.3自相关的检验

残差图---et与e(t-1)的相关图

DW检验

但是DW检验的前提条件较多，首先需要u为一阶自回归，而且回归必须存在常数项

image

image

image

image

3.4自相关的处理

差分法

科克伦--奥克特迭代

基本思想是对变量回归，求残差u，u=相关系数*u(t-1)+随机扰动项

然后根据计算出来的相关系数做差分，yt-相关系数y(t-1)=yt

用yt和xt做回归

然后令最终计算的参数=上一步计算的参数/(1-上一步的相关系数)

迭代直到两次相关系数相差很小时作为最佳的相关系数