异方差

文章目录

异方差
- @[toc]
- - 1 异方差的一些例子
  - 2 什么是异方差
  - 3异方差产生的原因
  - 4 异方差后果
  - 5 如何识别异方差
  - - 5.1 图示法
    - 5.2 哥德菲尔德-夸特检验
    - 5.3 怀特检验
    - 5.4 Bp检验（布鲁奇-帕甘）
  - 6 补救
  - - 6.1 使用“OLS + 稳健标准误”
    - 6.2 广义最小二乘法 GLS
    - 6.3 加权最小二乘法WLS
    - 6.4 可行广义最小二乘法FGLS

1 异方差的一些例子

在消费函数，不同收入群体，消费的波动差距是否相同？
Ci=α+βYi+εiC_i = \alpha + \beta Y_i + \varepsilon_i Ci=α+βYi+εi
在企业成本函数，大企业与小企业规模经济存在差异
股票收益率数据也可能出现条件异方差ARCH 模型情形。

2 什么是异方差

经典线性回归方程
y=βX+εy = \boldsymbol \beta \boldsymbol X +\boldsymbol \varepsilon y=βX+ε
普通最小二乘（OLS）估计量
β^ols=(X′X)−1X′Y=(X′X)−1X′(βX+ε)=β+(X′X)−1X′ε\hat {\boldsymbol \beta}_{ols} = (X'X)^{-1}X'Y = (X'X)^{-1}X'(\boldsymbol \beta \boldsymbol X+\varepsilon) = \boldsymbol \beta+(X'X)^{-1}X'\varepsilon β^ols=(X′X)−1X′Y=(X′X)−1X′(βX+ε)=β+(X′X)−1X′ε
其方差协方差矩阵：
Var−Cov(β^)=E(β^−E(β^)(β^−E(β^)′)=E((X′X)−1X′εε′X(X′X)−1)=(X′X)−1X′E(εε′)X(X′X)−1\begin{aligned} Var-Cov(\hat \beta) & = E(\hat \beta-E(\hat \beta)(\hat \beta-E(\hat \beta)')\\ &=E((X'X)^{-1}X'\varepsilon \varepsilon'X (X'X)^{-1})\\ & = (X'X)^{-1}X'E(\varepsilon \varepsilon')X (X'X)^{-1} \end{aligned} Var−Cov(β^)=E(β^−E(β^)(β^−E(β^)′)=E((X′X)−1X′εε′X(X′X)−1)=(X′X)−1X′E(εε′)X(X′X)−1
在同方差假设下：
E(εε’)=σ2I=[σ20⋯00σ2⋯0⋮⋮⋮00⋯σ2]E(\varepsilon \varepsilon’)= \sigma^2I = \left[\begin{array}{cccc} \sigma^2 & 0 &\cdots&0\\ 0 & \sigma^2 &\cdots&0\\ \vdots & \vdots & &\vdots\\ 0 & 0 &\cdots &\sigma^2 \end{array}\right] E(εε’)=σ2I=⎣⎢⎢⎢⎡σ20⋮00σ2⋮0⋯⋯⋯00⋮σ2⎦⎥⎥⎥⎤
于是
Var−Cov(β^)=σ2(X′X)−1Var-Cov(\hat \beta) = \sigma^2(X'X)^{-1} Var−Cov(β^)=σ2(X′X)−1

在实际建模中，扰动项的方差并不是
Var(ε)=σi2f(X)Var(\varepsilon) = \sigma_i^2f(X) Var(ε)=σi2f(X)

3异方差产生的原因

OLS假设条件苛刻：球形扰动项
模型设定偏误，导致非线性的变量遗漏
知道但无法获取的特征变量的遗漏变，增加了扰动项的波动性

例如，设真实模型：
y=a+bx1+cx2+uy = a + bx_1 + cx_2+u y=a+bx1+cx2+u
由于遗漏了变量x2x_2x2，实际建模为:
y=a+bx1+v;v=cx2+uy = a + bx_1+v;v = cx_2+u y=a+bx1+v;v=cx2+u
此时新的扰动项vvv的方差为：
Var(v)=Cov(cx2+u,cx2+u)=c2σx2+σu2>σu2Var (v) = Cov(cx_2+u,cx_2+u) = c^2\sigma_x^2+\sigma_u^2>\sigma_u^2 Var(v)=Cov(cx2+u,cx2+u)=c2σx2+σu2>σu2

模型设定误差模型为非线性模型，但却设定为线性模式（库兹涅茨效应）
变量选择：变量的测度不准确，被解释变量yyy,与解释变量xxx的观测误差导致方差增大

4 异方差后果

（1）参数无偏性不受影响

E(β^)=βE(\hat \beta) = \beta E(β^)=β

证明：
β^ols=β+(X′X)−1X′ε\hat {\boldsymbol \beta}_{ols} = \boldsymbol \beta+(X'X)^{-1}X'\varepsilon β^ols=β+(X′X)−1X′ε
故
E(β^)=E(β+(X′X)−1X′ε)=βE(\hat \beta) =E( \boldsymbol \beta+(X'X)^{-1}X'\varepsilon) = \beta E(β^)=E(β+(X′X)−1X′ε)=β
（2）有效性降低
存在异方差时，球形扰动假设不能满足，参数OLS估计量的方差不再是最小的方差。有效性定义为
Var(β^∗)≤Var(β′),∀β′Var(\hat \beta^{*}) \le Var(\beta^{\prime}),\forall \beta^{'} Var(β^∗)≤Var(β′),∀β′
则说β^∗\hat{\beta}^{*}β^∗在对应的估计方法下，其参数估计量具有有效性。在球形扰动条件下，OLS的方差最有效，反之，不满足球形扰动就不是最有效。根据一元线性回归方程公式
Var(β^)=σ2Σxi2;t=β^Var(β^)Var(\hat\beta) = \frac{\sigma^2}{\Sigma x_i^2};t = \frac{\hat\beta}{\sqrt{Var(\hat\beta) }} Var(β^)=Σxi2σ2;t=Var(β^)β^
（3）对系数显著性影响

在OLSOLSOLS经典回归模型中，估计量βols\beta_{ols}βols是最佳有效线性估计量，因此其方差是所有估计量中最小方差。异方差则不是最小方差，从而导致统计量ttt变小，容易扭曲系数的显著性：本应该显著的回归系数因为异方差原因低估了回归系数的显著性。

（4）对假设检验影响

系数检验t检验：一元线性回归为例，Var(β^)≠σ2/Σxi2Var(\hat\beta) \ne \sigma^2/\Sigma x_i^2Var(β^)=σ2/Σxi2,从而ttt统计量不是真实的统计量，影响系数显著性。
方程显著性检验F统计量：

5 如何识别异方差

5.1 图示法

画相关散点图
横轴为考察的自变量xxx，纵轴为被解释变量yyy，画出二者散点图。在xxx条件下yyy的变化的波动存在较大差异
残差图：
先利用OLS回归得到回归模型的的残差值eee，画eee与自变量xxx的散点图，当eee随着xxx变化存在明显的变化趋势时，可经验判断具有异方差

5.2 哥德菲尔德-夸特检验

前置条件

此检验只适用于大样本
仅解决同方差不成立情形

step1: 将解释变量按照从小到达顺序排序

step2: 排列在中间的CCC个（约1/4）的观察值删除掉，再将剩余的观测值分为两个部分，每部分观察值的个数为(n−c)/2(n-c)/2(n−c)/2。

step3: 提出假设。即 :H0H_0H0两部分数据的方差相等； H1H_1H1两部分数据的方差不相等

step4: 构造F统计量。分别对上述两个部分的观察值作回归，由此得到的两个部分的残差平方和Σe1i2\Sigma e_{1i}^2Σe1i2与Σe2i2\Sigma e_{2i}^2Σe2i2，自由度均为(n−c)/2−k(n-c)/2-k(n−c)/2−k

step5: 在原假设条件下，构造统计量
F⋆=∑e2i2/[n−c2−k]∑e1i2/[n−c2−k]=∑e2i2∑e1i2∼F(n−c2−k,n−c2−k)F^{\star}=\frac{\sum e_{2 i}^{2} /\left[\frac{n-c}{2}-k\right]}{\sum e_{1 i}^{2} /\left[\frac{n-c}{2}-k\right]}=\frac{\sum e_{2 i}^{2}}{\sum e_{1 i}^{2}} \sim F\left(\frac{n-c}{2}-k, \frac{n-c}{2}-k\right) F⋆=∑e1i2/[2n−c−k]∑e2i2/[2n−c−k]=∑e1i2∑e2i2∼F(2n−c−k,2n−c−k)
step6: 判断。若F⋆>F(n−c2−k,n−c2−k)F^{\star}>F\left(\frac{n-c}{2}-k, \frac{n-c}{2}-k\right)F⋆>F(2n−c−k,2n−c−k)，则拒绝原假设，存在异方差

局限性：前半部分与后半部分同方差，而中间可能部分存在异方差

5.3 怀特检验

σi2=σ2f(Xi)\sigma_i^2 = \sigma^2f(X_i) σi2=σ2f(Xi)
表明扰动项方差关于自变量XXX的函数，那么用扰动项对XXX求回归，以判断哪些自变量对方差产生显著的影响。由于总体数据无法获取，因此利用样本数据回归得到的残差平方和ei2e_i^2ei2对自变量XXX进行OLSOLSOLS回归.例如
y=b^0+b^1x1+b^2x2+ey = \hat b_0 +\hat b_1 x_1+\hat b_2x_2+e y=b^0+b^1x1+b^2x2+e
得到残差：
e=y−y^e = y - \hat y e=y−y^
再构造辅助回归：
ei2=a0+a1x1+a2x2+a3x12+a4x42+a5x1x2+ve_i^2 = a_0+a_1x_1+a_2x_2+a_3x_1^2+a_4x_4^2+a_5x_1x_2+v ei2=a0+a1x1+a2x2+a3x12+a4x42+a5x1x2+v
R2R^2R2为辅助回归可决系数。在原假设：H0:αi(i=1,3,……5)=0H_0:\alpha_i(i= 1,3,……5)= 0H0:αi(i=1,3,……5)=0成立条件下，计算统计量nR2nR^2nR2，其中nnn为样本，进行比较，若
nR2>χ2(5)nR^2 > \chi^2(5) nR2>χ2(5)
则拒绝原假设，存在异方差。原假设：
H0:E(εi2∣x2,⋯,xK)=σ2H_{0}: \mathrm{E}\left(\varepsilon_{i}^{2} \mid x_{2}, \cdots, x_{K}\right)=\sigma^{2} H0:E(εi2∣x2,⋯,xK)=σ2
u^2=δ0+∑j=1kδjxj+∑j=1k∑p=jkδjpxjxp+v\hat{u}^{2}=\delta_{0}+\sum_{j=1}^{k} \delta_{j} x_{j}+\sum_{j=1}^{k} \sum_{p=j}^{k} \delta_{j p} x_{j} x_{p}+v u^2=δ0+j=1∑kδjxj+j=1∑kp=j∑kδjpxjxp+v
LM=nRu2∼χk(k+1)/2+k2L M=n R_{u}^{2} \sim \chi_{k(k+1) / 2+k}^{2} LM=nRu2∼χk(k+1)/2+k2

评价：可以检验任何形式的异方差；缺点：如果H0H_0H0被拒绝，并不提供有关异方差具体形式的信息。

5.4 Bp检验（布鲁奇-帕甘）

构造辅助回归
ei2=a0+a1x1+a2x2+erroe_i^2 = a_0+a_1x_1+a_2x_2+erro ei2=a0+a1x1+a2x2+erro
使用nR2nR^2nR2统计量：
nR2⟶dχ2(K−1)n R^{2} \stackrel{d}{\longrightarrow} \chi^{2}(K-1) nR2⟶dχ2(K−1)
BP 检验的优点在于其建设性，可帮助确认异方差的具体形式。但不含二次项形式。或者一种更简练的节省自由度的方法：
ei2=a+by^i+erroe_i^2 = a + b\hat y_i+erro ei2=a+by^i+erro
ei2=a+by^i+cy^2+erroe_i^2 = a + b\hat y_i+c \hat y^2+erro ei2=a+by^i+cy^2+erro

6 补救

6.1 使用“OLS + 稳健标准误”

这是最简单，也是目前通用的方法。只要样本容量较大，即使在异方差的情况下，若使用稳健标准误，则所有参数估计、假设检验均可照常进行。ols回归系数方差公式
Cov⁡(β^∣x)=(x′x)−1x′E(uu′∣x)x(x′x)−1\operatorname{Cov}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1} x^{\prime} \mathrm{E}\left(u u^{\prime} \mid x\right) x\left(x^{\prime} x\right)^{-1} Cov(β^∣x)=(x′x)−1x′E(uu′∣x)x(x′x)−1
异方差稳健方差：
Cov⁡^(β^∣x)=(x′x)−1(∑u^i2xi′xi)(x′x)−1\widehat{\operatorname{Cov}}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1}\left(\sum \hat{u}_{i}^{2} x_{i}^{\prime} x_{i}\right)\left(x^{\prime} x\right)^{-1} Cov(β^∣x)=(x′x)−1(∑u^i2xi′xi)(x′x)−1
聚类稳健标准方差：
Cov⁡^(β^∣x)=(x′x)−1(∑g=1Gxg′u^g′u^gxg)(x′x)−1\widehat{\operatorname{Cov}}(\hat{\beta} \mid x)=\left(x^{\prime} x\right)^{-1}\left(\sum_{g=1}^{G} x_{g}^{\prime} \hat{u}_{g}^{\prime} \hat{u}_{g} x_{g}\right)\left(x^{\prime} x\right)^{-1} Cov(β^∣x)=(x′x)−1(g=1∑Gxg′u^g′u^gxg)(x′x)−1

6.2 广义最小二乘法 GLS

假设Var⁡(ε∣X)=E(εε′∣X)=σ2V(X)≠σ2In\operatorname{Var}(\varepsilon \mid \boldsymbol{X})=E(\varepsilon\varepsilon'|X)=\sigma^{2} \boldsymbol{V}(\boldsymbol{X}) \neq \sigma^{2} \boldsymbol{I}_{n}Var(ε∣X)=E(εε′∣X)=σ2V(X)=σ2In，且V(X)\boldsymbol{V}(\boldsymbol{X})V(X)正定对称且已知，基本思想：通过变量转换，使得转换后的模型满足球型扰动项的假定。

定理：对于任意正定对称矩阵Vn×n\boldsymbol{V}_{n\times n}Vn×n,存在非退化矩阵Cn×n\boldsymbol{C}_{n\times n}Cn×n，使得V−1=C′C\boldsymbol {V}^{-1} = \boldsymbol {C}^{\prime}\boldsymbol{C}V−1=C′C。矩阵C\boldsymbol CC不唯一，但不影响最终结果

设回归模型
y=Xβ+εy=X \beta+\varepsilon y=Xβ+ε
两边同时左乘矩阵CCC得：
Cy=CXβ+CεC y=C X \beta+C \varepsilon Cy=CXβ+Cε
定义变量转换：
y~≡Cy,X~≡CX,ε~≡Cε\tilde{y} \equiv C y, \tilde{X} \equiv C X, \tilde{\varepsilon} \equiv C \varepsilon y~≡Cy,X~≡CX,ε~≡Cε
可将模型写为：
y~=X~β+ε~\tilde{y}=\tilde{X} \beta+\tilde{\varepsilon} y~=X~β+ε~
变换后的模型仍满足严格外生性：
E(ε~∣X~)=E(Cε∣CX)=E(Cε∣X)=CE(ε∣X)=0\mathrm{E}(\tilde{\boldsymbol{\varepsilon}} \mid \tilde{\boldsymbol{X}})=\mathrm{E}(\boldsymbol{C} \boldsymbol{\varepsilon} \mid \boldsymbol{C X})=\mathrm{E}(\boldsymbol{C} \boldsymbol{\varepsilon} \mid \boldsymbol{X})=\boldsymbol{C} \mathrm{E}(\boldsymbol{\varepsilon} \mid \boldsymbol{X})=\boldsymbol{0} E(ε~∣X~)=E(Cε∣CX)=E(Cε∣X)=CE(ε∣X)=0
球型扰动项的假定也得到满足：
Var⁡(ε~∣X~)=E(ε~ε~′∣X)=E(Cεε′C′∣X)=CE(εε′∣X)C′=σ2CVC′=σ2C(V−1)−1C′=σ2C(C′C)−1C′=σ2CC−1(C′)−1C′=σ2In\begin{aligned} \operatorname{Var}(\tilde{\varepsilon} \mid \tilde{\boldsymbol{X}}) &=\mathrm{E}\left(\tilde{\varepsilon} \tilde{\boldsymbol{\varepsilon}}^{\prime} \mid \boldsymbol{X}\right)=\mathrm{E}\left(\boldsymbol{C} \boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^{\prime} \boldsymbol{C}^{\prime} \mid \boldsymbol{X}\right)=\boldsymbol{C} \mathrm{E}\left(\boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^{\prime} \mid \boldsymbol{X}\right) \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C} \boldsymbol{V} \boldsymbol{C}^{\prime} \\ &=\sigma^{2} \boldsymbol{C}\left(\boldsymbol{V}^{-1}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C}\left(\boldsymbol{C}^{\prime} \boldsymbol{C}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{C} \boldsymbol{C}^{-1}\left(\boldsymbol{C}^{\prime}\right)^{-1} \boldsymbol{C}^{\prime}=\sigma^{2} \boldsymbol{I}_{n} \end{aligned} Var(ε~∣X~)=E(ε~ε~′∣X)=E(Cεε′C′∣X)=CE(εε′∣X)C′=σ2CVC′=σ2C(V−1)−1C′=σ2C(C′C)−1C′=σ2CC−1(C′)−1C′=σ2In
故高斯-马尔可夫定理成立。对变换后的模型使用 OLS 即得到GLS 估计量：
β^GLS=(X~′X~)−1X~′y~=[(CX)′(CX)]−1(CX)′Cy=(X′C′CX)−1X′C′Cy=(X′V−1X)−1X′V−1y\begin{aligned} \hat{\beta}_{\mathrm{GLS}} &=\left(\tilde{\boldsymbol{X}}^{\prime} \tilde{\boldsymbol{X}}\right)^{-1} \tilde{\boldsymbol{X}}^{\prime} \tilde{\boldsymbol{y}}=\left[(\boldsymbol{C X})^{\prime}(\boldsymbol{C X})\right]^{-1}(\boldsymbol{C X})^{\prime} \boldsymbol{C} \boldsymbol{y} \\ &=\left(\boldsymbol{X}^{\prime} \boldsymbol{C}^{\prime} \boldsymbol{C} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{C}^{\prime} \boldsymbol{C} \boldsymbol{y}=\left(\boldsymbol{X}^{\prime} \boldsymbol{V}^{-1} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \boldsymbol{V}^{-1} \boldsymbol{y} \end{aligned} β^GLS=(X~′X~)−1X~′y~=[(CX)′(CX)]−1(CX)′Cy=(X′C′CX)−1X′C′Cy=(X′V−1X)−1X′V−1y
虽然CCC不唯一，但β^\hat{\beta}β^唯一。显然β^GLS\hat{\beta}_{\mathrm{GLS}}β^GLS是是BLUE，比OLS 更有效。但前提是必须知道协方差矩VVV

6.3 加权最小二乘法WLS

假设仅存在异方差，无自相关，Vn×n\boldsymbol{V}_{n\times n}Vn×n为对角阵。方差小的数据提供的信息量大。WLS 根据信息量大小进行加权。假定
E(εi2∣xi)=Var⁡(εi∣xi)=σ2vi(X)\mathrm{E}\left(\varepsilon_{i}^{2} \mid \boldsymbol{x}_{i}\right)=\operatorname{Var}\left(\varepsilon_{i} \mid \boldsymbol{x}_{i}\right)=\sigma^{2} v_{i}(\boldsymbol{X}) E(εi2∣xi)=Var(εi∣xi)=σ2vi(X)
其中
V=(v10v2⋱0vn),V−1=(1/v101/v2⋱01/vn)\boldsymbol{V}=\left(\begin{array}{ccc} v_{1} & & 0 \\ & v_{2} & & \\ & & \ddots & \\ 0 & & & v_{n} \end{array}\right), \quad \boldsymbol{V}^{-1}=\left(\begin{array}{cccc} 1 / v_{1} & & & 0 \\ & 1 / v_{2} & & \\ & & \ddots & \\ 0 & & & 1 / v_{n} \end{array}\right) V=⎝⎜⎜⎛v10v20⋱vn⎠⎟⎟⎞,V−1=⎝⎜⎜⎛1/v101/v2⋱01/vn⎠⎟⎟⎞
因为V−1=C′C\boldsymbol {V}^{-1} = \boldsymbol {C}^{\prime}\boldsymbol{C}V−1=C′C故
C=C′=(1/v101/v2⋱01/vn)\boldsymbol{C}=\boldsymbol{C}^{\prime}=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 / \sqrt{v_{n}} \end{array}\right) C=C′=⎝⎜⎜⎛1/v101/v2⋱01/vn⎠⎟⎟⎞

y~≡Cy=(1/v101/v2⋱01vn)(y1y2⋮yn)=(y1/v1y2/v2⋮yn/vn)\tilde{\boldsymbol{y}} \equiv \boldsymbol{C} \boldsymbol{y}=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 & \sqrt{v_{n}} \end{array}\right)\left(\begin{array}{c} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{array}\right)=\left(\begin{array}{c} y_{1} / \sqrt{v_{1}} \\ y_{2} / \sqrt{v_{2}} \\ \vdots \\ y_{n} / \sqrt{v_{n}} \end{array}\right) y~≡Cy=⎝⎜⎜⎛1/v101/v2⋱01vn⎠⎟⎟⎞⎝⎜⎜⎜⎛y1y2⋮yn⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛y1/v1y2/v2⋮yn/vn⎠⎟⎟⎟⎞

其中
X~≡CX=(1/v101/v2⋱01/vn)(x11…x1Kx21…x2K⋮⋮xn1…xnK)=(x11/v1…x1K/v1x21/v2…x2K/v2⋮⋮xn1/vn…xnK)\begin{aligned} \tilde{\boldsymbol{X}} \equiv \boldsymbol{C X} &=\left(\begin{array}{cccc} 1 / \sqrt{v_{1}} & & & 0 \\ & 1 / \sqrt{v_{2}} & & \\ & & \ddots & \\ 0 & & & 1 / \sqrt{v_{n}} \end{array}\right)\left(\begin{array}{ccc} x_{11} & \ldots & x_{1 K} \\ x_{21} & \ldots & x_{2 K} \\ \vdots & & \vdots \\ x_{n 1} & \ldots & x_{n K} \end{array}\right) \\ \\ &=\left(\begin{array}{ccc} x_{11} / \sqrt{v_{1}} & \ldots & x_{1 K} / \sqrt{v_{1}} \\ x_{21} / \sqrt{v_{2}} & \ldots & x_{2 K} / \sqrt{v_{2}} \\ \vdots & & \vdots \\ x_{n 1} / \sqrt{v_{n}} & \ldots & x_{n K} \end{array}\right) \end{aligned} X~≡CX=⎝⎜⎜⎛1/v101/v2⋱01/vn⎠⎟⎟⎞⎝⎜⎜⎜⎛x11x21⋮xn1………x1Kx2K⋮xnK⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛x11/v1x21/v2⋮xn1/vn………x1K/v1x2K/v2⋮xnK⎠⎟⎟⎟⎞
其中权重1/vi1/\sqrt{v_i}1/vi表示标准差的倒数，第iii个观测的回归方程为：
yivi=β1xi1vi+β2xi2vi+⋯+βKxiKvi+εivi\frac{y_{i}}{\sqrt{v_{i}}}=\beta_{1} \frac{x_{i 1}}{\sqrt{v_{i}}}+\beta_{2} \frac{x_{i 2}}{\sqrt{v_{i}}}+\cdots+\beta_{K} \frac{x_{i K}}{\sqrt{v_{i}}}+\frac{\varepsilon_{i}}{\sqrt{v_{i}}} viyi=β1vixi1+β2vixi2+⋯+βKvixiK+viεi
新扰动项为εi/vi\varepsilon_{i} / \sqrt{v_{i}}εi/vi，可将WLS视为最小化“加权的残差平方和：
min⁡β⃗SSR=∑i=1n(ei/vi)2=∑i=1nei2vi\min _{\vec{\beta}} \mathrm{SSR}=\sum_{i=1}^{n}\left(e_{i} / \sqrt{v_{i}}\right)^{2}=\sum_{i=1}^{n} \frac{e_{i}^{2}}{v_{i}} βminSSR=i=1∑n(ei/vi)2=i=1∑nviei2
权重为1/vi1/v_i1/vi

6.4 可行广义最小二乘法FGLS

必须先用样本数据估计Vn×n\boldsymbol{V}_{n\times n}Vn×n然后才能使用GLS，故称为 FGLS或“可行加权最小二乘法”(Feasible WLS，简记FWLS)，即
β^FGLS=(X′V^−1X)−1X′V^−1y\hat{\beta}_{\mathrm{FGLS}}=\left(\boldsymbol{X}^{\prime} \hat{V}^{-1} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{\prime} \hat{V}^{-1} \boldsymbol{y} β^FGLS=(X′V^−1X)−1X′V^−1y
其中V^\hat{V}V^是V{V}V的一致估计量。V(X){V}(X)V(X)包含过多参数，实践中，常考虑只有异方差，或只有一阶自相关的情形。以FWLS 为例。在作BP 检验时，通过辅助回归（此处及其谨慎，为什么就假定为线性形式？一旦设定错误会有什么影响）
ei2=δ1+δ2xi2+⋯+δKxiK+error ie_{i}^{2}=\delta_{1}+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}+\text { error }_{i} ei2=δ1+δ2xi2+⋯+δKxiK+ error i
就可获得σi2\sigma_i^2σi2的估计值σ^i2\hat \sigma_i^2σ^i2。为保证σ^i2\hat \sigma_i^2σ^i2为正数，假设辅助回归为指数函数的形式：
ei2=σ2exp⁡(δ1+δ2xi2+⋯+δKxiK)vie_{i}^{2}=\sigma^{2} \exp \left(\delta_{1}+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}\right) v_{i} ei2=σ2exp(δ1+δ2xi2+⋯+δKxiK)vi
其中viv_ivi表示乘积形式扰动项，取对数后可得
ln⁡ei2=(ln⁡σ2+δ1)+δ2xi2+⋯+δKxiK+ln⁡vi\ln e_{i}^{2}=\left(\ln \sigma^{2}+\delta_{1}\right)+\delta_{2} x_{i 2}+\cdots+\delta_{K} x_{i K}+\ln v_{i} lnei2=(lnσ2+δ1)+δ2xi2+⋯+δKxiK+lnvi
得到ln⁡ei2\ln e_{i}^{2}lnei2的预测值ln⁡σ^i2\ln \hat\sigma_i^2lnσ^i2，进而得到拟合值σ^i2=eln⁡σ^i2\hat{\sigma}_{i}^{2}=e^{\ln \hat{\sigma}_{i}^{2}}σ^i2=elnσ^i2，然后以1/σ^i21/\hat{\sigma}_{i}^{2}1/σ^i2作为权重，进行WLS

参考文献

庞皓.计量经济学（第三版）,北京：科学出版社114-125，2014
陈强.高级计量经济学及 Stata 应用（第二版，第 7章）北京：高等教育出版社，2014。

-END-

多元线性回归—异方差相关推荐

多元线性模型分类变量方差_第三十一讲 R多元线性回归中的多重共线性和方差膨胀因子...
在前两讲中,我们介绍了多元线性回归的概念以及多元线性回归中的交互作用.今天学习的主要内容是多元线性回归中的多重共线性和方差膨胀因子. 1. 共线性的概念 1 共线性在多元回归中,两个或多个预测变量可 ...
数理统计(四)-方差分析及回归分析：总变差分解【总变差=方差+效应A平方和+效应B平方和+AB交互效应平方和】、线性回归模型、回归方程、残差、残差平方和、σ的无偏估计、多元线性回归模型、非线性回归模型
1 单因素试验的方差分析 2 双因素试验的方差分析 3 一元线性回归 4 多元线性回归
Python实现一元及多元线性回归
Python实现线性回归实现目标实验数据结果分析数据集1下的回归分析数据集2下的回归分析源代码实现目标 1.实现一元(或多元)线性回归 a. 根据对客观现象的定性认识初步判断现象之间的相 ...
多元线性回归分析matlab实验报告,利用MATLAB进行多元线性回归.ppt
<利用MATLAB进行多元线性回归.ppt>由会员分享,可在线阅读,更多相关<利用MATLAB进行多元线性回归.ppt(15页珍藏版)>请在人人文库网上搜索. 1.2.线性回归 ...
多元线性回归的缺陷_轻松阅 | 多元线性回归的“参差不齐
残差"齐不齐" 关于残差在多元线性回归中,我们想根据连续数据来进行预测.例如,我们有包含不同年份的资本投入,劳动力投入和技术水平的列表,并想预测当年的产出水平.或者,可能有一些人 ...
检验多重共线性matlab_异方差太难？检验通不过？横截面分析难题的十大暴击！...
转载:计量与统计横截面数据是在同一时间,不同统计单位相同统计指标组成的数据列.横截面数据不要求统计对象及其范围相同,但要求统计的时间相同.也就是说必须是同一时间截面上的数据. 在分析横截面数据时,应 ...
用Python底层编写进行计量经济分析（一）：多元线性回归（参数估计、T检验、拟合优度、F检验）
之前上学时计量经济学的模型实现总是用Eviews等软件实现.但是对于点击鼠标得到结果的方式,总是让自己感觉没有参与模型建立的过程.所以准备利用python写代码从底层,进行编写进行计量经济分析,让自己 ...
【超详细】多元线性回归模型statsmodels_ols
多元线性模型的主要作用:(主要进行预测) 通过建模来拟合我们所提供的或是收集到的这些因变量和自变量的数据,收集到的数据拟合之后来进行参数估计.参数估计的目的主要是来估计出模型的偏回归系数的值.估计出来 ...
多元线性回归的缺陷_多元线性回归常见问题
0.多元线性回归多元线性回归是统计学中经常用到回归方法,一般需满足一下六个条件: 随机误差项是一个期望值或平均值为0的随机变量: 对于解释变量的所有观测值,随机误差项有相同的方差: 随机误差项彼此不 ...
多元线性回归-EViews
分享经典书籍: A Modern Approach to Regression with R.pdf 链接: https://pan.baidu.com/s/14NJt7CrOpUUe2hYyrJ ...

多元线性回归—异方差

异方差