一、广义最小二乘估计的推导

二、广义最小二乘估计的性质——【定理3.6.1】

1.定理内容

2.定理证明

3.定理说明

三、简单例子

四、【例3.6.1】

一、广义最小二乘估计的推导

在前面的讨论中，我们总是假设线性回归模型的误差是等方差且不相关的，即 $Cov(e)=\sigma ^2I$ 。但在很多情况下，这个假设总是可以认为近似地成立。但是，像在 $\S 3.4$ 所指出的，仍然有许多实际问题，经过残差分析后，我们不能认为这些假设是合适的，它们的误差方差可能不相等，也可能彼此相关。这时，误差向量的协方差阵 $Cov(e)=\sigma ^2\Sigma$ ，这里 $\Sigma$ 为一个正定阵，当然 $\Sigma$ 往往包含有位置参数。为简单计，在这一节的讨论中，我们假定 $\Sigma$ 是完全已知的。我们要讨论的回归模型具有如下形式：

${\color{Red} y=X\beta +e,E(e)=0,Cov(e)=\sigma ^2\Sigma (3.6.1)}$

为了求参数的估计，我们经过适当变换，把它化成前面讨论过的情形，既然 $\Sigma$ 是正定阵，于是存在n*n的正交阵P使其对角化： $\Sigma =P^{'}\Lambda P$ ，这里

$\Lambda =diag(\lambda_{1},\lambda_{2},\cdots,\lambda_{n}),\lambda_{i}>0,i=1,2,\cdots,n$

$\lambda_{i}$ 是 $\Sigma$ 的特征值。记 $\Sigma ^{\frac{1}{2}}=P^{'} diag(\lambda_{1}^{-\frac{1}{2}},\lambda_{2}^{-\frac{1}{2}},\cdots,\lambda_{n}^{-\frac{1}{2}}) P$ 。则 $(\Sigma ^{-\frac{1}{2}})^2=\Sigma ^{-1}$ ，称 $\Sigma ^{-\frac{1}{2}}$ 是 $\Sigma ^{-1}$ 的平方根阵。用 $\Sigma ^{-\frac{1}{2}}$ 左乘 $(3.6.1)$ ，记 ${\color{Red} z=\Sigma ^{-\frac{1}{2}}y,U=\Sigma ^{-\frac{1}{2}}X,\epsilon =\Sigma ^{-\frac{1}{2}}e}$ 。因为

$Cov(\epsilon )=\Sigma ^{-\frac{1}{2}}\sigma ^2\Sigma \Sigma ^{-\frac{1}{2}}=\sigma ^2I$

于是我们得出如下线性回归模型：

${\color{Red} z=U\beta +\epsilon ,E(\epsilon )=0,Cov(\epsilon )=\sigma ^2I(3.6.2)}$

这就是我们已经讨论过的情况在。在这个新模型中， $\beta$ 的最小二乘估计为

${\color{Red} \beta ^{*}=(U^{'}U)^{-1}U^{'}z=(X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y(3.6.3)}$

一般，我们称 $\beta ^{*}$ 为 $\beta$ 的广义最小二乘估计，也有一些作者称 $\beta ^{*}$ 为 $\beta$ 的 $Gauss-Markov$ 估计，下面的定理概括了这个估计得统计性质。

二、广义最小二乘估计的性质——【定理3.6.1】

1.定理内容

对于线性回归模型 $(3.6.1)$ ，有

$(a)E(\beta ^{*})=\beta$
$Cov(\beta ^{*})=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}$
对任意P*1已知向量c， $c^{'}\beta ^{*}$ 为 $c^{'}\beta$ 的唯一最小方差无偏估计

2.定理证明

${\color{Red} proof:}$

${\color{Red} (a)E(\beta ^{*})=E\left [ (X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y \right ]=(X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}X\beta =\beta }$

${\color{Red} (b)Cov(\beta ^{*})=Cov\left [ (X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y \right ]=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}\Sigma \Sigma ^{-1}X(X^{'}\Sigma ^{-1}X)^{-1}=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}}$

${\color{Red} (c)}$ 设 ${\color{Red} b^{'}y}$ 是 ${\color{Red} c^{'}\beta}$ 的任一线性无偏估计，对于模型(3.6.2)，我们有

${\color{Red} c^{'}\beta ^{*}=c^{'}(U^{'}U)^{-1}U^{'}z,b^{'}y=b^{'}\Sigma ^{\frac{1}{2}}\Sigma ^{-\frac{1}{2}}y=b^{'}\Sigma ^{\frac{1}{2}}z}$

这就是说，对变换后的模型而言， ${\color{Red} c^{'}\beta ^{*}}$ 是 ${\color{Red} c^{'}\beta}$ 的最小二乘估计，而 ${\color{Red} b^{'}y=b^{'}\Sigma ^{\frac{1}{2}}z}$ 是 ${\color{Red} c^{'}\beta}$ 的一个无偏估计，由定理3.2.2知， ${\color{Red} Var(c^{'}\beta ^{*})\leqslant Var(b^{'}\Sigma ^{\frac{1}{2}}z)=Var(b^{'}y)}$ ，并且等号成立当且仅当 ${\color{Red} c^{'}\beta ^{*}=b^{'}y}$ ，定理证毕。

3.定理说明

定理3.6.1(c)就是一般情况下的 $Gauss-Markov$ 定理。它表明，在一般线性回归模型(3.6.1)中，广义最小二乘估计 $\beta ^{*}$ 是最优的。但是，如果我们把 $\beta ^{*}$ 表达式中的 $\Sigma$ 换成单位阵 $I$ ，则得到 $\hat{\beta }=(X^{'}X)^{-1}X^{'}y$ 。称为简单最最小二乘估计，常常简称为最小二乘估计。容易证明，对于模型(3.6.1)， $E(\hat{\beta })=\beta$ ，即 $\hat{\beta }$ 仍是 $\beta$ 的无偏估计。但这时对任意线性函数 $c^{'}\beta$ ， $c^{'}\hat{\beta }$ 只是 $c^{'}\beta$ 的一个无偏估计，它未必是最优的。我们称 $c^{'}\beta ^{*}$ 和 $c^{'}\hat{\beta }$ 分别为 $c^{'}\beta$ 的广义最小二乘估计和（简单）最小二乘估计。根据定理3.6.1(c)，对一切P*1向量c有 $Var(c^{'}\beta^{*})\leqslant Var(c^{'}\hat{\beta })$ ，这就是说对于一般线性回归模型(3.6.1)，广义最小二乘估计总是优于最小二乘估计。

三、简单例子

模型(3.6.1)的最简单例子是因变量的不同观测具有不等方差的情况，这时

$Cov(e)=\begin{pmatrix} \sigma _{1}^2 & & & \\ & \sigma _{2}^2 & & \\ & &\ddots & \\ & & & \sigma _{n}^2 \end{pmatrix}$

这里可以有一些 $\sigma _{i}^2$ 彼此相等。记 $x_{1}^{'},\cdots,x_{n}^{'}$ 分别为设计矩阵X的n个行向量，则容易推出，这时 $\beta$ 的广义最小二乘估计具有如下形式

$\beta ^{*}=\left ( \sum_{i=1}^{n}\frac{x_{i}x_{i}^{'}}{\sigma _{i}^2} \right )^{-1}\left ( \sum_{i=1}^{n}\frac{y_{i}}{\sigma _{i}^2}x_{i} \right )(3.6.4)$

从这个表达式我们可以看出，两个和式分别是 $x_{i}x_{i}^{'}$ 和 $y_{i}x_{i}$ 的“加权和”，而所用的权都是 $\frac{1}{\sigma _{i}^2}$ 。因此文献中常常把(3.6.4)定义的 $\beta ^{*}$ 称为加权最小二乘估计。这里讲的是 $\sigma _{i}^2$ 皆已知的情况。在实际应用中， $\sigma _{i}^2$ 往往是未知的，这时我们可以设法求得他们的估计 $\hat{\sigma _{i}^2}$ 去代替。

对于一般线性回归模型，在实际应用中碰到的问题是确定协方差阵 $\Sigma$ 的形式，但这往往是十分困难的。一般我们总是从假设 $\Sigma =I$ 入手，求得简单最小二乘估计，然后通过残差分析，对误差方差提供一些信息。另一种做法是，从问题本身的专业角度或其它方面，对误差向量提出一些特殊结构，这时误差协方差阵就具有特殊形式。

四、【例3.6.1】

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计相关推荐

【应用回归分析】CH3 回归参数的估计1——最小二乘估计
目录前言一.经验线性回归方程 1.未知参数的估计 2.经验线性回归方程 3.[例3.1.1]一元线性回归二.中心化的经验线性回归方程 1.中心化 2.[例3.1.2]一元线性回归(续) 三.标准 ...
古典最小二乘估计，加权最小二乘估计，递归最小二乘估计以及卡尔曼滤波
古典最小二乘估计,加权最小二乘估计,递归最小二乘估计以及卡尔曼滤波古典最小二乘估计,以测量误差的平方和作为损失函数. 根据高斯-马尔可夫定理,古典最小二乘估计在线性测量系统中,在测量噪声为零均值,同 ...
【应用回归分析】CH3 回归参数的估计3——约束最小二乘估计
目录一.推导二.定理三.例题一.推导对于线性回归模型,在对参数向量没有附加任何约束条件的情况下,在前面两节我们求出了最小二乘估计并讨论了它的基本性质.但是,在一些检验问题的讨论中或其它一些场 ...
【回归分析】03.回归参数的估计(1)
文章目录 [回归分析]3. 回归参数的估计(1) 3.1 最小二乘估计 3.2 最小二乘估计的性质 [回归分析]3. 回归参数的估计(1) 3.1 最小二乘估计用 yyy 表示因变量,x1,x2,⋯ ...
线性回归方程参数的最小二乘估计
概述一共两个部分,第一,线性模型和最小二乘估计方法的概括.第二, 基于最小二乘估计方法,实现线性回归方程中回归参数的估计.并且和statsmodels中的方法进行对比. 1.线性模型和最小二乘方法 ...
现代信号处理——参数估计理论（最小二乘估计）
Bayes估计需要知道被估计量的先验概率密度:最大似然估计需要知道似然函数. 除了线性均方估计外,最小二乘估计是另一种不需要任何先验知识的参数估计方法,最小二乘估计不需要先验统计特性,适用范围更广. ...
基于接收信号强度（RSS）的室内定位/无线传感器网络定位——极大似然估计ML/最小二乘估计WLS
基于接收信号强度(RSS)的室内定位/无线传感器网络定位--极大似然估计ML/最小二乘估计WLS 原创不易,路过的各位大佬请点个赞针对AOA,TOA,TDOA,RSS等室内定位.导航的探讨.技术支持 ...
利用matlab实现最小二乘估计
最小二乘估计概念古典最小二乘估计 tic clc; clear; %首先假定量测量值如下 mul=[100,200
最小二乘估计参数为什么使用残差平方和？
文章福利:Python学习精选书籍10本对于线性回归模型 y=ax+b, 常用到的估计参数的方法有:最小二乘法和极大似然估计,本话题暂不讨论这两种理论方法如何去估计出参数,只讨论在最小二乘法的核心思 ...

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计

一、广义最小二乘估计的推导

二、广义最小二乘估计的性质——【定理3.6.1】

1.定理内容

2.定理证明

3.定理说明

三、简单例子

四、【例3.6.1】

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计相关推荐

最新文章

热门文章