一、推导

二、定理

三、例题

一、推导

对于线性回归模型 $(3.1.6)$ ，在对参数向量 $\beta$ 没有附加任何约束条件的情况下，在前面两节我们求出了最小二乘估计并讨论了它的基本性质。但是，在一些检验问题的讨论中或其它一些场合，我们需要求带一定线性约束的最小二乘估计。

假设 ${\color{Red} A\beta =b(3.3.1)}$ 是一个相容线性方程组，其中 $A$ 为 $k*p$ 的已知矩阵，且秩为 $k$ 。 $b$ 为 $k*1$ 已知向量。我们用 $Lagrange$ 乘子法求模型 $(3.1.6)$ 满足线性约束 $(3.3.1)$ 的最小二乘估计。记

$A=\begin{pmatrix} a_{1}^{'}\\ \vdots \\ a_{k}^{'} \end{pmatrix},b=\begin{pmatrix} b_{1}\\ \vdots \\ b_{k} \end{pmatrix}(3.3.2)$

则线性约束 $(3.3.1)$ 可以改写为 $a_{i}^{'}\beta=b_{i},i=1,\cdots,k(3.3.3)$ 。我们的问题是在 $(3.3.3)$ 的 $k$ 个条件下求 $\beta$ 使 $Q(\beta )=\left \| y-X\beta \right \|^2$ 达到最小。为了应用 $Lagrange$ 乘子法，构造辅助函数

$F(\beta ,\lambda )=\left \| y-X\beta \right \|^2+2\sum_{i=1}^{k}\lambda _{i}(a_{i}^{'}\beta -b_{i})=\left \| y-X\beta \right \|^2+2\lambda ^{'}(A\beta -b)=(y-X\beta )^{'}(y-X\beta )+2\lambda ^{'}(A\beta -b)$

其中， $\lambda =\begin{pmatrix} \lambda _{1}\\ \vdots \\ \lambda _{k} \end{pmatrix}$ 为 $Lagrange$ 乘子。对函数 $F(\beta ,\lambda )$ 求对 $\beta _{0},\beta _{1},\cdots,\beta _{p-1}$ 的偏导数，整理并令它们等于零，得到 $-X^{'}y+X^{'}X\beta +A^{'}\lambda =0(3.3.4)$ 。然后解联立方程组

$\left\{\begin{matrix} -X^{'}y+X^{'}X\beta +A^{'}\lambda =0\\ A\beta =b \end{matrix}\right.$

我们用 $\hat{\beta }_{c},\hat{\lambda }_{c}$ 表示上述联立方程组的解，用 $(X^{'}X)^{-1}$ 左乘 $(3.3.4)$ ，整理后得到

$\hat{\beta }_{c}=(X^{'}X)^{-1}X^{'}y-(X^{'}X)^{-1}A^{'}\hat{\lambda }_{c}=\hat{\beta }-(X^{'}X)^{-1}A^{'}\hat{\lambda }_{c}.(3.3.5)$

带入 $(3.3.1)$ 得 $b=A\hat{\beta }_{c}=A\hat{\beta }-A(X^{'}X)^{-1}A^{'}\hat{\lambda _{c}}$ ，等价地 $A(X^{'}X)^{-1}A^{'}\hat{\lambda _{c}}=(A\hat{\beta}-b)(3.3.6)$ ，这是一个关于 $\hat{\lambda _{c}}$ 的线性方程组。因为 $A$ 的秩为 $k$ ，于是 $A(X^{'}X)^{-1}A^{'}$ 是 $k*k$ 的可逆矩阵，故 $(3.3.6)$ 有唯一解

$\hat{\lambda _{c}}=(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b)$

将 $\hat{\lambda _{c}}$ 代入 $(3.3.5)$ 得到

$\hat{\beta _{c}}=\hat{\beta }-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b).(3.3.7)$

现在我们证明 $\hat{\beta _{c}}$ 确实是线性约束 $A\beta =b$ 下 $\beta$ 的最小二乘估计，为此我们只需要证明如下两点：

$A\hat{\beta _{c}}=b;$
对一切满足 $A\beta =b$ 的 $\beta$ ，都有 $\left \| y-X\beta \right \|^2\geqslant \left \| y-X\hat{\beta _{c}} \right \|^2.$

${\color{Blue} proof:}$

${\color{Blue} (a)A\hat{\beta}=A(\hat{\beta}-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b))=A\hat{\beta }-A(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b)=A\hat{\beta }-A\hat{\beta }+b=b}$

$(b)\left \| y-X\beta \right \|^2=\left \| y-X\hat{\beta} \right \|^2+(\hat{\beta }-\beta )^{'}X^{'}X(\hat{\beta }-\beta )=\left \| y-X\hat{\beta} \right \|^2+(\hat{\beta }-\hat{\beta_{c}}+\hat{\beta_{c}}-\beta )^{'}X^{'}X(\hat{\beta }-\hat{\beta_{c}}+\hat{\beta_{c}}-\beta )=\left \| y-X\hat{\beta} \right \|^2+(\hat{\beta }-\hat{\beta _{c}})^{'}X^{'}X(\hat{\beta }-\hat{\beta _{c}})+(\hat{\beta_{c} }-\hat{\beta })^{'}X^{'}X(\hat{\beta _{c}}-\hat{\beta})=\left \| y-X\hat{\beta} \right \|^2+\left \| X(\hat{\beta }-\hat{\beta _{c}}) \right \|^2+\left \| X(\hat{\beta_{c} }-\hat{\beta }) \right \|^2(3.3.8)$

这里我们利用了应用 $(3.3.5)$ 得到的下述关系

$(\hat{\beta }-\hat{\beta _{c}})^{'}X^{'}X(\hat{\beta_{c} }-\beta )=\hat{\lambda _{c}}^{'}A(\hat{\beta_{c} }-\beta )=\hat{\lambda _{c}}^{'}(A\hat{\beta_{c} }-A\beta )=\hat{\lambda _{c}}^{'}(b-b)=0$

这个等式对一切满足 $A\beta =b$ 的 $\beta$ 成立。

$(3.3.8)$ 表明，对一切满足 $A\beta =b$ 的 $\beta$ ，总有

$\left \| y-X\beta \right \|^2\geqslant \left \| y-X\hat{\beta } \right \|^2+\left \| X(\hat{\beta }-\hat{\beta _{c}}) \right \|^2(3.3.9)$

且等号成立当且仅当 $(3.3.8)$ 式的第三项等于零，即 $X(\hat{\beta _{c}}-\beta )=0$ ，因为 $rank(A)=p$ ，故上式等价于 $\beta= \hat{\beta _{c}}$ 。于是在 $(3.3.9)$ 中用 $\hat{\beta _{c}}$ 代替 $\beta$ ，等式成立，即

$\left \| y-X\hat{\beta_{c}} \right \|^2=\left \| y-X\hat{\beta } \right \|^2+\left \| X(\hat{\beta }-\hat{\beta _{c}}) \right \|^2(3.3.10)$

结合 $(3.3.9)(3.3.10)$ ，得证。

我们把 $\hat{\beta _{c}}$ 称为 $\beta$ 的约束最小二乘估计。

二、定理

对于线性回归模型 $(3.1.6)$ ，满足 $(3.3.1)$ 的约束最小二乘估计为

${\color{Red} \hat{\beta _{c}}=\hat{\beta }-(X^{'}X)^{-1}A^{'}(A(X^{'}X)^{-1}A^{'})^{-1}(A\hat{\beta }-b)}$

其中， $\hat{\beta }=(X^{'}X)^{-1}X^{'}y$ 是无约束条件下的最小二乘估计。

三、例题

在天文测量中，对天空中三个星位点构成的三角形 $ABC$ 的三个内角 $\theta _{1},\theta _{2},\theta _{3}$ 进行测量，得到的测量值分别为 $y_{1},y_{2},y_{3}$ 。由于存在测量误差，所以需要对 $\theta _{1},\theta _{2},\theta _{3}$ 进行估计，我们利用线性模型有关的量：

$\left\{\begin{matrix} y_{1}=\theta _{1}+e_{1}\\ y_{2}=\theta _{2}+e_{2}\\ y_{3}=\theta _{3}+e_{3}\\ \theta _{1}+\theta _{2}+\theta _{3}=\pi \end{matrix}\right.(3.3.11)$

其中 $e_{i},i=1,2,3$ 表示测量误差。 $(3.3.11)$ 就是一个带有约束条件的线性模型，可把它写成矩阵形式：

$\begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix}=\begin{pmatrix} 1 & 0& 0\\ 0 & 1&0 \\ 0 &0 & 1 \end{pmatrix}\begin{pmatrix} \theta _{1}\\ \theta _{2}\\ \theta _{3} \end{pmatrix}+\begin{pmatrix} e_{1}\\ e_{2}\\ e_{3} \end{pmatrix}\Leftrightarrow \left\{\begin{matrix} y=X\beta +e\\ A\beta =b \end{matrix}\right.$

其中， $y=\begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix},\beta =\begin{pmatrix} \theta _{1}\\ \theta _{2}\\ \theta _{3} \end{pmatrix},X=\begin{pmatrix} 1 &0 &0 \\ 0 &1 &0 \\ 0&0 &1 \end{pmatrix}=I_{3},A=(1,1,1),b=\pi$ 。利用定理3.3.1经计算可得 $\hat{\beta _{c}}=\begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix}-\frac{1}{3}(\sum_{i=1}^{3}y_{i}-\pi)\begin{pmatrix} 1\\ 1\\ 1 \end{pmatrix}$ ，即 $\hat{\theta _{i}}=y_{i}-\frac{1}{3}(y_{1}+y_{2}+y_{3}-\pi),i=1,2,3$ 为 $\theta _{i}$ 的约束最小二乘估计。

【应用回归分析】CH3 回归参数的估计3——约束最小二乘估计相关推荐

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计
目录一.广义最小二乘估计的推导二.广义最小二乘估计的性质--[定理3.6.1] 1.定理内容 2.定理证明 3.定理说明三.简单例子四.[例3.6.1] 一.广义最小二乘估计的推导在前面的讨 ...
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计约束最小二乘估计的求解数值计算的思路系数估计量的解析式约束最小二乘估计的统计性质约束最小二乘估计的求解在线性模型y=Xβ ...
古典最小二乘估计，加权最小二乘估计，递归最小二乘估计以及卡尔曼滤波
古典最小二乘估计,加权最小二乘估计,递归最小二乘估计以及卡尔曼滤波古典最小二乘估计,以测量误差的平方和作为损失函数. 根据高斯-马尔可夫定理,古典最小二乘估计在线性测量系统中,在测量噪声为零均值,同 ...
【应用回归分析】CH3 回归参数的估计1——最小二乘估计
目录前言一.经验线性回归方程 1.未知参数的估计 2.经验线性回归方程 3.[例3.1.1]一元线性回归二.中心化的经验线性回归方程 1.中心化 2.[例3.1.2]一元线性回归(续) 三.标准 ...
【回归分析】03.回归参数的估计(1)
文章目录 [回归分析]3. 回归参数的估计(1) 3.1 最小二乘估计 3.2 最小二乘估计的性质 [回归分析]3. 回归参数的估计(1) 3.1 最小二乘估计用 yyy 表示因变量,x1,x2,⋯ ...
线性回归方程参数的最小二乘估计
概述一共两个部分,第一,线性模型和最小二乘估计方法的概括.第二, 基于最小二乘估计方法,实现线性回归方程中回归参数的估计.并且和statsmodels中的方法进行对比. 1.线性模型和最小二乘方法 ...
现代信号处理——参数估计理论（最小二乘估计）
Bayes估计需要知道被估计量的先验概率密度:最大似然估计需要知道似然函数. 除了线性均方估计外,最小二乘估计是另一种不需要任何先验知识的参数估计方法,最小二乘估计不需要先验统计特性,适用范围更广. ...
基于接收信号强度（RSS）的室内定位/无线传感器网络定位——极大似然估计ML/最小二乘估计WLS
基于接收信号强度(RSS)的室内定位/无线传感器网络定位--极大似然估计ML/最小二乘估计WLS 原创不易,路过的各位大佬请点个赞针对AOA,TOA,TDOA,RSS等室内定位.导航的探讨.技术支持 ...
利用matlab实现最小二乘估计
最小二乘估计概念古典最小二乘估计 tic clc; clear; %首先假定量测量值如下 mul=[100,200

【应用回归分析】CH3 回归参数的估计3——约束最小二乘估计

一、推导

二、定理

三、例题

【应用回归分析】CH3 回归参数的估计3——约束最小二乘估计相关推荐

最新文章

热门文章