GLS

这一讲我们放松对随机误差的方差形式的假设，考虑模型
y=Xβ+ϵ,Eϵ=0,Cov(ϵ)=σ2Σ>0y=X\beta + \epsilon,E\epsilon=0,Cov(\epsilon)=\sigma^2\Sigma>0y=Xβ+ϵ,Eϵ=0,Cov(ϵ)=σ2Σ>0

我们先假设Σ\SigmaΣ是一个已知的满秩矩阵，在之后介绍最小二乘统一理论和可行估计的时候再讨论Σ\SigmaΣ未知以及Σ\SigmaΣ不满秩的情况。

定义y~=Σ−1/2y\tilde y = \Sigma^{-1/2}yy~=Σ−1/2y，X~=Σ−1/2X\tilde X = \Sigma^{-1/2}XX~=Σ−1/2X，u=Σ−1/2ϵu=\Sigma^{-1/2}\epsilonu=Σ−1/2ϵ，则
y~=X~β+u,Eu=0,Cov(u)=σ2I\tilde y =\tilde X \beta+u,Eu=0,Cov(u)=\sigma^2I y~=X~β+u,Eu=0,Cov(u)=σ2I

这就变成了普通最小二乘模型，记β∗\beta^*β∗为广义最小二乘解，
β∗=(X~′X~)−X~′y~=(X′Σ−1X)−X′Σ−1y\beta^*=(\tilde X'\tilde X)^{-}\tilde X'\tilde y=(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1} yβ∗=(X~′X~)−X~′y~=(X′Σ−1X)−X′Σ−1y

并且c′βc'\betac′β的可估性与Σ\SigmaΣ无关，当c∈C(X′)c \in C(X')c∈C(X′)时，c′βc'\betac′β是可估函数；称c′β∗c'\beta^*c′β∗是c′βc'\betac′β的广义最小二乘估计（GLS），如果Σ\SigmaΣ是对角矩阵，就称称c′β∗c'\beta^*c′β∗是c′βc'\betac′β的加权最小二乘估计（WLS）。如果XXX列满秩，则β\betaβ可估，称β∗\beta^*β∗是β\betaβ的GLS估计。

GLS的统计性质

下面是GLS的几条统计性质：

c′βc'\betac′β是可估函数，则c′β∗c'\beta^*c′β∗是其唯一的BLUE，Var(c′β∗)=σ2c′(X′Σ−1X)−cVar(c'\beta^*)=\sigma^2c'(X'\Sigma^{-1}X)^{-}cVar(c′β∗)=σ2c′(X′Σ−1X)−c
σ2\sigma^2σ2的无偏估计为σ2∗=e∗′Σ−1e∗n−r\sigma^{2*}=\frac{e^{*'}\Sigma^{-1}e^{*}}{n-r}σ2∗=n−re∗′Σ−1e∗，其中e∗=y−Xβ∗e^*=y-X\beta^*e∗=y−Xβ∗
ϵ∼N(0,σ2Σ)\epsilon \sim N(0,\sigma^2\Sigma)ϵ∼N(0,σ2Σ)，则c′β∗c'\beta^*c′β∗也是MLE；c′β∗c'\beta^*c′β∗与σ2∗\sigma^{2*}σ2∗互相独立；c′β∗c'\beta^*c′β∗是可估函数c′βc'\betac′β唯一的UMVUE；σ2∗\sigma^{2*}σ2∗是σ2\sigma^2σ2唯一的UMVUE。

我们简单计算一下1和2，BLUE和3的证明非常标准化，可以参考MATH 571A系列与前两篇博客。

第一条：

Var(c′β∗)=c′Var(β∗)c=c′[σ2(X′Σ−1X)−X′Σ−1ΣΣ−1X(X′Σ−1X)−]c=σ2c′(X′Σ−1X)−cVar(c'\beta^*) = c'Var(\beta^*) c \\= c'[\sigma^2(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1} \Sigma \Sigma^{-1}X(X'\Sigma^{-1} X)^{-}] c \\ = \sigma^2c'(X'\Sigma^{-1}X)^{-}cVar(c′β∗)=c′Var(β∗)c=c′[σ2(X′Σ−1X)−X′Σ−1ΣΣ−1X(X′Σ−1X)−]c=σ2c′(X′Σ−1X)−c

第二条：
e∗=y−Xβ∗=MXye^*=y-X\beta^* = M_Xye∗=y−Xβ∗=MXy

其中MXM_XMX是Σ\SigmaΣ定义的仿射坐标下到span(X)⊥span(X)^{\perp}span(X)⊥的投影矩阵，MX=I−X(X′Σ−1X)−X′Σ−1M_X = I - X(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1}MX=I−X(X′Σ−1X)−X′Σ−1，
Ee∗=0,Var(e∗)=σ2MXΣMXT=σ2(I−X(X′Σ−1X)−X′Σ−1)Σ(I′−Σ−1X(X′Σ−1X)−X′)=σ2[Σ−X(X′Σ−1X)−X′]=σ2MXΣEe^{*}=0,\ Var(e^*)=\sigma^2 M_X \Sigma M_X^T \\= \sigma^2 (I - X(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1})\Sigma (I'-\Sigma^{-1}X(X'\Sigma^{-1} X)^{-}X') \\ =\sigma^2[ \Sigma-X(X'\Sigma^{-1} X)^{-}X' ]= \sigma^2 M_X \SigmaEe∗=0, Var(e∗)=σ2MXΣMXT=σ2(I−X(X′Σ−1X)−X′Σ−1)Σ(I′−Σ−1X(X′Σ−1X)−X′)=σ2[Σ−X(X′Σ−1X)−X′]=σ2MXΣ

根据UA STAT687 线性模型II 最小二乘理论1 普通最小二乘法介绍的公式
E(e∗′Σ−1e∗)=tr(σ2MX)=(n−r)σ2E(e^{*'}\Sigma^{-1} e^{*})=tr(\sigma^2 M_X)=(n-r)\sigma^2E(e∗′Σ−1e∗)=tr(σ2MX)=(n−r)σ2

UA STAT687 线性模型II 最小二乘理论3 广义最小二乘相关推荐

UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计约束最小二乘估计的求解数值计算的思路系数估计量的解析式约束最小二乘估计的统计性质约束最小二乘估计的求解在线性模型y=Xβ ...
UA STAT687 线性模型理论I 线性模型概述
UA STAT687 线性模型理论I 线性模型概述线性回归 One-way ANOVA Two-way ANOVA Nested Design Cross Design ANCOVA 线性模型是统计 ...
gls开发_广义最小二乘gls数学推导直觉
gls开发背景与动机(Background and Motivation) For anyone pursuing study in Statistics or Machine Learning, ...
UA MATH523A 实分析3 积分理论概念与定理整理
UA MATH523A 实分析3 积分理论概念与定理整理可测函数非负可测函数的积分一般可测函数的积分可测函数列的收敛 Folland实分析第二章是积分理论,目标是建立Lebesgue积分以及 ...
UA MATH523A 实分析3 积分理论16 截口与单调类、特征函数的Fubini定理
UA MATH523A 实分析3 积分理论16 截口与单调类.特征函数的Fubini定理上一讲我们建立了乘积测度,接下来我们要在乘积测度空间(X×Y,M⊗N,μ×ν)(X \times Y,\mat ...
R语言用标准最小二乘OLS，广义相加模型GAM ，样条函数进行逻辑回归LOGISTIC分类...
原文链接:http://tecdat.cn/?p=21379 本文我们对逻辑回归和样条曲线进行介绍. logistic回归基于以下假设:给定协变量x,Y具有伯努利分布, 目的是估计参数β. 回想一下, ...
UA MATH523A 实分析3 积分理论例题集合的特征函数L2收敛的条件
UA MATH523A 实分析3 积分理论例题集合的特征函数L2收敛的条件例假设{En}\{E_n\}{En}是一个有限测度空间(X,M,μ)(X,\mathcal{M},\mu)(X,M,μ ...
UA MATH523A 实分析3 积分理论例题证明函数列L1收敛的一个题目
UA MATH523A 实分析3 积分理论例题证明函数列L1收敛的一个题目例假设fnf_nfn在[0,1][0,1][0,1]上绝对连续,fn(0)=0,∀n≥1f_n(0)=0,\foral ...
UA MATH523A 实分析3 积分理论例题 Fubini定理计算简单二重积分的一个例题
UA MATH523A 实分析3 积分理论例题 Fubini定理计算简单二重积分的一个例题例 f∈L1([0,1])f \in L^1([0,1])f∈L1([0,1]), define h(x)= ...

UA STAT687 线性模型II 最小二乘理论3 广义最小二乘

UA STAT687 线性模型II 最小二乘理论3 广义最小二乘

GLS

GLS的统计性质

UA STAT687 线性模型II 最小二乘理论3 广义最小二乘相关推荐

最新文章

热门文章