三因素方差分析_详解方差分析表(ANOVA)(一) —

导读：在初学回归分析时，方差分析表（ANOVA）往往由线性回归引入。方差分析表在线性模型的显著性检验、模型选择方面有重要的应用，因此理解其各个表项的含义，以及这些表项值从何而来，对于我们能正确应用ANOVA有着重要的意义。然而当下大多数教材和博文对ANOVA的介绍，大多数习惯于直接给出结果量，而省略了重要的推导，遂致使许多初学者在学习ANOVA时落入“知其然，不知其所以然”的困惑，主要的问题总结如下：

自由度（Degree of Freedom, Df）描述的是做什么事的“自由”，为什么各项的自由度是表中所示的数值？
和

的定义是什么，为何

？
为何模型统计不显著时

,

检验的数学合理性是如何保障的？

笔者在学习ANOVA时也遇到了相同的疑惑，并在查阅部分资料以及Dr. Choudur Lakshminarayan的启发下，完成了关于上述问题的解释和证明，如果读者在学习ANOVA时有类似的问题，希望能对你有所帮助。

《详解方差分析表（ANOVA）》共三篇：第一篇线性回归与矩阵代数.回顾从一般线性回归的概念开始，回顾在后续证明中需要应用的一些结论和数学定理；第二篇SST、SSE、SSR和它们的自由度将阐明问题一和问题二；收尾篇ANOVA中的F统计量则重点解释问题三。

感谢 @纯粹审稿和对排版的建议。

一、一般线性回归问题与参数的最小二乘估计

回归分析（Regression Analysis）的终极目的是在获知一组协变量

情况下，借助模型来预测其结果

。回归问题则是利用一组组已知的

对，推断模型参数。例如我们若想通过上市公司CEO的学历和工龄预测其股价，那么在这一示例中，

为CEO的

，而

则是公司的股价。如果我们认为

和

之间存在线性关系，可以构建这样的线性模型：

其中

为自变量向量，

为斜率向量，

为截距；

为一个高斯噪声量，引入它是为了模拟现实世界中的“不完美”。为了表示方便，我们重写上式为

假设在稳定环境下，我们做了

次（

）独立观测，则可得到一般线性模型

简记为

记最小二乘法推断的

为

，并记

，则

可以如下求出：

这里，

也称线性方程组

的伪逆解。关于伪逆矩阵的定义以及一些重要性质，可以参考 @纯粹的这篇文章。

纯粹：奇异值分解（SVD），MP广义逆，最小二乘，低秩逼近zhuanlan.zhihu.com

二、列空间（Column Space）、Hat矩阵和它们的性质

利用已估计的

，计算回归目标

：

这里矩阵

的定义为

，由于它事实功能为

，可以看成一个“扣帽”算子，故命名其为Hat矩阵（经评论区 @纯粹提醒，这里“Hat”是个动词！）。我们将residual也用

和

来表示：

容易证明

是对称且幂等（idempotent）矩阵。幂等的定义为矩阵具有乘幂不变性，

，

。同样，矩阵

也是对称且幂等矩阵，而且有

当

列满秩时（一般默认列满秩，即

），考虑矩阵

的列所构成的空间

，

，如下定义：

其中

为矩阵

的列，亦是构成

的一组基。现考虑

，一方面，

另一方面，

这说明

与

的每一列都是正交的，即它与

的列空间

正交。考虑这两方面的因素，可以得知

为

在

上的正投影。

三、利用列空间解释最小二乘估计的性质

利用最小二乘法来估计线性回归参数

的本质是什么呢？用列空间的语言来说，就是寻找列空间中的向量

，使得

的模长最小，那这一目标自然当且仅当向量

为

在列空间

上的正投影时达到，

。上图还可以解释最小二乘估计的三个性质：

，则
，则
，则