超定方程组和欠定方程组

超定方程组：最小二乘法

最小二乘法是一种求线性方程组近似解的方法，基本思想是最小化残差平方和∑i=1n(yi^−yi)2\sum_{i=1}^{n}(\hat{\mathbf{y}_i}-\mathbf{y}_i)^2∑i=1n(yi^−yi)2，接下来从线性代数的角度来对最小二乘法进行完整的推导。

对于线性方程组Ax=y\mathbf{Ax}=\mathbf{y}Ax=y，其有解的充要条件是y\mathbf{y}y在A\mathbf{A}A的列空间中，在数据拟合任务中这一条件往往是不成立的，那么就需要寻求近似解，一个最优的近似解显然是将y\mathbf{y}y垂直投影到A\mathbf{A}A的列空间中，也就是将y\mathbf{y}y分解为垂直于列空间与平行于列空间两部分，使用平行于列空间的分量代替y\mathbf{y}y用来求解方程组。

先从将向量投影到向量考虑，假设存在向量a\mathbf{a}a，b\mathbf{b}b，现在想要将b\mathbf{b}b投影到a\mathbf{a}a上，b\mathbf{b}b在a\mathbf{a}a上的投影可以表示为ax\mathbf{a}xax，b\mathbf{b}b垂直于a\mathbf{a}a的分量可以表示为b−ax\mathbf{b}-\mathbf{a}xb−ax（这就是施密特正交化的原理），那么显然有
aT(b−ax)=0\mathbf{a}^T(\mathbf{b}-\mathbf{a}x)=0 aT(b−ax)=0
解得
x=aTbaTax=\frac{\mathbf{a}^T\mathbf{b}}{\mathbf{a}^T\mathbf{a}} x=aTaaTb
那么投影的表达式就是
ax=aaTbaTa\mathbf{a}x=\mathbf{a}\frac{\mathbf{a}^T\mathbf{b}}{\mathbf{a}^T\mathbf{a}} ax=aaTaaTb
如果将分子上的b\mathbf{b}b去掉的话，这个表达式将只与a\mathbf{a}a有关，并且是一个矩阵，这个矩阵就是将b\mathbf{b}b投影到a\mathbf{a}a的投影矩阵
P=aaTaTa\mathbf{P}=\frac{\mathbf{a}\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}} P=aTaaaT
任何一个向量b\mathbf{b}b经这个矩阵变换后将被投影到a\mathbf{a}a上，不难发现这是一个对称矩阵，且满足P2=P\mathbf{P}^2=\mathbf{P}P2=P，因为一个向量经过一次投影后已经被投影到a\mathbf{a}a上，再投影一次将不发生变化。

接下来考虑将一个向量y\mathbf{y}y投影到矩阵A\mathbf{A}A的列空间中，仿照之前的做法，A\mathbf{A}A的列空间中的向量可以表示为A\mathbf{A}A的列的线性组合，即Ax^\mathbf{A}\hat{\mathbf{x}}Ax^，y\mathbf{y}y垂直于的列空间的分量可以表示为y−Ax^\mathbf{y}-\mathbf{A}\hat{\mathbf{x}}y−Ax^，显然A\mathbf{A}A的每一列均垂直于y−Ax^\mathbf{y}-\mathbf{A}\hat{\mathbf{x}}y−Ax^，也就是说
AT(y−Ax^)=0\mathbf{A}^T(\mathbf{y}-\mathbf{A}\hat{\mathbf{x}})=0 AT(y−Ax^)=0
化简得到
ATAx^=ATy\mathbf{A}^T\mathbf{A}\hat{\mathbf{x}}=\mathbf{A}^T\mathbf{y} ATAx^=ATy
x^\hat{\mathbf{x}}x^实际上就是方程组的近似解，如果ATA\mathbf{A}^T\mathbf{A}ATA可逆的话，那么
x^=(ATA)−1ATy\hat{\mathbf{x}}=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{y} x^=(ATA)−1ATy
投影后的y\mathbf{y}y就是A(ATA)−1ATy\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{y}A(ATA)−1ATy，如果将y\mathbf{y}y去掉的话，剩下的部分将只与A\mathbf{A}A有关并且是一个矩阵，这个矩阵就是将y\mathbf{y}y投影到A\mathbf{A}A的列空间的投影矩阵
P=A(ATA)−1AT\mathbf{P}=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T P=A(ATA)−1AT
这是一个对称矩阵，因为
PT=(A(ATA)−1AT)T=(AT)T((ATA)−1)TAT=A(ATA)−1AT=P\begin{aligned} \mathbf{P}^T&=(\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T)^T\\ &=(\mathbf{A}^T)^T((\mathbf{A}^T\mathbf{A})^{-1})^T\mathbf{A}^T\\ &=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\\ &=\mathbf{P} \end{aligned} PT=(A(ATA)−1AT)T=(AT)T((ATA)−1)TAT=A(ATA)−1AT=P
并且同样满足P2=P\mathbf{P}^2=\mathbf{P}P2=P，因为
P2=A(ATA)−1ATA(ATA)−1AT=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=P\begin{aligned} \mathbf{P}^2&=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\\ &=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}(\mathbf{A}^T\mathbf{A})(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\\ &=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\\ &=\mathbf{P} \end{aligned} P2=A(ATA)−1ATA(ATA)−1AT=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=P
剩下的最后一个问题就是如果判断ATA\mathbf{A}^T\mathbf{A}ATA是否可逆，实际上r(ATA)=r(A)r(\mathbf{A}^T\mathbf{A})=r(\mathbf{A})r(ATA)=r(A)，也就是说如果A\mathbf{A}A是列满秩的话，ATA\mathbf{A}^T\mathbf{A}ATA就可逆，现在来证明这个结论，如果ATA\mathbf{A}^T\mathbf{A}ATA与A\mathbf{A}A有相同的零空间的话，这一结论显然成立（零空间的维数是n−rn-rn−r），要证明ATA\mathbf{A}^T\mathbf{A}ATA与A\mathbf{A}A有相同的零空间，只需证明对任意的x\mathbf{x}x，Ax=0⇔ATAx=0\mathbf{Ax}=\mathbf{0}\Leftrightarrow\mathbf{A}^T \mathbf{Ax}=\mathbf{0}Ax=0⇔ATAx=0。⇒\Rightarrow⇒显然成立，只需证明⇐\Leftarrow⇐，假设ATAx=0\mathbf{A}^T \mathbf{Ax}=\mathbf{0}ATAx=0，等式两边同乘xT\mathbf{x}^TxT有
xTATAx=0\mathbf{x}^T\mathbf{A}^T \mathbf{Ax}=\mathbf{0} xTATAx=0
即
(Ax)TAx=0(\mathbf{Ax})^T\mathbf{Ax}=\mathbf{0} (Ax)TAx=0
显然有Ax=0\mathbf{Ax}=\mathbf{0}Ax=0，证明完毕。

只需要A\mathbf{A}A列满秩，就可以得到线性方程组的最小二乘解，实际上这一要求不难成立，因为在数据拟合任务中往往A\mathbf{A}A的行数远远大于列数。

最后来看一下投影矩阵P\mathbf{P}P，它将一个向量投影到矩阵A\mathbf{A}A的列空间，在线性代数中我们知道A\mathbf{A}A的左零空间（ATx=0\mathbf{A}^T\mathbf{x}=\mathbf{0}ATx=0）与A\mathbf{A}A的列空间是正交的，假设A\mathbf{A}A的左零空间的投影矩阵是L\mathbf{L}L，那么对任意向量y\mathbf{y}y有
(Py)T(Ly)=0(\mathbf{Py})^T(\mathbf{Ly})=\mathbf{0} (Py)T(Ly)=0
即
yTPTLy=0\mathbf{y}^T\mathbf{P}^T\mathbf{Ly}=\mathbf{0} yTPTLy=0
P\mathbf{P}P是对称矩阵，所以有
PL=O\mathbf{PL}=\mathbf{O} PL=O
解得
L=I−P\mathbf{L}=\mathbf{I}-\mathbf{P} L=I−P
于是在求得列空间的投影矩阵P\mathbf{P}P后，就是求得了左零空间的投影矩阵L\mathbf{L}L。

欠定方程组：QR分解

对方程组
Ax=b\mathbf{A}\boldsymbol{x}=\boldsymbol{b} Ax=b
其中A∈Rp×n\mathbf{A}\in\R^{p\times n}A∈Rp×n，如果p<np<np<n，那么此方程组就称为欠定方程组，如果A\boldsymbol{A}A满足rank(A)=prank(\boldsymbol{A})=prank(A)=p，那么对任意bbb方程组至少有一个解(参考线性方程组的解个数与秩的关系)，此时可以通过QR分解来得到方程组的一个解。

此时AT\boldsymbol{A}^TAT列满秩，可以分解为
AT=QR\mathbf{A}^T=\mathbf{QR} AT=QR
其中Q∈Rn×p\mathbf{Q}\in\R^{n\times p}Q∈Rn×p，是A\mathbf{A}A的列空间的一组标准正交基，R∈Rp×p\boldsymbol{R}\in\R^{p\times p}R∈Rp×p，其第iii行第jjj列的元素为Q\mathbf{Q}Q的第iii列与A\mathbf{A}A的第jjj列的内积，是一个上三角矩阵。此时x^=QR−Tb\hat{\boldsymbol{x}}=\mathbf{QR}^{-T}\boldsymbol{b}x^=QR−Tb明显满足该方程组：
Ax^=RTQTQR−Tb=b\mathbf{A}\hat{\boldsymbol{x}}=\mathbf{R}^T\mathbf{Q}^T\mathbf{QR}^{-T}\boldsymbol{b}=\boldsymbol{b} Ax^=RTQTQR−Tb=b
再通过求解A\mathbf{A}A的零空间的基就可以得到一系列解。