超定方程组的最小二乘解

\qquad看了很多关于最小二乘解的博客，事实上都没有找到自己想要的证明过程，后来学了矩阵函数时才彻底搞明白了这件事情，所以和大家简单分享如下：
\qquad已知矩阵Am×n(m＞n)A_{m×n}(m＞n)Am×n(m＞n)是列满秩的，则超定方程组Ax=BAx=BAx=B的最小二乘解为
x=(ATA)−1ATBx=(A^TA)^{-1}A^TBx=(ATA)−1ATB
\qquad需要说明的是根据线性代数的知识，rank(ATA)=rank(AAT)=rank(A)=nrank(A^TA)=rank(AA^T)=rank(A)=nrank(ATA)=rank(AAT)=rank(A)=n，而ATAA^TAATA的维数是n×n，所以ATAA^TAATA一定可逆。事实上MATLAB矩阵求伪逆用的也是这个公式（只不过令B=EmB=E_mB=Em）。
\qquad最小二乘法是让近似解代入的等式右边的B∗B^*B∗与BBB的度量最小，为了和向量的模长兼容，这里取的是矩阵的Frobenius范数（详见这里）因此问题转换为
x∗=argmin⁡x∣∣B∗−B∣∣Fs.t.Ax∗=B∗x^*=arg\min_{x}||B^*-B||_F\\ s.t.Ax^*=B^*x∗=argxmin∣∣B∗−B∣∣Fs.t.Ax∗=B∗
为了简便起见，我们仅讨论B是向量的情况（事实上矩阵的情况也可以通过向量化的方法加以解决），即Ax=bAx=bAx=b。

该问题也等价为
F(x)=(Ax−b)T(Ax−b)x∗=argmin⁡xF(x)F(x)=(Ax-b)^T(Ax-b)\\ x^*=arg\min_{x}F(x) F(x)=(Ax−b)T(Ax−b)x∗=argxminF(x)
将F(x)F(x)F(x)展开如下：
F(x)=(Ax−b)T(Ax−b)=(xTA−bT)(Ax−b)=xT(ATA)x−bTAx−ATbx+bTb=xT(ATA)x−2xT(ATb)+bTb\begin{aligned} F(x)&=(Ax-b)^T(Ax-b)\\ &=(x^TA-b^T)(Ax-b)\\ &=x^T(A^TA)x-b^TAx-A^Tbx+b^Tb\\ &=x^T(A^TA)x-2x^T(A^Tb)+b^Tb \end{aligned} F(x)=(Ax−b)T(Ax−b)=(xTA−bT)(Ax−b)=xT(ATA)x−bTAx−ATbx+bTb=xT(ATA)x−2xT(ATb)+bTb
需要说明的是bTAxb^TAxbTAx是数，因此它等于本身的转置等于ATbxA^TbxATbx，下面就是求F(x)F(x)F(x)的最小值，由于AATAA^TAAT是半正定的（因为xT(AAT)x=(ATx)T(ATx)≥0x^T(AA^T)x=(A^Tx)^T(A^Tx)\geq0xT(AAT)x=(ATx)T(ATx)≥0），而因为之前我们证明了AAA列满秩时ATAA^TAATA可逆，因此ATAA^TAATA必定没有零特征值，所以AATAA^TAAT是正定的。这样，F(x)F(x)F(x)的极值点就一定是极小值点（即严格凸优化问题）。下面无非就是求导的问题：
∂F(x)∂x=(ATA+(ATA)T)x−2(ATb)=2(ATA)x−2(ATb)\frac{\partial F(x)}{\partial x}=(A^TA+(A^TA)^T)x-2(A^Tb)\\= 2(A^TA)x-2(A^Tb) ∂x∂F(x)=(ATA+(ATA)T)x−2(ATb)=2(ATA)x−2(ATb)
令其等于0，求得
x∗=(ATA)−1ATbx^*=(A^TA)^{-1}A^Tbx∗=(ATA)−1ATb
这就是F(x)F(x)F(x)的极小值点即最小二乘解。
不清楚矩阵函数求导的同志可以看一下如下的公式:
dA(x)B(x)dx=dA(x)xB(x)+A(x)dB(x)dxdxTAxdx=(A+AT)xdCTxdx=dxTCdx=C\begin{aligned} &\frac{dA(x)B(x)}{dx}=\frac{dA(x)}{x}B(x)+A(x)\frac{dB(x)}{dx}\\ &\frac{dx^TAx}{dx}=(A+A^T)x\\ &\frac{dC^Tx}{dx}=\frac{dx^TC}{dx}=C \end{aligned} dxdA(x)B(x)=xdA(x)B(x)+A(x)dxdB(x)dxdxTAx=(A+AT)xdxdCTx=dxdxTC=C

超定方程组的最小二乘解相关推荐

超定方程组最小二乘matlab,超定方程组的最小二乘解.ppt
超定方程组的最小二乘解数学MATH 第二节超定方程组的最小二乘解设方程组Ax=b中, A=(aij)m?n, b是m 维已知向量, x是n 维解向量,当 m>n 即方程组中方程的个数多于 ...
求解线性超定方程组的最小二乘解[n个未知数，大于n个方程组](附代码)
本文针对n个未知数,大于n个方程组.求解未知数的问题,matlab代码. 一.首先,请注意,本文说的是线性超定方程组,方程组是线性的,不含有未知数的出发以及乘方. 求线性超定方程组,有这么几种方法: ...
matlab 线性方程组最小二乘解,超定方程组的最小二乘解
#include #include #include #define m 4//n #define n 2 void line_fun(double a[n][n],double b[n],doubl ...
求超定方程组的最小二乘解（matlab）
A=[2 43 -510 -124 11]; b=[10-13-2625]; x=zeros(2,1); m=A'*b n=A'*A x=n\m 结果: m =-179 692n =129 -83-8 ...
求超定方程组最小二乘解的三种方法
目录 1.超定线性方程组与最小二乘解 2.求解超定方程组的三种方法 3.参考链接 1.超定线性方程组与最小二乘解超定线性方程组:方程的个数大于解个数,方程组是无解的,但是我们可以求得其最小二 ...
MATLAB当中线性方程组、不定方程组、奇异方程组、超定方程组的介绍
系列文章目录 MATLAB绘图函数的相关介绍--海底测量.二维与三维图形绘制 MATLAB求函数极限的简单介绍文章目录一.线性方程组 1.1.线性方程组简介 1.2.矩阵的初等变换 1.3.MAT ...
用matlab解方程组例子,Matlab求解超定方程组实例
Matlab求解超定方程组实例对于超定方程组,特别是非线性方程组,可以用Matlab基于最小二乘算法来进行求解,例如,求解下列方程组: 一个三个未知数,九个方程的非线性方程组: cos(x3)*si ...
超定方程组最小二乘法（内含代码）
超定方程组最小二乘法今天做了一个计算方法的作业,在网上没有找到类似的参考资料,很多同学用Python直接调用库函数来写很方便,但是我认为用c或者c++来写对初学者来说是更大的锻炼: 代码已经调试好了 ...
最小二乘以及最小二乘求解超定方程组最优解的推导
~~~~ 这里写自定义目录标题采用求导的方法采用投影矩阵的方法举例实现采用求导的方法偶尔看到斯坦福吴恩达教授的机器学习第二节课,才明白了最小二乘的的推理过程,下面的推理看不懂的话,推荐去看一 ...
超定方程的最小二乘解的三维几何解释
原始方程 Ax=bAx = bAx=b,解为 x=A−1bx = A^{-1}bx=A−1b,matlab描述 x = A\b 超定方程乘以 ATA^TAT 变为方阵 ATAx=ATbA^TAx = ...

超定方程组的最小二乘解

超定方程组的最小二乘解相关推荐

最新文章

热门文章