5.2 最优近似解 $\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}$ 是最小二乘解

2024-05-17 00:06:03

5.2 最优近似解 x^=AL−1b\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}x^=AL−1b 是最小二乘解

根据平面几何定理，点到直线的距离，垂线最短，推广到高维，即点到子空间的距离，垂线最短。根据投影性质，向量 bp\mathbf{b}_pbp 是向量 b\mathbf{b}b 在子空间 colAcol AcolA 的垂足，向量 b−bp\mathbf{b}-\mathbf{b}_pb−bp 是垂线，距离最短，又 bp=Ax^\mathbf{b}_p = A\mathbf{\hat{x}}bp=Ax^ ，得

∥b−bp∥=∥b−Ax^∥=minx(∥b−Ax∥)\| \mathbf{b}-\mathbf{b}_p \| = \| \mathbf{b}-A\mathbf{\hat{x}} \| = min_\mathbf{x} (\| \mathbf{b}-A\mathbf{x} \|) ∥b−bp∥=∥b−Ax^∥=minx(∥b−Ax∥)

在子空间 colAcol AcolA 中任意向量 AxA\mathbf{x}Ax 与向量 b\mathbf{b}b 的距离大于垂线距离 ∥b−bp∥\| \mathbf{b}-\mathbf{b}_p \|∥b−bp∥ ，距离 ∥b−Ax∥\| \mathbf{b}-A\mathbf{x} \|∥b−Ax∥ 最小的解即是最优近似解。

∥b−bp∥2\| \mathbf{b}-\mathbf{b}_p \|^2∥b−bp∥2 是什么呢？∥b−bp∥2=∥b−Ax^∥2=∑i(bi−ariTx^)2\| \mathbf{b}-\mathbf{b}_p \|^2 = \| \mathbf{b}-A\mathbf{\hat{x}} \|^2 = \sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{\hat{x}})^2∥b−bp∥2=∥b−Ax^∥2=∑i(bi−ariTx^)2 。 bi−ariTx^b_i-\mathbf{a}^T_{ri}\mathbf{\hat{x}}bi−ariTx^ 是第 iii 次测量数据的预测值 b^i=ariTx^\hat{b}_i=\mathbf{a}^T_{ri}\mathbf{\hat{x}}b^i=ariTx^ 与实际测量值 bib_ibi 的差，bi−b^ib_i-\hat{b}_ibi−b^i 称为残差。最优近似解的残差平方和最小，故称最小二乘解，二乘就是指平方和。

5.2 最优近似解 $\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}$ 是最小二乘解相关推荐

7.2 伪逆和线性方程 $A\mathbf{x}=\mathbf{b}$
7.2 伪逆和线性方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 矩阵 444 个空间的正交基 1.根据 Avi=σiuiA\mathbf{v}_i = \sigma_i\math ...
卡尔曼滤波工作原理详解
卡尔曼滤波工作原理详解网上看到有不少的博客翻译 How a Kalman filter works, in pictures, 这篇文章中非常有趣的解释了卡尔曼滤波,. 但是目前很多翻译的文章中公式 ...
5.8 正则化和数据标准化
5.8 正则化和数据标准化方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 矩阵 AAA 列满秩时才有最小二乘解.矩阵 AAA 列满秩,即矩阵列向量组是无关组,根据无关组性质,即不 ...
卡尔曼滤波器的一种形象表达
1.卡尔曼滤波器是什么? 卡尔曼滤波器是一个信息不确定情况下的强大的信息处理工具,它可以在任何有关动态系统的不确定信息的地方使用,可以对系统下一步做什么进行有根据的猜测.它是不断变化的系统的立项选择, ...
基于广义线性组合的Capon波束形成原理介绍及MATLAB实现
原理介绍在小快拍的情况下,采样协方差矩阵R^x{{\mathbf{\hat{R}}}_{x}}R^x和理想协方差矩阵之间有较大的差距.为了能够提高采样协方差矩阵估计的准确性,研究学者提出了一种基于 ...
Magnetically actuated soft capsule robot for fine-needle biopsy
这篇文章发表在soft robotics上,作为robotics领域唯一的双一区journal(2018 中科院一区+JCR一区),现在是robotics领域中科院二区,中科院一区是Science R ...
基于匹配点集对单应性矩阵进行估计
基于匹配点集对单应性矩阵进行估计 2020/4/28 FesianXu 前言在立体视觉中,对单应性矩阵进行估计是一个很重要的任务,我们在之前的博文[1,2,3]中的讨论中都或多或少地涉及到了单应性矩 ...
【入门级】学习卡尔曼滤波
由于工作需要,学习了卡尔曼滤波,期间看到一篇不错的文章,原文链接,决定翻译一遍加深理解,如果有翻译不准的地方可以对照原文哟. How a Kalman filter works, in picture ...
「SymPy」符号运算(5) Vector向量及运算
目录导言坐标系和向量笛卡尔坐标系与向量坐标原点向量运算四则运算点乘.叉乘并矢/外积(Dyadic) ∇ \nabla ∇算子(Hamiltonian算子) 梯度旋度散度向量操作 ...

最新文章

热门文章