谈谈自己对线性最小二乘和非线性最小二乘之间关系的理解~

最小二乘问题，是最基本、最实用、最应用广泛的的数学模型，在机器学习中更是得到了极大的应用（公式1），比如说我们的PCA，最经典的解释就是：最小化样本与其重构样本之间的误差和。采用的公式我不用写出来大家都会明白，二者先取个差值，在来个平方，最后搞一个和号上去，这就是最小二乘问题的思想。该数学模型的目的十分直观，就是想要计算出一组参数，这组参数可以让计算出来的数据与观测数据最为接近。进一步，最小二乘又可以分为线性和非线性两种，分别对应fi(x)的线性形式与非线性形式，线性最小二乘很好求解，可以将公式（1）变换为矩阵方程（公式2），最后直接求解矩阵方程即可，不需要迭代，这种解被称为“解析解”。非线性最小二乘问题则不然，它要复杂得多，没有办法变换为矩阵方程形式，以至于它必须将问题化简为每一步均为可以直接求解的子问题，整个求解过程是迭代的。

（1）

（2）

线性最小二乘问题与非线性最小二乘的关系，就是非线性最小二乘问题的求解过程，求解过程一讲完，关系自然也就明了！本来想写一篇很详细的博客，介绍非线性最小二乘问题的解法，一直打算把求解非线性最小二乘问题的每一步数学公式都进行解释，但是我发现，在CSDN中，大家往往对数学公式不大感冒，喜欢的往往就是通俗简单的文字说明，加上实用的代码。所以，我适应环境，下面就说说求解过程。

------------------------------------------------------------------------------------------------------------------------------------------------------------

1. 对原问题中的每一个函数fi(x)在x0处进行一阶泰勒展开，因为一阶泰勒展开属于线性函数（公式3），于是通过这种手段，就可以将非线性最小二乘问题简化为线性最小二乘问题来求解。

（3）

2. 对得到的线性最小二乘问题，进行直接求解。这里面涉及到两个矩阵，一个是雅克比矩阵（公式4），一个是赫森矩阵（公式5）。

（4）

（5）

3. 得到子问题的解析解xk+1之后（公式2），xk+1与xk之间便自然地建立了等式关系（公式6）。

（6）

4. 更新参数xk（k=k+1， k=1....n），回到步骤1，直到满足收敛条件，得到最优解x*

-----------------------------------------------------------------------------------------------------------------------------------------------------------

说完了，非线性最小二乘问题的解决思路就是这样的，整个过程就是复杂问题简单化，线性最小二乘简单吧，那就想办法利用简单的来解决复杂的。一阶泰勒展开刚好能起到“桥梁”一样的角色，如此看来，大牛们还是很聪明的。

下面说说几个注意事项。

第一：步骤1中，一定要一阶泰勒展开，不能采用二阶以上，因为只有一阶泰勒展开才是线性函数，才能转换为线性最小二乘问题来直接求解。

第二：步骤2中，雅克比矩阵和赫森矩阵都是属于子问题的，不是原问题的。

第三：步骤3中，是为了得到新求解的参数xk+1与之前参数xk之间的关系，形成一种“链式反应”，也就是迭代了。

第四：步骤4中，收敛条件一般有1.梯度近乎为0。2.变量变化很小。3.目标函数值变化很小等。

第五：许多优化算法，都可以用于解决非线性最小二乘问题。例如我之前讲过的LM算法与信赖域算法（参考2与参考3），对应的matlab代码已给出。

第六：函数fi(x)往往都是如下形式（公式7），千万别以为fi(x)就是hi(x)，我之前犯过类似的错误，调代码调的很惨。

（7）

希望我的理解对正在使用最小二乘模型的童鞋能够所有帮助。

参考1：最优化理论与算法

参考2：利用Levenberg_Marquardt算法求解无约束的非线性最小二乘问题~

参考3：利用信赖域算法求解无约束的非线性最小二乘问题~

(转载请注明：http://blog.csdn.net/wsj998689aa/article/details/41558945, 作者：迷雾forest)

谈谈自己对线性最小二乘和非线性最小二乘之间关系的理解~相关推荐

Matlab最小二乘法：线性最小二乘、加权线性最小二乘、稳健最小二乘、非线性最小二乘与剔除异常值效果比较
最近我们被客户要求撰写关于最小二乘法的研究报告,包括一些图形和统计输出.matlab软件在拟合数据时使用最小二乘法.拟合需要一个参数模型,该模型将因变量数据与具有一个或多个系数的预测数据相关联.拟合过 ...
一文详解线性最小二乘与非线性最小二乘
一文详解线性最小二乘与非线性最小二乘一.最小二乘法的引出二.线性最小二乘法 1.线性最小二乘的描述 2.线性最小二乘特殊情况的求解 3.线性最小二乘一般情况的求解三.非线性最小二乘法 1.非线性 ...
SLAM算法＆技术之Gauss-Newton非线性最小二乘算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达编辑丨点云PCL 前言很多问题最终归结为一个最小二乘问题,如SLAM算法中的Bundle Adjus ...
c++分治法求最大最小值实现_最优化计算与matlab实现（12）——非线性最小二乘优化问题——G-N法...
参考资料 <精通MATLAB最优化计算(第二版)> 编程工具 Matlab 2019a 目录石中居士:最优化计算与Matlab实现--目录zhuanlan.zhihu.com 非线性最 ...
最小覆盖模型matlab_数学规划模型的matlab求解非线性最小二乘lsqnonlin
数学规划模型是优化模型的一种,包括线性规划模型(目标函数和约束条件都是线性函数的优化问题); 非线性规划模型(目标函数或者约束条件是非线性的函数); 整数规划(决策变量是整数值得规划问题); 多目标规 ...
视觉SLAM十四讲学习笔记-第六讲-非线性优化的非线性最小二乘问题
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...
非线性最小二乘通俗易懂解释
转https://www.cnblogs.com/leexiaoming/p/7257198.html备份用 1. 非线性最小二乘介绍 1.1. 最小二乘问题回顾: 在上一篇博客中我们知道最小二乘问题 ...
最优化理论·非线性最小二乘
最优化理论·非线性最小二乘标签(空格分隔): 数学非线性最小二乘问题是椭圆拟合中最易遇到的优化问题,本文主要对非线性二乘的基本分析做简单介绍 1. 什么是最小二乘问题目标函数能够写为m个函数平方 ...
透彻理解SLAM中的非线性最小二乘问题
下面是我从yuque复制过来的,格式有些问题,需要的可以直接看我笔记原文: https://www.yuque.com/docs/share/61fb4428-e631-4b96-b531-b3b09 ...

谈谈自己对线性最小二乘和非线性最小二乘之间关系的理解~

谈谈自己对线性最小二乘和非线性最小二乘之间关系的理解~相关推荐

最新文章

热门文章