什么是「最小二乘法」？

最小二乘法主要用于解决函数模型最优解问题，是测量工作及其他科学工程领域中，应用最早也是最广泛的算法。

在生产实践中，经常会遇到利用一组观测数据来估计某些未知参数的问题。

举个栗子，

一个做匀速运动的质点在时刻t的位置是y，则可以用如下的线性函数来描述:

y=at+b

其中，a是平均速度，b为质点在t=0时刻的初始位置，求参数a和b。

理想情况下，只需要在两个不同时刻和 $t_{2}$ 观测出质点的相应位置 $y_{1}$ 和 $y_{2}$ ，建立两个方程，即可解出两个未知数。这也是我们高中以前常做的、有唯一确定解的问题。

理想情况

但是，实际观测时，观测值中是带有观测误差（偶然误差、系统误差和粗差）的。

观测误差产生的原因有很多，概括起来有三个方面：

测量仪器

每种仪器只具有一定限度的准确度，比如我们常用的塑料尺，因为只能读到毫米位，毫米以下需要估读，另外，塑料尺因为制造工艺限制，很难保证刻度准确无误，由此观测所得的数据必然带有误差。

2. 观测者

每个人的感官及技术水平、工作态度会有一定差异，所以观测的结果也会有一些差异。

3. 外界条件

测量时所处的外界条件，比如温度、湿度、风力等，都会对观测值直接产生影响。

如果还是像理想情况一样，观测两次，解方程，由于存在误差，得到的结果可能会有很大偏差。

所以，在实际观测时，考虑到观测值带有偶然误差，总是作多余观测。

在这种情况下，为了求得a和b，就需要在不同时刻（t1, t2,……tn）来测定其位置，得出一组观测值（y1, y2, ……yn）。这时，由式 y=at+b 可以得到：

、 $y_{i}$ 为第 i 次观测值， $v_{i}$ 即第 i 次观测时的观测误差。

从图中可以看出，由于存在观测误差，由观测数据绘出的点——观测点，描绘不成直线，而有一些“波动”。若将这些观测数据代入方程求解，a和b之值无确定解。

这里就产生这样一个问题：用什么准则来对参数a和b进行估计，从而使估计直线 y=at+b“最佳”地拟合于各观测点？这里的“最佳”一词可以有不同的理解。例如，可以认为：各观测点对直线最大距离取最小值时，直线是“最佳”的；也可以认为，各观测点到直线的偏差的绝对值之和取最小值时，直线是“最佳”的，等等。在不同的“最佳”要求下，可以求得相应问题中参数a和b不同的估值。

但是，在解这类问题时，一般应用的是最小二乘原理。

最小二乘法最早出现在勒让德1805年发表的论著《计算彗星轨道的新方法》附录中。在此之前，前人多设法构造k个方程去求解，而勒让德没有因袭前人思想。他认为：“赋予误差的平方和为极小，则意味着在这些误差间建立了一种均衡性，它阻止了极端情形所施加的过分影响。这非常好地适用于揭示最接近真实情形的系统状态。”

该附录占据了这本80页小册子的最后9页，在前面关于卫星轨道计算的讨论中没有涉及最小二乘法，可以推测他当时感到这一方法尚不成熟。

到此为止，这个方法仍有其不足之处，即它纯是一个计算方法，缺少误差分析。我们不知道，使用这个方法引起的误差如何，因此也就无法知道，除了若干表面上的优点(例如计算上方便)之外，最小二乘法还有何深层次的优点。要研究这些问题，就需建立一种误差分析理论。

1809年，高斯发表论著《天体运动理论》。在该书末尾，他写了一节有关“数据结合”的问题，以极其简单的手法导出误差分布——正态分布（描述偶然误差通常用正态分布，其特性：在一定观测条件下，误差的绝对值有一定的限制，或者说，超出一定限制的误差，其出现的概率为零；绝对值较小的误差比绝对值较大的误差出现的概率大；绝对值相等的正负误差出现的概率相同；偶然误差的数学期望为零），并用最小二乘法加以验证。

高斯较之于勒让德把最小二乘法推进得更远，他由误差函数推导出这个方法并详尽阐述了最小二乘法的理论依据。可以说，没有高斯的正态误差理论配合，最小二乘法的意义和重要性可能还不到其现今所具有的十分之一。最小二乘方法与高斯误差理论的结合，是数理统计史上最重大的成就之一，其影响直到今日也尚未过时。

误差分布

关于最小二乘法，高斯宣称自1795年以来他一直使用这个原理。这立刻引起了勒让德的强烈反击，他提醒说科学发现的优先权只能以出版物确定，并严斥高斯剽窃了他人的发明他们间的争执延续了多年。因而,这两位数学家之间关于优先权的争论,在数学史上的知名度仅次于牛顿和莱布尼兹之间关于微积分发明权的争论。现在一般认为，二人各自独立地发明了最小二乘法，尽管早在10年前，高斯就使用这个原理，但第一个用文字形式发表的是勒让德。

勒让德和高斯发现最小二乘法是从不同的角度入手的：一个是为解线性方程组，一个是寻找误差函数；一个用的是整体思维，考虑方程组的均衡性，一个用的是逆向思维，首先接受经验事实；一个是纯代数方法，一个致力于应用。

再回到开头的问题。

按照最小二乘原理的要求，认为“最佳”地拟合于各观测点的估计曲线，应使各观测点到该曲线的偏差的平方和达到最小。

就是要在满足

的条件下解出参数的估值a和b。

也即测量平差中：

知乎：什么是「最小二乘法」？ - 知乎

阿昆：阿昆 - 知乎

什么是「最小二乘法」相关推荐

对「曲线拟合」和「最小二乘法」的个人理解
在工程实践中,经常遇到类似的问题: 我们做了n次实验,获得了一组数据然后,我们希望知道x和y之间的函数关系.所以我们将其描绘在XOY直角坐标系下,得到下面这么一张点云图: 然后,我们发现,x和y「可 ...
数学基础知识总结 —— 13. 什么是回归分析常用的「最小二乘法」
文章目录「最小二乘法」的提出背景从一个简单的例子开始参考资料「最小二乘法」的提出背景最小二乘法通常归功于高斯(Carl Friedrich Gauss,1795),但最小二乘法是由阿德里安- ...
「机器学习」机器学习算法优缺点对比（汇总篇）
作者 | 杜博亚来源 | 阿泽的学习笔记「本文的目的,是务实.简洁地盘点一番当前机器学习算法」.文中内容结合了个人在查阅资料过程中收集到的前人总结,同时添加了部分自身总结,在这里,依据实际使用中的 ...
首次「机器学习」挑战赛下周开始，内含知识点剧透
关注「实验楼」,每天分享一个项目教程每一次挑战,都让你更强大! 从 NASA 的火星探测车,到狂虐人类的阿尔法Go:从全球巨头All in的无人驾驶,到机场.高铁站的人脸识别,处处都能见到机器学习. ...
「收藏」关于机器学习的知识点,全在这篇文章里了
尊重原创版权: https://www.qingtianxiaoshuo.com/hot/44432.html 更多内容参考: https://www.qingtianxiaoshuo.com/ 「收 ...
如何直观地理解「协方差矩阵」？
如何直观地理解「协方差矩阵」? Xinyu Chen Urban Traffic Data Analytics 372 人赞同了该文章协方差矩阵在统计学和机器学习中随处可见,一般而言,可视作方差和协 ...
消除左递归实验代码_「leetcode」108. 构造二叉搜索树【递归】【迭代】详解！
构造二叉搜索树,一不小心就平衡了 ❞ 108.将有序数组转换为二叉搜索树将一个按照升序排列的有序数组,转换为一棵高度平衡二叉搜索树. 本题中,一个高度平衡二叉树是指一个二叉树每个节点的左右两个子树 ...
不带头节点的链表有哪些缺点_23张图！万字详解「链表」，从小白到大佬！
链表和数组是数据类型中两个重要又常用的基础数据类型. 数组是连续存储在内存中的数据结构,因此它的优势是可以通过下标迅速的找到元素的位置,而它的缺点则是在插入和删除元素时会导致大量元素的被迫移动,为了解 ...
一位老码农的分享：一线程序员该如何面对「中年危机」？
如果这是第二次看到我的文章,欢迎文末扫码订阅我个人的公众号(跨界架构师)哟~ 本文长度为2728字,建议阅读8分钟. 坚持原创,每一篇都是用心之作- 先来聊一下这个问题的背景吧. 前两天有小伙伴问 ...

什么是「最小二乘法」

什么是「最小二乘法」？

什么是「最小二乘法」相关推荐

最新文章

热门文章