对「曲线拟合」和「最小二乘法」的个人理解

在工程实践中，经常遇到类似的问题:

我们做了n次实验，获得了一组数据 $\left ( x_{1},y_{1}\right ),\left ( x_{2},y_{2}\right )...\left ( x_{n},y_{n}\right )$

然后，我们希望知道x和y之间的函数关系。所以我们将其描绘在XOY直角坐标系下，得到下面这么一张点云图：

然后，我们发现，x和y「可能」是线性的关系，因为我们可以用一条直线大致的将所有的样本点串连起来，如下图：

所以，我们可以「猜测」 $y=ax+b$ 。接下来的问题，就是求出a和b的值。

这看起来是一个很简单的问题，a和b是两个未知数，我们只需要随意找出两个样本点 $\left ( x_{1},y_{1}\right ),\left ( x_{2},y_{2}\right )$ ，列出方程组：

$y_{1}=ax_{1}+b$

$y_{2}=ax_{2}+b$

两个未知数，两个方程，就可以求解出a和b的值。

然而，在这里是不对的，或者说是不准确的。为什么呢？因为 $y=ax+b$ 这个函数关系，是我们「猜测」的，并不一定是客观正确的（虽然也许是正确的）。所以我们不能这么简单粗暴的方程组求解。

那怎么办呢？既然是「猜测」的，那么就存在误差。那么我们将这个函数关系稍加修正为：

$y_{i}=ax_{i}+b+e_{i}$

这里， $y_{i},x_{i},e_{i}$ 分别是第i次实验的因变量、自变量、误差。

既然是「猜测」，那我们当然希望猜得准一点。那怎么衡量准确呢？自然和e有关系。

上式变型后可得：

$e_{i}=y_{i}-ax_{i}-b$

在这里，a和b才是自变量，e是函数值。

这里是最容易搞糊涂的地方，为什么a,b是自变量，而不是x,y？

这就要提及「曲线拟合」的概念。所谓「拟合」就是说我们要找到一个函数，来「匹配」我们在实验中获得的样本值。放到上面的例子，就是我们要调整a和b的值，来使得这个函数和实验中获得的数据更加「匹配」。所以，a和b才是「曲线拟合」过程中的自变量。

接下来，继续如何让误差更小的问题。

「最小二乘法」的思想核心，就是定义一个损失函数：

$Q=\sum_{i}e^{2}=\sum_{i}(y_{i}-ax_{i}-b)^2$

显然，如果我们调整a和b，使得Q达到最小，那么「曲线拟合」的误差也会最小。

这里，Q是a,b的函数。根据高等数学的只是，Q的最小值点必然是其导数为0的点。

所以，我们令：

$\frac{\partial Q}{\partial a}=0$

$\frac{\partial Q}{\partial b}=0$

求解上述方程组，则可以解得a和b的值。这就是最小二乘法的整个过程。

最后说明：

（1）最小二乘法英文名Least Squares，其实翻译成「最小平方法」，更容易让人理解。其核心就是定义了损失函数；

（2）评价误差的方法不止一个，还有诸如 $\sum_{i}\left|e_{i}\right|$ 等（当然这就不是最小二乘法了）；

（3）最小二乘法不仅可以用于一次函数的拟合，还可以用于更高次函数的拟合；

（4）最小二乘法既是一种曲线拟合的方法，也可用于最优化。

对「曲线拟合」和「最小二乘法」的个人理解相关推荐

数学基础知识总结 —— 13. 什么是回归分析常用的「最小二乘法」
文章目录「最小二乘法」的提出背景从一个简单的例子开始参考资料「最小二乘法」的提出背景最小二乘法通常归功于高斯(Carl Friedrich Gauss,1795),但最小二乘法是由阿德里安- ...
什么是「最小二乘法」
什么是「最小二乘法」? 最小二乘法主要用于解决函数模型最优解问题,是测量工作及其他科学工程领域中,应用最早也是最广泛的算法. 在生产实践中,经常会遇到利用一组观测数据来估计某些未知参数的问题. 举个栗 ...
5.3Role和Claims授权「深入浅出ASP.NET Core系列」
5.3Role和Claims授权「深入浅出ASP.NET Core系列」原文:5.3Role和Claims授权「深入浅出ASP.NET Core系列」希望给你3-5分钟的碎片化学习,可能是坐地铁. ...
重磅！CSDN 发布「AI开源贡献奖Top5」「AI新锐公司奖Top10」「AI优秀案例奖Top30」三大榜单...
2020 年无疑是特殊的一年,AI 在开年的这场"战疫"中表现出惊人的力量.站在"新十年"的起点上,CSDN发起[百万人学AI]评选活动.我们继续聚焦AI的技术 ...
知乎「致知计划之科学季」颁奖，创作者分享80万元奖金
1月11日,「致知计划之科学季」颁奖典礼在北京798艺术中心举行,近500名创作者到场参加. 为了激励创作者,推动优质内容持续产出,知乎的「致知计划」从四个方面对创作者进行了扶持.一是流量扶持,让专业 ...
倒计时 3 天！「2019 嵌入式智能国际大会」全日程大公开！
立即抢购:https://t.csdnimg.cn/otBk 还有3天,大伙期待的「2019嵌入式智能国际大会」正式开幕了! 2019年12月6日-7日,我们在深圳市人才研修院见! 大会以" ...
8.3折特惠票仅剩3天！「2019 嵌入式智能国际大会」全日程大公开！
8.3折特惠票仅剩3天立即抢购:https://t.csdnimg.cn/otBk 还有5天,大伙期待的「2019嵌入式智能国际大会」正式开幕了! 2019年12月6日-7日,我们在深圳市人才研修院 ...
看动画轻松理解「链表」实现「LRU缓存淘汰算法」
作者 | 程序员小吴,哈工大学渣,目前正在学算法,开源项目「 LeetCodeAnimation 」5500star,GitHub Trending 榜连续一月第一. 本文为 AI科技大本营投稿文章 ...
「x is All You Need」，当学术论文开始标题党……
视学算法报道转载自:机器之心编辑:魔王在机器学习论文数量迅速增加的当下,「标题党」趋势也正在抬头.然而,「标题党」虽好,也要当心同质化啊. 2017 年 6 月,Transformer 横空出世 ...

对「曲线拟合」和「最小二乘法」的个人理解

对「曲线拟合」和「最小二乘法」的个人理解相关推荐

最新文章

热门文章