一、最小二乘法的思路

最小二乘法（Least Squares）是回归分析中的一种标准方法，它是当方程数量大于未知数个数时，利用数据点构建的方程组，对未知参数进行一种近似估计的方法。之所以叫做“最小二乘”，是因为利用的优化项是由所有数据点与模型观测点残差的平方和构成的，通过极小化残差的平方和，达到一种从整体上最“接近”实际观测数据的模型参数。

二、最小二乘法的公式推导

以最简单的线性最小二乘法拟合为例。设最终需要得到的拟合直线公式为

$y=ax+b$

其中， $a$ ， $b$ 为待估计的参数。

设我们拥有的一组数据的观测点对为 $(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$ ，一共有 $N$ 对数据点，则将这些数据点分别代入方程，可以得到一共 $N$ 个方程构成的方程组，通过极小化实际观测数据与模型观测数据的残差平方和：

$\varepsilon^2=\sum_{i=1}^N(y_i-(ax_i+b))^2$

将 $\varepsilon^2$ 分别对参数 $a,b$ 求偏导，并令偏导等于零，可得

$\frac{\partial \varepsilon^2}{\partial a}=2\sum_{i=1}^{N}(y_i-(ax_i+b))(-x_i)=0$

化简后得到

$\sum x_iy_i-a\sum x_i^2-b\sum x_i=0$ $(1)$

在这里，由于都是对 $i$ 下标从 $1-N$ 求和，所以将求和上小标均省略。

对参数 $b$ 求偏导，可得

$\frac{\partial \varepsilon^2}{\partial b}=2\sum_{i=1}^{N}(y_i-(ax_i+b))=0$

化简后得到

$\sum y_i=a\sum x_i+Nb$ $(2)$

利用方程 $(1),(2)$ 组成的关于未知参数 $a,b$ 的二元一次方程组，联立求解，可得

$\left\{ \begin{matrix} a&=&\frac{\sum x_i \sum y_i-N\sum x_iy_i}{(\sum x_i)^2-N\sum x_i^2} \\ b&=&\bar{y}-a\bar{x}\\ \end{matrix}\right.$

其中 $\bar{x},\bar{y}$ 上的横线代表对观测数据点求平均值。

至此，我们推导出了线性最小二乘法对于最简单两个直线参数估计情形的计算公式。

最小二乘法的思路及推导过程相关推荐

[机器学习-回归算法]一元线性回归用最小二乘法的推导过程
一元线性回归用最小二乘法的推导过程在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关. ...
基于回归曲线拟合模型的ALS(最小二乘法)推导过程以及Python实现
概念最小二乘法(Alternative -Least-Squares)是一种迭代算法.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实 ...
变态跳台阶，很难很难，终于想出来了，附推导过程，为自己鼓掌
https://www.nowcoder.net/practice/22243d016f6b47f2a6928b4313c85387?tpId=13&tqId=11162&tPage= ...
java 区间树_线段树（区间树）之区间染色和4n推导过程
前言线段树(区间树)是什么呢?有了二叉树.二分搜索树,线段树又是干什么的呢?最经典的线段树问题:区间染色:正如它的名字而言,主要解决区间的问题一.线段树说明 1.什么是线段树? 线段树首先是二叉树 ...
numpy求逆矩阵_线性代数精华2——逆矩阵的推导过程
点击上方蓝字,和我一起学技术. 上一讲当中我们复习了行列式的内容,行列式只是开胃小菜,线性代数的大头还是矩阵. 矩阵的定义很简单,就是若干个数按照顺序排列在一起的数表.比如m * n个数,排成一个m ...
arctanx麦克劳林公式推导过程_半桥 LLC 基波分析和参数计算过程推导
本文是 21Dianyuan 社区原创技术文章,作者 LLC 谐振,感谢作者的辛苦付出. 直流增益公式推导直流 LLC 谐振电源,其实也相当于 buck-boost 电源.要想弄明白和推导理论公式, ...
手眼标定_全面细致的推导过程
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自 | 新机器视觉本文解决的问题: 机械手搭载双目相机,手 ...
arctanx麦克劳林公式推导过程_三角函数的求导过程
上高中的同学一定会很疑惑三角函数的求导公式是怎么推导出来的,毕竟推导过程书本上并没有讲. 如上图,这个推导过程是许多同学都会推导的,但是推导过程仍有漏洞,比如(sinx/x)趋近于0的极限还未证明.三 ...
最小二乘法解的矩阵形式推导
最小二乘法解的矩阵形式推导首先,什么是最小二乘? 维基百科给出了一个定义,戳这里在我看来,最小二乘法是一种数据拟合方法. 我们从矩阵的角度来理解: 首先我们给出一个矩阵中的定义: R(A)={Ax ...
百题突击12:1，SVM算法的优缺点 2，SVM的超参数C如何调节 3，SVM的核函数如何选择 4，简述SVM硬间隔推导过程 5，简述SVM软间隔推导过程
1,SVM算法的优缺点优点可以解决高维问题,即大型特征空间: 解决小样本下机器学习问题: 能够处理非线性特征的相互作用: 无局部极小值问题:(相对于神经网络等算法) 无需依赖整个数据: 泛化能力比 ...

最小二乘法的思路及推导过程

一、最小二乘法的思路

二、最小二乘法的公式推导

最小二乘法的思路及推导过程相关推荐

最新文章

热门文章