最小二乘法与最小一乘法

更多深度学习资讯都在公众号：DLCV

什么是最小二乘法：
最小二乘法是一种误差度量方法，一种被优化的问题，在线性最小二乘问题中可以直接求解 x = ( A T A ) − 1 A T b x=\left(A^{T} A\right)^{-1} A^{T} b x=(ATA)−1ATb得到全局最优，但是在非线性最小二乘问题中无法用此方法求解，此时就需要迭代法来求解，比如梯度下降法，牛顿法。

最小二乘与极大似然的关系：
在测量误差服从高斯分布的情况下，最小二乘法等价于极大似然估计。

举例：
假设样本是从高斯分布中采样获得，高斯概率分布函数为：
f ( x ; μ , σ ) = 1 σ 2 π exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) f(x ; \mu, \sigma)=\frac{1}{\sigma \sqrt{2 \pi}} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right) f(x;μ,σ)=σ2π 1exp(−2σ2(x−μ)2)
噪声服从高斯分布的意思就是说，样本取值的期望 u 落在我们将要拟合的直线上。但是由于高斯噪声的存在，会一个偏差，该偏差符合正态分布，在两个标准差之间的范围内，两个标准差内的概率约为96%。这里的每一个样本都独立同分布，于是他们的联合概率应该满足：
p X , Y ( x , y ) = p X ( x ) ⋅ p Y ( y ) p_{X, Y}(x, y)=p_{X}(x) \cdot p_{Y}(y) pX,Y(x,y)=pX(x)⋅pY(y)
累乘的结果是：
1 σ 2 π exp ⁡ ( − ( x − μ 1 ) 2 2 σ 2 ) ⋅ 1 σ 2 π exp ⁡ ( − ( x − μ 2 ) 2 2 σ 2 ) … \frac{1}{\sigma \sqrt{2 \pi}} \exp \left(-\frac{(x-\mu 1)^{2}}{2 \sigma^{2}}\right) \cdot \frac{1}{\sigma \sqrt{2 \pi}} \exp \left(-\frac{(x-\mu 2)^{2}}{2 \sigma^{2}}\right) \dots σ2π 1exp(−2σ2(x−μ1)2)⋅σ2π 1exp(−2σ2(x−μ2)2)…
省略后面的乘项。上式相乘简化为指数相加，指数部分变为：
( − ( x − μ 1 ) 2 2 σ 2 ) + ( − ( x − μ 2 ) 2 2 σ 2 ) + … \left(-\frac{(x-\mu 1)^{2}}{2 \sigma^{2}}\right)+\left(-\frac{(x-\mu 2)^{2}}{2 \sigma^{2}}\right)+\ldots (−2σ2(x−μ1)2)+(−2σ2(x−μ2)2)+…
只看分子，得：
− [ ( x − μ 1 ) 2 + ( x − μ 2 ) 2 + ( x − μ 3 ) 2 … ] -\left[(x-\mu 1)^{2}+(x-\mu 2)^{2}+(x-\mu 3)^{2} \ldots\right] −[(x−μ1)2+(x−μ2)2+(x−μ3)2…]
这便是最小二乘的模样。最小二乘法的思想是要求平方和尽可能小。上式前面加上了负号，也就是上式尽可能大，式是一个指数，指数越大，便是联合概率越大，联合概率越大，表示样本的落点越有可能贴近拟合的直线，这便是最大似然的思想。

最小一乘法介绍：
最小一乘法只要求各实测点到回归直线的纵向距离的绝对值之和为最小。它不要求随机误差服从正态分布，“稳健性”比最小二乘法好。在数据随机误差不服从正态分布时，最小一乘法的统计性能优于最小二乘法。【百度百科】

举例：
当噪声服从拉普拉斯分布时
的概率分布为：
f ( x ∣ μ , b ) = 1 2 b exp ⁡ ( − ∣ x − μ ∣ b ) f(x | \mu, b)=\frac{1}{2 b} \exp \left(-\frac{|x-\mu|}{b}\right) f(x∣μ,b)=2b1exp(−b∣x−μ∣)
此时指数部分为绝对值，表示的是，所有数据到拟合出的直线的距离之和最小。新样本有最大可能的靠近该拟合的直线。

结论：
对于噪声的分布不同，应该选取对应的拟合方式。如果数据符合高斯分布，此时做线性回归应该用最小二乘法。

参考链接：
微信公众号：深度学习视觉
Blog: fainke.com
https://www.zhihu.com/question/24095027
https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%B8%80%E4%B9%98%E6%B3%95/585848?fr=aladdin

最小二乘法与最小一乘法相关推荐

matlab 最小一乘法,MATLAB实现最小二乘法
转载自: https://blog.csdn.net/zengxiantao1994/article/details/70210662 文章仅为创作者的观点,可与转载者讨论最小二乘法最小二乘法(又 ...
最小二乘法（最小平方法）(generalized least squares)
许多工程问题,常常需要根据两个变量的几组实验数值:实验数据,来找出这个两个变量的函数关系的近似表达式.通常把这样得到的函数的近似表达式叫做经验公式.经验公式建立以后,就可以把生产或实验中所积累的某些经 ...
软件推荐-国内参数优化软件：1stOpt - First Optimizationg
首页:http://www.7d-soft.com/index.htm 4.0新功能 (预定2010年8月6日): 1:支持复数拟合.复数方程组计算: 2:支持微分方程拟合求解: 3:通用全局优化求解 ...
MATLAB之线性回归，逻辑回归，最小二乘法，梯度下降，贝叶斯，最大似然估计
文章目录线性回归(定义域(-∞,+∞),值域(-∞,+∞),即输入输出连续) 线性回归/最小平方误差理论 MATLAB之线性回归/最小平方误差损失函数/代价函数求导法求线性回归一次拟合求线性系统 ...
最小二乘法以及RANSAC（随机采样一致性）思想及实现
线性回归–最小二乘法(Least Square Method) 线性回归: 什么是线性回归? 举个例子,某商品的利润在售价为2元.5元.10元时分别为4元.10元.20元, 我们很容易得出商品的利润与 ...
三坐标最小二乘法原理_全最小二乘法在三坐标测量中的应用
第 3O卷第 4期 2008年 O7月武汉工程大学学报 J． Wuhan Inst． Tech． Vo1．30 NO．4 Ju1． 2008 文章编号 :1674-2869(2008) ...
半小时学习最小二乘法
前言最小二乘法在统计学的地位不必多言.本文的目的是全面地讲解最小二乘法,打好机器学习的基础.本文主要内容是最小二乘法的思想及在线性回归问题中的应用.后面的系列文章会继续讲解最小二乘的正则化. 至于非 ...
拉格朗日插值最小二乘法原理简述
最小二乘法简述及推导,转自:点击打开链接经常做物理实验的同学应该会有这样的体会,我们经常需要将实验收集得来的数据标注在一个坐标平面之上,形成一系列离散的点,然后用一条平滑的曲线近似地将这些点连在一起 ...
最小二乘法的本质是什么？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:深度学习与计算机视觉作者:梨梨喵 https://ww ...

最小二乘法与最小一乘法

最小二乘法与最小一乘法相关推荐

最新文章

热门文章