最小二乘估计（Least Square Estimate）

说在前头

这是我写的第一篇博文。在CSDN潜水很久了，受到了很多前辈的帮助，打算开始学习写博文，能够帮助自己总结知识，学习使用Markdown，还能和大家交流，我是小白一只，如果觉得文中有什么问题，或是排版的建议，欢迎大家不吝指教啦~谢谢！

最小二乘估计

最小二乘估计是一种估计（Estimate）的方法，什么是估计？

估计：字面上的意思即是对事物进行推断，和猜测的含意是很接近的，所以会混着用。

&emsp；&emsp；我们透过已有的信息，对未知的事物进行猜测即是估计，而猜测的方法有很多，你可以毫无根据的瞎猜，也可以依据某些策略进行猜测，这些都叫做估计，但显而易见的是，不同的估计方法（估计策略）会带来性能的差异，而本文要介绍的最小二乘估计（LSE）就是一种估计方法（猜测策略）。

那就开始介绍LSE啦~LSE要解决的问题是：透过观测到的X，Y数据，如何猜测X和Y之间的关系，假设M个X对应某个Y，共有N组观测数据，X和某个Y的关系可以表示成如下形式：
X(1) = [X1(1),X2(1),X3(1)…XM(1)]->Y(1)
X(2) = [X1(2),X2(2),X3(2)…XM(2)]->Y(2)
…
X(N) = [X1(N),X2(N),X3(N)…XM(N)]->Y(N) **重点：**第n组X，即X(n),有M个数据

X（n）代表是第n组X数据，Xm（n）代表是第n个数据X的第m变量

“->”代表了某种映射关系，如何透过观测数据猜测这种映射关系就是我们关心的。

LSE做了如下假设：（基函数线性组合成目标Y）

假设Y的估计是由X的基函数线性组成的，用h表示（取其hypothesis（假设）之意）

即

Y的估计=h=w1φ1（X）+w2φ2（X）+w3φ3（X）…wkφk（X）

其中的φ（X）就是基函数代表一个参数不超出X1~XM的函数，举几个例子：

φ（X）= X1

φ（X）= X1 + cos（X2）+sin（XM）

φ（X）只要是X1~XM的函数就行，意即里面的自变量只要不超出X1-XM这个范围即可，可以少，不能多。

wk则是对应φk（X）的权重

如何确定基函数形式，如何确定基函数个数是LSE最关键的部分，可以透过先验知识或问题需求来设定

**比如，**如果问题是求取Y和X的线性关系

那φ（X）就可以设成M+1个分别是：[1，X1，X2…XM]

如果是求取Y的频率分量，那则可以利用cos，sin来构建基函数

讲完以上假设，考虑组数差异，我们可以改写一下式子，加上下标n，变成

Y（n）的估计=h（n）=w1φ1（X（n））+w2φ2（X（n））+w3φ3（X（n））…wkφk（X（n））

代表了用第n组观测数据中的X对某个Y的估计结果

设定好了基函数（这个是最难的，也最关键，因为需要根据对问题的理解来设定）之后，只剩决定w1~wk啦

我们就可以阐述一下为什么这个方法叫做最小二乘估计啦~因为它的策略就是以最小化观测数据集中的Y和h的平方误差和为标准，来决定哪个p是最优的，写成式子就是：

min⁡p=[p1..pk][∑n=1N[Y（n）−h（n）]2]\min\limits_{p=[p1..pk]}[{\sum_{n=1}^{N}[Y（n）-h（n）]^2}]p=[p1..pk]min[∑n=1N[Y（n）−h（n）]2]

其中h（n）=w1φ1（X（n））+w2φ2（X（n））+w3φ3（X（n））…wkφk（X（n））

将N组观测数据都列出来，可以得到如下矩阵关系

将上式写成h = ϕ\phiϕW

最小二乘优化问题min⁡p=[p1..pk][∑n=1N[Y（n）−h（n）]2]\min\limits_{p=[p1..pk]}[{\sum_{n=1}^{N}[Y（n）-h（n）]^2}]p=[p1..pk]min[∑n=1N[Y（n）−h（n）]2]变成：

min⁡p=[p1..pk]（Y−ϕW）（Y−ϕW）T\min\limits_{p=[p1..pk]}{（Y-\phi W）（Y-\phi W）^T} p=[p1..pk]min（Y−ϕW）（Y−ϕW）T

透过乘开后对W向量微分，可以得到当

W=ϕTϕ−1ϕTY时W ={\phi ^T\phi}^{-1}\phi^TY时 W=ϕTϕ−1ϕTY时

二乘误差

（Y−ϕW）（Y−ϕW）T（Y-\phi W）（Y-\phi W）^T （Y−ϕW）（Y−ϕW）T

达到最小

即求出

Wopt=ϕTϕ−1ϕTYWopt ={\phi ^T\phi}^{-1}\phi^TY Wopt=ϕTϕ−1ϕTY

将这个Wopt代入Y的估计=h=w1φ1（X）+w2φ2（X）+w3φ3（X）…wkφk（X）即求出我们对Y和X的关系的估计。

重点回顾：

（1）LSE假设Y是由X的“基函数线性构成”，注意基函数可以是非线性的，例如cos（），sin（），x1^2…

（2）如何决定基函数形式和个数是最重要的，其中每个基函数的变量都能从X1~XM任意取

（3）决定基函数后就用简单的微分解出W即可

（4）决定最优W的标准是Y和h二乘误差和最小（当然也可以定义别的误差指标，但就要换个名子啦）
(5) 什麼是估計? 為什麼這個方法叫做Least Square Estimate

最小二乘估计-LSE（Least Square Estimate）相关推荐

最大似然估计(MLE)与最小二乘估计(LSE)的区别
最大似然估计与最小二乘估计的区别标签(空格分隔): 概率论与数理统计最小二乘估计对于最小二乘估计来说,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值与观测值之差的平方和最小. ...
【数据统计】— 峰度、偏度、点估计、区间估计、矩估计、最小二乘估计
[数据统计]- 峰度.偏度.点估计.区间估计.矩估计.最小二乘估计四分位差异众比率变异系数利用数据指标指导建模思路形状变化数据分布形态峰度: 度量数据在中心聚集程度偏度利用数据指标指 ...
R语言计算线性回归的最小二乘估计
R语言计算线性回归的最小二乘估计全称:线性回归的最小二乘法(OLS回归),ordinary least square,字面翻译:普通最小平方: 内容:包括三个部分:简单线性回归.多项式回归.多元线性 ...
R语言与点估计学习笔记（刀切法与最小二乘估计）
一. 刀切法(jackknife) 刀切法的提出,是基于点估计准则无偏性.刀切法的作用就是不断地压缩偏差.但需要指出的是缩小偏差并不是一个好的办法,因为偏差趋于0时,均方误差会变得十分大. ...
最小二乘估计矩阵形式的推导
最小二乘估计矩阵形式的推导最近写文章有用到一些算法,自己推一下,顺便mark下来. 这么久我才发现csdn居然都能写Tex了(666). 考虑一般线性回归模型(OLR) 考虑只含有一个指标的一般线性 ...
【机器学习】线性回归【下】正则化最小二乘估计
有任何的书写错误.排版错误.概念错误等,希望大家包含指正. 由于字数限制,分成两篇博客. [机器学习]线性回归[上]朴素最小二乘估计 [机器学习]线性回归[下]正则化最小二乘估计 2.4. 正则化正 ...
最小二乘估计和奇异值分解(SVD)
一背景最小二乘估计(Least Square Estimation)是方程参数估测的常用方法之一,在机器人视觉中应用广泛,在估计相机参数矩阵(Cameral calibration matrix) ...
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计约束最小二乘估计的求解数值计算的思路系数估计量的解析式约束最小二乘估计的统计性质约束最小二乘估计的求解在线性模型y=Xβ ...
协方差公式性质证明过程_论文推荐 | 刘志平：等价条件平差模型的方差-协方差分量最小二乘估计方法...
<测绘学报> 构建与学术的桥梁拉近与权威的距离等价条件平差模型的方差-协方差分量最小二乘估计方法刘志平1, 朱丹彤1, 余航1, 张克非1,2 1. 中国矿业大学环境与测绘学院, 江 ...
【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计
目录一.广义最小二乘估计的推导二.广义最小二乘估计的性质--[定理3.6.1] 1.定理内容 2.定理证明 3.定理说明三.简单例子四.[例3.6.1] 一.广义最小二乘估计的推导在前面的讨 ...

最小二乘估计-LSE（Least Square Estimate）

最小二乘估计（Least Square Estimate）

说在前头

最小二乘估计

最小二乘估计-LSE（Least Square Estimate）相关推荐

最新文章

热门文章