最小二乘估计、拟合

1.最小二乘估计（Least Squares Approximations）、拟合（Fitting）
- 1.1 最小化误差（Minimizing the Error）
- - 1.1.1 几何角度理解
  - 1.1.2 代数角度理解
  - - 1.1.2.1 直线拟合
    - 1.1.2.2 曲线拟合
    - 1.1.2.3 欠拟合、过拟合
  - 1.1.3 微积分角度
- 1.2 例子
- 1.3 思路总结

1.最小二乘估计（Least Squares Approximations）、拟合（Fitting）

笔记来源：Least Squares Approximation | Linear Algebra | Khan Academy

1.1 最小化误差（Minimizing the Error）

1.1.1 几何角度理解

个人理解：

原空间（未经线性变换的空间，即单位基向量构成的空间）中的所有向量经过线性变换（矩阵 AAA）后驻留到了子空间 VVV 中，原空间没有一个向量 x⃗\vec{x}x 变到了图中向量 b⃗\vec{b}b 的位置，所以我们说 Ax⃗=b⃗A\vec{x}=\vec{b}Ax=b 无解，但我们可以在子空间 VVV 中找到一个向量 v⃗\vec{v}v，这个向量 v⃗\vec{v}v 最接近我们要求的向量 b⃗\vec{b}b，这里所说的子空间 VVV 中的这个向量其实就是向量 b⃗\vec{b}b 在子空间中的投影 ProjV(b⃗)Proj_V(\vec{b})ProjV(b)

也就是说原空间中的某个向量 x^\hat{x}x^ 经过线性变换（矩阵 AAA）后驻留到了子空间 V 中向量 b⃗\vec{b}b 投影的位置，我们将其称作向量 v⃗\vec{v}v

我们这里的用向量 b⃗\vec{b}b 和其在子空间 VVV 中的投影向量 ProjV(b⃗)Proj_V(\vec{b})ProjV(b) 的差向量 b⃗−ProjV(b⃗)\vec{b}-Proj_V(\vec{b})b−ProjV(b) 的大小叫做误差（Error），这个差向量因为垂直于子空间 VVV，所以这个差向量实际上就在子空间 VVV 的正交补集 V⊥V^{\perp}V⊥ 中
【我们要求的是向量 b⃗\vec{b}b，但实际我们只能达到 ProjV(b⃗)Proj_V(\vec{b})ProjV(b) 】
【其实在现实问题中就是由于测量中含有噪声，导致测量值与实际值之间存在误差】

v⃗=Ax^=ProjV(b⃗)v⃗∈V、b⃗−Ax^∈V⊥\vec{v}=A\hat{x}=Proj_V(\vec{b})\\ ~\\ \vec{v} \in V、\vec{b}-A\hat{x} \in V^{\perp} v=Ax^=ProjV(b) v∈V、b−Ax^∈V⊥
我们假设子空间 VVV 为列空间 C(A)C(A)C(A)、则其正交补集为左零空间 N(AT)N(A^T)N(AT)
v⃗∈C(A)、b⃗−Ax^∈N(AT)AT(b⃗−Ax^)=0⃗ATb⃗−ATAx^=0⃗ATb⃗=ATAx^Ax^=b⃗v⃗=Ax^=ProjC(A)(b⃗)Ax^=ProjC(A)(b⃗)\vec{v} \in C(A)、\vec{b}-A\hat{x} \in N(A^T)\\ ~\\ A^T(\vec{b}-A\hat{x})=\vec{0}\\ ~\\ A^T\vec{b}-A^TA\hat{x}=\vec{0}\\ ~\\ A^T\vec{b}=A^TA\hat{x}\\ ~\\ A\hat{x}=\vec{b}\\ ~\\ \vec{v}=A\hat{x}=Proj_{C(A)}(\vec{b})\\ ~\\ A\hat{x}=Proj_{C(A)}(\vec{b}) v∈C(A)、b−Ax^∈N(AT) AT(b−Ax^)=0 ATb−ATAx^=0 ATb=ATAx^ Ax^=b v=Ax^=ProjC(A)(b) Ax^=ProjC(A)(b)

其中 x^\hat{x}x^ 就是最小二乘估计
x^=(ATA)−1ATb⃗\hat{x}=(A^TA)^{-1}A^T\vec{b} x^=(ATA)−1ATb

1.1.2 代数角度理解

笔记来源：The Main Ideas of Fitting a Line to Data (The Main Ideas of Least Squares and Linear Regression.)

1.1.2.1 直线拟合

通过看所有数据点离直线距离的和来测量直线对数据的拟合有多好（距离和越小，拟合的越好）

1.1.2.2 曲线拟合

1.1.2.3 欠拟合、过拟合

下图来源于：数据分析中的插值与拟合(2) —— 拟合

1.1.3 微积分角度

残差平方和的偏导为0，意在寻找局部极值

1.2 例子

列空间中的基向量为：[012]\begin{bmatrix}0\\ 1\\ 2\end{bmatrix}⎣⎡012⎦⎤、[111]\begin{bmatrix}1\\ 1\\ 1\end{bmatrix}⎣⎡111⎦⎤

这两个基向量线性组合张成了矩阵AAA 的列空间，而向量 b⃗\vec{b}b 不在列空间中，所以基向量无法线性组合后得到向量 b⃗\vec{b}b

几何角度：

代数角度：
lineb=C+Dt=5−3tline\ b=C+Dt=5-3t line b=C+Dt=5−3t

微积分角度：

1.3 思路总结

最小二乘估计（Least Squares Approximations）、拟合（Fitting）相关推荐

最小二乘估计 Least Squares estimation
本文主要讲标准最小二乘方法及其常见的变形:加权最小二乘和总体最小二乘算法,关注不同方法之间的逻辑. 一.最小二乘估计(Least Squares estimation,LS) 最小二乘估计方法是一种不 ...
机器学习—模型估计与优化—线性模型—最小二乘估计
最小二乘估计 Least squares estimation 最小二乘法是一种基于误差平方和最小化的参数估计方法最小二乘估计法,又称最小平方法,是一种数学优化技术.它通过最小化误差的平方和寻找数据 ...
最小二乘估计（Least squares estimation）
最小二乘估计(Least squares estimation) 最小二乘估计面向的问题最小二乘估计(Least squares estimation) 加权最小二乘估计(Weighted leas ...
【南瓜书ML】(task2)线性模型的数学推导（最小二乘估计、广义瑞利商、极大似然估计等）
学习总结学习线性模型(线性回归,对数几率回归进行分类,线性判别分析LDA进行降维,多分类学习,类别不平衡问题中的采样or处理方法等). 对数几率回归里的联合概率最大等价于线性回归里的均方误差最小,最 ...
拟合(Fitting)
个人博客:wyxogo.top 提取完边缘后如何使用数学模型来描述边缘? 例如:在桌子上有几枚硬币,在经过边缘提取后,需要描述出硬币的圆心坐标和圆的大小难点噪声:噪声的存在使拟合的模型偏离真实的线 ...
误差理论、贝叶斯、最大似然与最小二乘估计
误差理论一.偏倚(bias)和方差(variance) 在讨论线性回归时,我们用一次线性函数对训练样本进行拟合(如图1所示):然而,我们可以通过二次多项式函数对训练样本进行拟合(如图2所示),函数对 ...
最小二乘估计的Matlab仿真
最小二乘估计 author:hwb version:0.01 现代信号处理作业,细节后续再填文章目录最小二乘估计 matlab仿真代码仿真结果结语 matlab仿真代码 clear clc s ...
14 最小二乘估计原理推导和线性回归的外推等
14 最小二乘估计原理推导和线性回归的外推等标签:机器学习与数据挖掘 (此篇R代码对应本博客系列<12 R语言手册(第五站多元回归>) 1.简单最小二乘估计的推导先说个历史:最小 ...
递推最小二乘估计Matlab仿真
递推最小二乘估计Matlab仿真递推最小二乘估计理论仿真背景 Matlab程序仿真动图递推最小二乘估计理论递推最小二乘是卡尔曼滤波的重要基础,关于最小二乘理论可以参见之前的文章( 最小二乘估 ...

最小二乘估计（Least Squares Approximations）、拟合（Fitting）