推导多元最小二乘法的计算方法

直接的最小二乘法推导过程

多元线性模型
y=β0+β1x1+β2x2+⋯+βnxn(1)y=\beta_0+\beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n\tag{1}y=β0+β1x1+β2x2+⋯+βnxn(1)

对于m个样本来说，可以用线性方程组来表示：

y1=β0+β1x11+β2x12+⋯+βnx1ny_1=\beta_0+\beta_1 x_{11} + \beta_2 x_{12} + \cdots + \beta_n x_{1n}y1=β0+β1x11+β2x12+⋯+βnx1n
y2=β0+β1x21+β2x22+⋯+βnx2ny_2=\beta_0+\beta_1 x_{21} + \beta_2 x_{22} + \cdots + \beta_n x_{2n}y2=β0+β1x21+β2x22+⋯+βnx2n
⋯\cdots⋯
ym=β0+β1xm1+β2xm2+⋯+βnxmny_m=\beta_0+\beta_1 x_{m1} + \beta_2 x_{m2} + \cdots + \beta_n x_{mn}ym=β0+β1xm1+β2xm2+⋯+βnxmn

用矩阵来表示为：

(1x11⋯x1n1x21⋯x2n⋮⋮⋱⋮1xm1⋯xmn)(β0β1⋮βn)=(y1y2⋮ym)\begin{pmatrix}1&x_{11}&\cdots&x_{1n}\\1&x_{21}&\cdots&x_{2n}\\\vdots&\vdots&\ddots&\vdots\\1&x_{m1}&\cdots&x_{mn}\end{pmatrix} \begin{pmatrix}\beta_0\\\beta_1\\\vdots\\\beta_n\end{pmatrix}=\begin{pmatrix}y_1\\y_2\\\vdots\\y_m\end{pmatrix}⎝⎛11⋮1x11x21⋮xm1⋯⋯⋱⋯x1nx2n⋮xmn⎠⎞⎝⎛β0β1⋮βn⎠⎞=⎝⎛y1y2⋮ym⎠⎞

Aβ=Y(2)A\beta = Y\tag{2}Aβ=Y(2)

对于最小范式来说，误差最小化的矩阵表达形式为：
min∣∣Aβ−Y∣∣22\text{min}\vert\vert A\beta - Y\vert\vert_2^2min∣∣Aβ−Y∣∣22
下标的2代表向量范数的欧几里得范数

min∣∣Aβ−Y∣∣22=(Aβ−Y)T(Aβ−Y)=(βTAT−YT)(Aβ−Y)=βTATAβ−βTATY−YTAβ+YTY\begin{align*}\text{min}\vert\vert A\beta - Y\vert\vert_2^2&=(A\beta - Y)^T(A\beta-Y)\\&=(\beta^TA^T-Y^T)(A\beta - Y)\\&=\beta^TA^TA\beta - \beta^TA^TY - Y^TA\beta+Y^TY\end{align*}min∣∣Aβ−Y∣∣22=(Aβ−Y)T(Aβ−Y)=(βTAT−YT)(Aβ−Y)=βTATAβ−βTATY−YTAβ+YTY

βTATY\beta^TA^TYβTATY和YTAβY^TA\betaYTAβ都是标量

min∣∣Aβ−Y∣∣22=βTATAβ−2βTATY+YTY(3)\text{min}\vert\vert A\beta - Y\vert\vert_2^2=\beta^TA^TA\beta - 2\beta^TA^TY + Y^TY\tag{3}min∣∣Aβ−Y∣∣22=βTATAβ−2βTATY+YTY(3)

(3)式对β\betaβ进行求导，

向量积求导法则：

d(uTv)dx=d(uT)dx⋅v+d(vT)dx⋅u(1*)\frac{\text{d}(\textbf{u}^T\textbf{v})}{\text{d}\textbf{x}}=\frac{\text{d}(\textbf{u}^T)}{\text{d}\textbf{x}}\cdot \textbf{v} + \frac{\text{d}(\textbf{v}^T)}{\text{d}\textbf{x}}\cdot \textbf{u}\tag{1*}dxd(uTv)=dxd(uT)⋅v+dxd(vT)⋅u(1*)

d(xTx)dx=d(xT)dx⋅x+d(xT)dx⋅x=2x(2*)\frac{\text{d}(\textbf{x}^T\textbf{x})}{\text{d}\textbf{x}}=\frac{\text{d}(\textbf{x}^T)}{\text{d}\textbf{x}}\cdot \textbf{x} + \frac{\text{d}(\textbf{x}^T)}{\text{d}\textbf{x}}\cdot \textbf{x}=2\textbf{x}\tag{2*}dxd(xTx)=dxd(xT)⋅x+dxd(xT)⋅x=2x(2*)

d(xTAx)dx=d(xT)dx⋅Ax+d(xTAT)dx⋅x=(A+AT)x(3*)\frac{\text{d}(\textbf{x}^T\textbf{A}\textbf{x})}{\text{d}\textbf{x}}=\frac{\text{d}(\textbf{x}^T)}{\text{d}\textbf{x}}\cdot \textbf{Ax} + \frac{\text{d}(\textbf{x}^T\textbf{A}^T)}{\text{d}\textbf{x}}\cdot \textbf{x}=(\textbf{A}+\textbf{A}^T)\textbf{x}\tag{3*}dxd(xTAx)=dxd(xT)⋅Ax+dxd(xTAT)⋅x=(A+AT)x(3*)

所以

∂(min∣∣Aβ−Y∣∣22)∂β=∂(βTATAβ−2βTATY+YTY)∂β=∂(βTATAβ−2βTATY)∂β=ATAβ+ATAβ−2ATY=2(ATAβ−ATY)(4)\begin{align*}\frac{\partial (\text{min}\vert\vert A\beta - Y\vert\vert_2^2)}{\partial \beta}&=\frac{\partial (\beta^TA^TA\beta - 2\beta^TA^TY + Y^TY)}{\partial \beta}\\&=\frac{\partial (\beta^TA^TA\beta - 2\beta^TA^TY)}{\partial \beta}\\&=A^TA\beta+A^TA\beta - 2A^TY\\&=2(A^TA\beta - A^T Y)\end{align*}\tag{4}∂β∂(min∣∣Aβ−Y∣∣22)=∂β∂(βTATAβ−2βTATY+YTY)=∂β∂(βTATAβ−2βTATY)=ATAβ+ATAβ−2ATY=2(ATAβ−ATY)(4)

令(4)为0，则有：
β=(ATA)−1ATY(5)\beta = (A^TA)^{-1}A^TY\tag{5}β=(ATA)−1ATY(5)

推导多元最小二乘法的计算方法相关推荐

椭圆 —— 从理论推导到最小二乘法拟合
前言椭圆在高中数学里就开始提到,都是从标准方程开始如: x2a2+y2b2=1(a>b>0)\frac{x^2}{a^2}+\frac{y^2}{b^2}=1(a>b>0) ...
普通最小二乘法的两种推导方法
对于一个简单的线性回归模型,其形式为其中是因变量,是自变量,表示出了之外其他可能影响的因素.我们要用这个模型来寻找在其他因素不变的情况下,对的影响大小,也就是说,在的情况下这个线性公式表明不管的初 ...
机器学习算法：多元高斯模型
本文结构如下: 1:多元正态分布及可视化 2:双高斯独立分布可视化 3:从零开始推导多元高斯分布 4:多元正态分布性质 5:高斯判别分析模型 6:高斯判别分析模型Demo 1: 多元正态分布及可视化 ...
统计学习方法——最小二乘法及其具体实现
1. 引言最小二乘法作为线性拟合常用的一种方法,勒让德( A. M. Legendre)于1805年在其著作<计算慧星轨道的新方法>中提出的,被广泛应用于各种数据拟合的方法中.曾经在某软 ...
java算多元回归方程_java多元线性回归算法
多元线性回归的计算方法摘要在实际经济问题中,一个变量往往受到多个变量的影响.例... STLyy UQ 在多元线性回归分析中,回归平方和表示的是所有 k 个自变量对 y 的变差的总影响,它可以按公 ...
16 最小二乘法 - 数据分析的瑞士军刀
事实上,在成百上千的各式各样的攻击方法中,取算术平均恐怕是最广为人知使用也最为广泛的方法,因为可能一个小学生都知道使用算术平均来计算自己每天平均花了多少零花钱而以此作为向爸妈讨要零花钱的依据.而我们大 ...
基于最小二乘法估计点云的曲面法向量
转自:https://blog.csdn.net/lming_08/article/details/21171491 之前对PCL库计算三维点云数据的曲面法向量有过介绍,点云的曲面法向量估计,PCL库 ...
【sklearn】线性回归、最小二乘法、岭回归、Lasso回归
文章目录机器学习的sklearn库一.回归分析 <1.1>线性回归 1.1.1.Python实现线性回归 <1.2>最小二乘法 1.2.1.MATLAB实现最小二乘法 1. ...
永磁同步电机模型推导（静止坐标系+旋转坐标系）
参考文献电机传动系统控制-薛承基交流电机动态分析-汤蕴缪 Sychronous Machines Theory and Performances – Charles Concordia 1. 静止 ...
最小二乘法的原理理解
在上文一文让你彻底搞懂最小二乘法(超详细推导)中我们提到过,发明最小二乘法的勒让德认为,让误差的平方和最小估计出来的模型是最接近真实情形的(误差=真实值-理论值).换句话说,勒让德认为最佳的拟合准则是 ...

推导多元最小二乘法的计算方法

推导多元最小二乘法的计算方法相关推荐

最新文章

热门文章