Step1:最小二乘法的初始形式

$E(W)=1/m\sum (y-WX)^2$

Step2:目标——最小化欧几里德空间的2-范数的平方

$Target=min\left \| y-WX \right \|^2=min(y-WX)^T*(y-WX)$

Step3:将式子用矩阵展开

$Target=min(y-WX)^T(y-WX)=W^TX^TWX-y^TWX-yW^TX^T+y^Ty(3)$

Step4:矩阵的各种形式求导（下一步使用）

第一种： $\frac{ \partial W^TX }{ \partial W }=\frac{ \partial X^TW }{ \partial W }=X$

第二种： $\frac{ \partial W^TXW }{ \partial W }=XW+X^TW$ , 如果矩阵是对称的： $XW+X^TW=2XW$

Step5:求最小，即为求导数为零（上一步带入(3)）

第一项： $2X^TXW$

第二，三项： $2X^Ty$

第四项：为零

总： $2X^TXW-2X^TY=0$

Step6:最终结果

则由上面总的式子可以推导出： $W=(X^TX)^{-1}X^Ty$

即最小二乘法的闭式解

机器学习——最小二乘法，闭式解矩阵推导相关推荐

关于DCF（判别相关滤波器）的闭式解详细推导
论文题目:High-Speed Tracking with Kernelized Correlation Filters 作者主页:ht://wtpww.robots.ox.ac.uk/~joao/c ...
【机器学习】用QR分解求最小二乘法的最优闭式解
[机器学习]用QR分解求最小二乘法的最优闭式解写在前面 QR分解定义 QR的求解线性回归模型用QR分解求解最优闭式解矩阵的条件数实验运行结果写在前面今天刷知乎,看到张皓在面试官如何判 ...
【机器学习】相关概念：闭式解，解析解，数值解
在看<机器学习>时突然看到了闭式解这个概念,然后百度了一下闭式解. 看到了三个相关的名词:解析解,闭式解,数值解接下来谈一下自己看完后的理解解析解:因变量由自变量所表示的函数解析式,它 ...
多项式拟合之闭式解推导
多项式拟合之闭式解推导以下是本人PPT中的一些内容(图片插过来的): Take the derivative of formula (2) Then we get Right: Additional ...
【MATLAB】机器学习：线性回归实验（梯度下降+闭式解）
实验内容 1.根据梯度下降法完成一元线性回归实验. 2.根据闭式解完成一元线性回归实验. 3.比较两种解下的实验结果. 实验代码 clear;clc; %% 数据导入:划分训练集和测试集 % 数据导入 ...
训练线性回归模型 --- “闭式”解方法、梯度下降（GD）
目录 1.训练前你需要了解简单说,线性模型就是对输入特征加权求和,再加上一个我们称为偏置项(也称为截距项)的常数向量化的形式: 训练模型就是设置模型参数直到模型最拟合训练集的过程. 常见的性能指标 ...
解析解【闭式解（closed-form solution）】和数值解
数值解(numerical solution)是在特定条件下通过近似计算得出来的一个数值,是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果解析解(a ...
优化问题中什么形式有闭式解
闭式解也被称为解析解,与数值解对应. 解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.所谓 ...
诞生272年后，这个看似简单的数学问题终求得闭式解
德国数学家 Ingo Ullisch 破解诞生 270 多年的「山羊问题」,求出闭式解. 我们先来看一个「简单」的问题:假如圆形篱笆围出一英亩草地,将一只山羊拴在篱笆内,你需要用多长的绳子才能让羊吃到 ...

机器学习——最小二乘法，闭式解矩阵推导