问题描述

输入样本 X∈Rm×n\textbf{X}\in \mathbb{R}^{m\times n}X∈Rm×n，输出 y∈Rm×1\textbf{y}\in\mathbb{R}^{m\times 1}y∈Rm×1，需要学习的参数 w∈Rn×1\textbf{w}\in \mathbb{R}^{n\times 1}w∈Rn×1。其中，mmm 为样本个数，nnn 为单个样本维度。

线性回归

最小化目标函数
J(w)=12∥y−Xw∥22J(\textbf{w}) = \frac{1}{2}\left\Vert\textbf{y}-\textbf{Xw}\right\Vert^2_2J(w)=21∥y−Xw∥22
有对 w\textbf{w}w 求梯度等于零
∇J(w)=0∇(y−Xw)T(y−Xw)=0∇(yTy−yTXw−(Xw)Ty+(Xw)TXw)=0∇(−2wTXTy+wTXTXw)=0−2XTy+(XTX+(XTX)T)w=0−2XTy+2XTXw=0w=(XTX)−1XTy\begin{aligned}&\nabla J(\textbf{w})=\textbf{0}\\& \nabla\left(\textbf{y}-\textbf{Xw}\right)^T\left(\textbf{y}-\textbf{Xw}\right)=\textbf{0}\\& \nabla\left(\textbf{y}^T\textbf{y}-\textbf{y}^T\textbf{Xw}-\left(\textbf{Xw}\right)^T\textbf{y}+(\textbf{Xw})^T\textbf{Xw}\right)=\textbf{0}\\& \nabla\left(-2\textbf{w}^T\textbf{X}^T\textbf{y}+\textbf{w}^T\textbf{X}^T\textbf{Xw}\right)=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+\left(\textbf{X}^T\textbf{X}+\left(\textbf{X}^T\textbf{X}\right)^T\right)\textbf{w}=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+2\textbf{X}^T\textbf{X}\textbf{w}=\textbf{0}\\& \textbf{w}=\left(\textbf{X}^T\textbf{X}\right)^{-1}\textbf{X}^T\textbf{y}\end{aligned}∇J(w)=0∇(y−Xw)T(y−Xw)=0∇(yTy−yTXw−(Xw)Ty+(Xw)TXw)=0∇(−2wTXTy+wTXTXw)=0−2XTy+(XTX+(XTX)T)w=0−2XTy+2XTXw=0w=(XTX)−1XTy

岭回归：添加 L2L_2L2 正则项

最小化目标函数
J(w)=12∥y−Xw∥22+λwTwJ(\textbf{w}) = \frac{1}{2}\left\Vert\textbf{y}-\textbf{Xw}\right\Vert^2_2+\lambda\textbf{w}^T\textbf{w}J(w)=21∥y−Xw∥22+λwTw
有对 w\textbf{w}w 求梯度等于零
∇J(w)=0∇(y−Xw)T(y−Xw)+λ∇wTw=0∇(yTy−yTXw−(Xw)Ty+(Xw)TXw)+2λw=0∇(−2wTXTy+wTXTXw)+2λw=0−2XTy+(XTX+(XTX)T)w+2λw=0−2XTy+2XTXw+2λIw=0w=(XTX+λI)−1XTy\begin{aligned}&\nabla J(\textbf{w})=\textbf{0}\\& \nabla\left(\textbf{y}-\textbf{Xw}\right)^T\left(\textbf{y}-\textbf{Xw}\right)+\lambda\nabla\textbf{w}^T\textbf{w}=\textbf{0}\\& \nabla\left(\textbf{y}^T\textbf{y}-\textbf{y}^T\textbf{Xw}-\left(\textbf{Xw}\right)^T\textbf{y}+(\textbf{Xw})^T\textbf{Xw}\right)+2\lambda\textbf{w}=\textbf{0}\\& \nabla\left(-2\textbf{w}^T\textbf{X}^T\textbf{y}+\textbf{w}^T\textbf{X}^T\textbf{Xw}\right)+2\lambda\textbf{w}=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+\left(\textbf{X}^T\textbf{X}+\left(\textbf{X}^T\textbf{X}\right)^T\right)\textbf{w}+2\lambda\textbf{w}=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+2\textbf{X}^T\textbf{X}\textbf{w}+2\lambda\textbf{Iw}=\textbf{0}\\& \textbf{w}=\left(\textbf{X}^T\textbf{X}+\lambda\textbf{I}\right)^{-1}\textbf{X}^T\textbf{y}\end{aligned}∇J(w)=0∇(y−Xw)T(y−Xw)+λ∇wTw=0∇(yTy−yTXw−(Xw)Ty+(Xw)TXw)+2λw=0∇(−2wTXTy+wTXTXw)+2λw=0−2XTy+(XTX+(XTX)T)w+2λw=0−2XTy+2XTXw+2λIw=0w=(XTX+λI)−1XTy

最小二乘法正规方程推导过程相关推荐

[机器学习-回归算法]一元线性回归用最小二乘法的推导过程
一元线性回归用最小二乘法的推导过程在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关. ...
线性回归——正规方程推导过程
线性回归--正规方程推导过程我们知道线性回归中除了利用梯度下降算法来求最优解之外,还可以通过正规方程的形式来求解. 首先看到我们的线性回归模型: f ( x i ) = w T x i f(x_i) ...
正规方程（含推导过程） from 吴恩达的机器学习
正规方程是通过求解下面的方程来找出使得代价函数最小的参数的: 假设我们的训练集特征矩阵为X(包含了 )并且我们的训练集结果为向量 y,则利用正规方程解出向量: ...
线性回归正规方程详细推导过程
最近在学习吴恩达的机器学习,讲到里面了比较简单的求出的方法:正规方程. 视频里只告诉我们这个公式,但是没有具体告诉我们推到过程,对于我这种数学学渣来说实在一眼看不出来是什么意思,查了很久才稍微懂了点点 ...
基于回归曲线拟合模型的ALS(最小二乘法)推导过程以及Python实现
概念最小二乘法(Alternative -Least-Squares)是一种迭代算法.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实 ...
最小二乘法(一元)推导
最小二乘法(一元)推导 1 声明本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 最小二乘法简介最小二乘法是一种优化的方法,它主要是通 ...
递推最小二乘法的推导和理解
递推最小二乘法的推导和理解最小二乘法快速回顾最小二乘法的推导建立误差平方将其最小化一种对最小二乘法理解的视角递推最小二乘法在线实时预测问题推导思路与详细过程将k时刻的表达式写成k-1 ...
一分钟详解「本质矩阵」推导过程
文章目录前言一本质矩阵如何推导二本质矩阵的意义三本质矩阵的求解四扩展--基本矩阵前言两幅视图存在两个关系:第一种,通过对极几何,一幅图像上的点可以确定另外一幅图像上的一条直线:另 ...
机器学习——线性回归的原理，推导过程，源码，评价
https://www.toutiao.com/a6684490237105668620/ 2019-04-27 16:36:11 0.线性回归做为机器学习入门的经典模型,线性回归是绝对值得大家深入 ...
变态跳台阶，很难很难，终于想出来了，附推导过程，为自己鼓掌
https://www.nowcoder.net/practice/22243d016f6b47f2a6928b4313c85387?tpId=13&tqId=11162&tPage= ...

最小二乘法正规方程推导过程

最小二乘法正规方程推导过程

问题描述

线性回归

岭回归：添加 L2L_2L2 正则项

最小二乘法正规方程推导过程相关推荐

最新文章

热门文章

最小二乘法正规方程推导过程

最小二乘法正规方程推导过程

问题描述

线性回归

岭回归：添加 L2L_2L2​ 正则项

最小二乘法正规方程推导过程相关推荐

最新文章

热门文章

岭回归：添加 L2L_2L2 正则项