1. 符号表示

首先我们将训练样本的特征矩阵X进行表示，其中N为样本个数，p为特征个数，每一行表示为每个样本，每一列表示特征的每个维度：
X=(x11x12...x1px21x22...x2p............xN1xN2...xNp)N⋅pX= \begin{gathered} \begin{pmatrix} x_{11} & x_{12} & ... & x_{1p} \\ x_{21} & x_{22} & ... & x_{2p} \\ ... & ... &... &... \\ x_{N1} & x_{N2} & ... & x_{Np} \end{pmatrix} \quad \end{gathered}_{N\cdot p} X=⎝⎜⎜⎛x11x21...xN1x12x22...xN2............x1px2p...xNp⎠⎟⎟⎞N⋅p

然后我们对训练样本的标签向量Y和权重向量w进行表示，其中权重向量指的是线性回归中各个系数形成的向量。
Y=(y1y2...yN)Y = \begin{gathered} \begin{pmatrix} y_{1} \\ y_{2} \\ ... \\ y_{N} \end{pmatrix} \quad \end{gathered} Y=⎝⎜⎜⎛y1y2...yN⎠⎟⎟⎞

w=(w1w2...wp)w = \begin{gathered} \begin{pmatrix} w_{1} \\ w_{2} \\ ... \\ w_{p} \end{pmatrix} \quad \end{gathered} w=⎝⎜⎜⎛w1w2...wp⎠⎟⎟⎞
为了方便运算，我们把yi=xiw+by_{i} = x_{i}w + byi=xiw+b中的b也并入到w和x中。则上述的符号表示则为：

X=(x10x11x12...x1px20x21x22...x2p...............xN0xN1xN2...xNp)N⋅pX= \begin{gathered} \begin{pmatrix} x_{10} & x_{11} & x_{12} & ... & x_{1p} \\ x_{20} & x_{21} & x_{22} & ... & x_{2p} \\ ... & ... &... &... &... \\ x_{N0} & x_{N1} & x_{N2} & ... & x_{Np} \end{pmatrix} \quad \end{gathered}_{N\cdot p} X=⎝⎜⎜⎛x10x20...xN0x11x21...xN1x12x22...xN2............x1px2p...xNp⎠⎟⎟⎞N⋅p

w=(w0w1w2...wp)w = \begin{gathered} \begin{pmatrix} w_{0} \\ w_{1} \\ w_{2} \\ ... \\ w_{p} \end{pmatrix} \quad \end{gathered} w=⎝⎜⎜⎜⎜⎛w0w1w2...wp⎠⎟⎟⎟⎟⎞

2. 公式推导

L(w)=∑i=1N(xiw−yi)2L(w) = \sum^{N}_{i =1 } (x_{i}w - y_{i})^{2}L(w)=i=1∑N(xiw−yi)2
w=arg⁡min⁡L(w)=arg⁡min⁡∑i=1N(xiw−yi)2w = \operatorname { arg } \operatorname { min }L(w) = \operatorname { arg } \operatorname { min } \sum^{N}_{i =1 } (x_{i}w - y_{i})^{2}w=argminL(w)=argmini=1∑N(xiw−yi)2
为什么是转置乘以原矩阵，这是由于Y是列向量，则(XW−Y)(XW - Y)(XW−Y)则也是列向量。根据矩阵乘法的定义，只有行向量乘以列向量，最终结果才是一个常数。
L(w)=(XW−Y)T(XW−Y)L(w) = (XW-Y)^{T} (XW-Y)L(w)=(XW−Y)T(XW−Y)

L(w)=(WTXT−YT)(XW−Y)L(w) = (W^{T}X^{T} - Y^{T})(XW-Y)L(w)=(WTXT−YT)(XW−Y)

L(w)=(WTXTXW−2WTXTY+YTY)L(w) = (W^{T}X^{T}XW-2W^{T}X^{T}Y+Y^{T}Y)L(w)=(WTXTXW−2WTXTY+YTY)

∂L(w)∂w=2XTXW−2XTY=0\frac { \partial L(w)} {\partial w} = 2X^{T}XW - 2X^{T}Y = 0∂w∂L(w)=2XTXW−2XTY=0

W=(XTX)−1XTYW = {(X^{T}X)}^{-1}X^{T}YW=(XTX)−1XTY

后记：其实求非线性回归的时候也可以使用该最小二乘法来计算多项式系数www，只要把高次项添加到原始的XXX后面即可。

线性回归最小二乘法公式推导相关推荐

多元线性回归最小二乘法及其应用
Cholesky分解求系数参考: [1]冯天祥. 多元线性回归最小二乘法及其经济分析[J]. 经济师,2003,11:129. 还可以采用最小二乘法来估计参数: 算法设计也可以参考两种系数最终公式设计 ...
西瓜书线性回归和最小二乘法公式推导
线性回归和最小二乘法周志华西瓜书3.2.P55公式推导公式推导如下对应的需要有些矩阵求导的公式: 其中我们约定,大写字母表示矩阵,小写字母表示标量,小写字母加粗表示向量,大部分书中都是这么约定, ...
【机器学习】线性回归——最小二乘法的概率解释高斯噪声（理论+图解+公式推导）
【机器学习】线性回归——最小二乘法（理论+图解+公式推导）
线性回归（公式推导，Numpy、sklearn实现）
本文章使用的数据集以及源码Github-stellaris123 线性回归线性回归是线性模型的一种典型方法.产品销量预测.岗位薪资预测,都可以用先线性回归来拟合模型.从某种程度上来说,回归分析不 ...
[机器学习-原理及实现篇]线性回归-最小二乘法
线性回归到底要干什么,顾名思义很简单,即在已有数据集上通过构建一个线性的模型来拟合该数据集特征向量的各个分量之间的关系,对于需要预测结果的新数据,我们利用已经拟合好的线性模型来预测其结果.关于线性回归 ...
线性回归最小二乘法计算步骤以及sklearn参数介绍
介绍线性回归是特征与标签之间建立一个关系来描绘特征和标签之间的关系. 预测函数的本质就是我们构建的模型,而构造的函数核心就是找出模型的参数向量w 最小二乘法(解析解)求解W 通过已知的MSE损失函数 ...
一元线性回归的公式推导
此乃开博首篇,先用简单的问题来当做开胃菜! 本篇一元回归主要参考周志华老师<机器学习>,主要工作是把周老师在书中省略的公式推导过程详细叙述清楚. 对于样本集 D D D = { (x1&q ...
Python实现线性回归（公式推导+源代码）
写这篇文章之前,首先要对自己做一个小小的反思,很多时候在学习新技术的时候,看到出了什么什么框架,在这个框架上什么什么方法可以直接拿过来用,这样的好处就是我们可以减少写代码量,几个函数就可以帮我们解决需 ...
【白板推导系列笔记】线性回归-最小二乘法及其几何意义最小二乘法-概率视角-高斯噪声-MLE
D={(x1,y1),(x2,y2),⋯,(xN,yN)}xi∈Rp,yi∈R,i=1,2,⋯,NX=(x1x2⋯xN)T=(x1Tx2T⋮xNT)=(x11x12⋯x1px21x22⋯x2p⋮⋮⋮x ...

线性回归最小二乘法公式推导

1. 符号表示

2. 公式推导

线性回归最小二乘法公式推导相关推荐

最新文章

热门文章