线性代数基础：

假设向量 A = [ a b c d ] A = \begin{bmatrix} a & b & c & d \end{bmatrix} A=[abcd]，则 A T = [ a b c d ] A^T = \begin{bmatrix} a\\ b\\ c\\ d \end{bmatrix} AT=⎣⎢⎢⎡abcd⎦⎥⎥⎤

A 2 = A ∗ A T = [ a b c d ] ∗ [ a b c d ] A^2 = A * A^T = \begin{bmatrix} a & b & c & d \end{bmatrix} * \begin{bmatrix} a\\ b\\ c\\ d \end{bmatrix} A2=A∗AT=[abcd]∗⎣⎢⎢⎡abcd⎦⎥⎥⎤

矩阵求导基础：


∂ x T ∂ x = 1 \frac{\partial x^T}{\partial x} = 1 ∂x∂xT=1	∂ x ∂ x T = 1 \frac{\partial x}{\partial x^T} = 1 ∂xT∂x=1
∂ A x ∂ x = A T \frac{\partial Ax}{\partial x} = A^T ∂x∂Ax=AT	∂ x A ∂ x = A T \frac{\partial xA}{\partial x} = A^T ∂x∂xA=AT
∂ A x ∂ x T = A \frac{\partial Ax}{\partial x^T} = A ∂xT∂Ax=A	∂ x T A ∂ x = A \frac{\partial x^TA}{\partial x} = A ∂x∂xTA=A

损失函数:

J ( θ ) = ( h ( x 1 ) − y 1 ) 2 + ( h ( x 2 ) − y 2 ) 2 + . . . + ( h ( x m ) − y m ) 2 = ∑ i = 1 m ( h ( x i ) − y i ) 2 = ( h ( x ) − y ) T ∗ ( h ( x ) − y ) J(\theta) = (h(x_1) - y_1)^2 + (h(x_2) - y_2)^2 + ... + (h(x_m) - y_m)^2 \\ = \sum_{i = 1}^{m}(h(x_i) - y_i)^2 \\ = ( h(x) - y)^T * ( h(x) - y) J(θ)=(h(x1)−y1)2+(h(x2)−y2)2+...+(h(xm)−ym)2=i=1∑m(h(xi)−yi)2=(h(x)−y)T∗(h(x)−y)

正规方程推导

把该损失函数转换成矩阵写法：

J ( θ ) = ( X θ − y ) T ∗ ( X θ − y ) J(\theta) = (X\theta - y )^T * (X\theta - y) J(θ)=(Xθ−y)T∗(Xθ−y)

其中y是真实值矩阵，X是特征值矩阵， θ \theta θ是权重矩阵

为了取到代价函数对最小值，所以对损失函数进行求导并使其等于0

∂ ( J ( θ ) ) ∂ ( θ ) = ∂ [ ( X T θ T − y T ) ∗ ( X θ − y ) ] ∂ ( θ ) \frac{\partial(J(\theta))}{\partial(\theta)} = \frac{\partial[(X^T\theta^T - y^T) * (X\theta - y)]}{\partial(\theta)} ∂(θ)∂(J(θ))=∂(θ)∂[(XTθT−yT)∗(Xθ−y)]

= ∂ ( X T θ T X θ − X T θ T y − y T X θ + y y T ) ∂ ( θ ) = \frac{\partial(X^T\theta^TX\theta - X^T\theta^Ty - y^TX\theta + yy^T)}{\partial(\theta)} =∂(θ)∂(XTθTXθ−XTθTy−yTXθ+yyT)

= X T X θ + X θ X T − X T y − y X T = 0 = X^TX\theta + X\theta X^T - X^Ty - yX^T = 0 =XTXθ+XθXT−XTy−yXT=0

故：
X T X θ = X T y X^TX\theta = X^Ty XTXθ=XTy

( X T X ) ∗ ( X T X ) − 1 θ = X T y ∗ ( X T X ) − 1 (X^TX)*(X^TX)^{-1}\theta = X^Ty*(X^TX)^{-1} (XTX)∗(XTX)−1θ=XTy∗(XTX)−1

θ = ( X T X ) − 1 X T y \theta = (X^TX)^{-1}X^Ty θ=(XTX)−1XTy

由此推导出正规方程

【公式推导】正规方程相关推荐

多元线性回归方程正规方程解（Normal Equation）公式推导详细过程
多元线性方程公式定义多元线性方程的损失函数如下: J(θ)=12m∑i=1m(y^(i)−y(i))2(1)J(\theta) = \frac{1}{2m}\sum_{i=1}^m (\hat{y} ...
多元线性回归分析c语言,多元线性回归公式推导及R语言实现
多元线性回归多元线性回归模型实际中有很多问题是一个因变量与多个自变量成线性相关,我们可以用一个多元线性回归方程来表示. 为了方便计算,我们将上式写成矩阵形式: Y = XW 假设自变量维度为N W ...
sklearn - 线性回归(正规方程与梯度下降)
一: 线性回归方程线性回归(英语:linear regression)是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回归 ...
我所理解的卡尔曼滤波——公式推导与应用
我所理解的卡尔曼滤波--公式推导与应用 1.什么是卡尔曼滤波 2.卡尔曼滤波的数学推导 2.1 状态方程和测量方程 2.2 卡尔曼滤波过程 3 卡尔曼滤波应用 1.什么是卡尔曼滤波先举个例子说一下什 ...
机器学习（11）线性回归（2）实战 -- 正规方程优化、梯度下降优化（波士顿房价预测）
目录一.波士顿房价预测(正规方程优化) API 1.获取数据集 2.划分数据集 3.标准化 4. 创建预估器,得到模型 5.模型评估(均方差评估) 代码二.波士顿房价预测(正规方程优化) API ...
机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）
目录一.线性回归基础理论 1.定义与公式 2.线性关系(单特征与双特征) 2-1.单特征线性关系 2-2.双特征平面关系 2-3.其他线性模型二.线性回归的损失和优化原理 1.损失函数 1.定义 ...
吴恩达老师深度学习视频课笔记：单隐含层神经网络公式推导及C++实现(二分类)
关于逻辑回归的公式推导和实现可以参考: http://blog.csdn.net/fengbingchun/article/details/79346691 下面是在逻辑回归的基础上,对单隐含层的神经 ...
BP神经网络公式推导及实现(MNIST)
BP神经网络的基础介绍见:http://blog.csdn.net/fengbingchun/article/details/50274471,这里主要以公式推导为主. BP神经网络又称为误差反向传播 ...
《周志华机器学习详细公式推导版》发布，Datawhale开源项目pumpkin-book
点击上方↑↑↑蓝字关注我们~ 「2019 Python开发者日」全日程揭晓,请扫码咨询 ↑↑↑ 来源 | Datawhale(ID:Datawhale) 如果让你推荐两本国内机器学习的入门经典作,你会 ...

【公式推导】正规方程

线性代数基础：

矩阵求导基础：

损失函数:

正规方程推导

【公式推导】正规方程相关推荐

最新文章

热门文章