线性回归正规方程详细推导过程

最近在学习吴恩达的机器学习，讲到里面了比较简单的求出 $\Theta$ 的方法：正规方程。 $\Theta =(X^{T}X)^{-1}X^{T}Y$

视频里只告诉我们这个公式，但是没有具体告诉我们推到过程，对于我这种数学学渣来说实在一眼看不出来是什么意思，查了很久才稍微懂了点点，所以在此记录一下推导过程，也希望能帮助到和我一样的数学学渣。

首先列出代价函数 $J=\frac{1}{2m}\sum_{i=1}^m(h(x_i)*-y_i)^2$ ，其中X，Y， $\Theta$ 是向量或者矩阵。

接下来我们要对代价函数Ĵ中预测值与真实值的差的平方的累加进行求导。

首先第一步,, $\sum_{i=1}^m(h(x_i)-y_i)^2=(h(X)-Y)^T(h(X)-Y)$ 消除累加

这时候可能有朋友会和我有一样的问题：???什么情况

简单来复习一下现代知识：假设向量 $A=\begin{bmatrix} a & b & c &d \end{bmatrix}$ ，则 $A*A^T=$ $\begin{bmatrix} a & b& c& d \end{bmatrix}$ * $\begin{bmatrix} a\\ b\\ c\\ d \end{bmatrix}$ = $a^2+b^2+c^2+d^2=\sum _{i=1}^4A(i) ^2$

知道如何消去累加之后再将式子做进一步化简：

$(h(X)-Y)^T(h(X)-Y)=(X*\Theta-Y)^T(X*\Theta-Y)$

$=(\Theta^T*X^T-Y^T)(X*\Theta-Y)$

$=\Theta^TX^TX\Theta-\Theta^TX^TY-Y^TX\Theta+Y^TY$

好了现在终于把原式子化简完成，接下来就要进行求导了。大家应该都知道多项式求导等于对各项求导相加。

我们将上式对 $\Theta$ 求导：

第一项： $\Theta^TX^TX\Theta$ 是一个标量，所以是标量对向量求导得 $2X^TX\Theta$

第二项：同样是标量对向量求导得 $X^TY$

第三项： $X^TY$

第四项：0

综上，对上式求导的结果是： $-2X^TY+X^TX\Theta$

为了取到代价函数对最小值，所以让导函数等于零。

就得到了 $\Theta=(X^TX)^{-1}X^TY$

本文中省略了每一项具体求导的方法，因为博客里的公式实在是太难打了（大家有什么推荐的编辑公式的方法吗）。具体的求导公式在这里可以看：https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html

参考文章：https://blog.csdn.net/chenlin41204050/article/details/78220280

线性回归正规方程详细推导过程相关推荐

一元线性回归的详细推导过程
下面是一元线性回归的详细求解过程. 假设一元线性回归的最佳直线方程为: (1) 对于一个样本点 ,有预测值为: ...
关于罗德里格斯公式(Rodrigues‘sFormula)的详细推导过程
关于罗德里格斯公式[Rodrigues'sFormula]的详细推导过程 1 旋转向量 2 罗德里格斯公式 2.1 罗德里格斯公式定义 2.2 罗德里格斯公式推导 3 旋转矩阵到旋转向量的转换 1 旋 ...
图像处理——几种简单的旋转变换的超详细推导过程（点在同一坐标系的变换）（一）
图像处理--几种简单的旋转变换的超详细推导过程(同一坐标系)(一) 本文主要推导了二维和三维坐标系中的绕点和绕轴的旋转变换,推导过程比较详细,希望可以给大家提供一些帮助. 一.绕原点的旋转(二维) 二 ...
逻辑回归的梯度下降公式详细推导过程
逻辑回归的梯度下降公式逻辑回归的代价函数公式如下: J(θ)=−1m[∑i=1my(i)log⁡hθ(x(i))+(1−y(i))log⁡(1−hθ(x(i)))]J(\theta)=-\frac{ ...
lasso,lars算法详细推导过程-数学
首发于程序员的伪文艺关注专栏写文章从Lasso开始说起李新春既可提刀立码,行遍天下:又可调参炼丹,卧于隆中. 关注他 317 人赞同了该文章 Lasso是Least Absolute Shr ...
卡尔曼滤波原理公式详细推导过程[包括引出]
卡尔曼滤波在很多项目中都有用到,但是对于原理却很少有详细分析,而只是直接应用,在看完b站up主DR_CAN视频推导后自行推导一遍和查看其他资料后进行总结,将从最初的递归算法,利用数据融合,协方差矩阵, ...
IMU预积分--详细推导过程
一.提前了解二.预积分的目的 1.IMU通过加速度计和陀螺仪测出的是加速度和角速度,通过积分获得两帧之间的旋转和位移的变换: 2.在后端非线性优化的时候,需要优化位姿,每次调整位姿都需要在它们之间重 ...
类欧几里得算法详细推导过程（附带模板）
类欧几里得算法推导初识给出三种形式: f(a,b,c,n)=∑i=0n⌊ai+bc⌋f(a, b, c, n) = \sum_{i = 0} ^{n} \lfloor\frac{ai + b}{c ...
[线性代数学习笔记] 线性递推数列及 Berlekamp-Massey 算法的详细推导过程
线性递推数列线性递推对于无限数列 {a0,a1,...}\{a_0,a_1,...\}{a0,a1,...} 和有限非空数列 {r0,r1,...,rm−1}\{r_{0},r_1,...,r ...

线性回归正规方程详细推导过程

线性回归正规方程详细推导过程相关推荐

最新文章

热门文章

线性回归 正规方程详细推导过程

线性回归 正规方程详细推导过程相关推荐

最新文章

热门文章

线性回归正规方程详细推导过程

线性回归正规方程详细推导过程相关推荐