Normal Equation 简介

1. 什么是Normal Equation

在线性回归中，为了求得代价函数最小时的参数值θ。我们一般采用梯度下降法，但是当训练样本较小时（不超过千数量级）采用“Normal Equation”进行求解更好。“Normal Equation”一般翻译成正规方程或者标准方程，其表达式如下：

推导过程如下：

其中，用到了矩阵求导一些性质（http://blog.csdn.net/u012354244/article/details/46655709）。

2. Normal Equation的优缺点

与梯度下降相比，Normal Equation的优缺点如下。

优点：Normal Equation不需要设置learning rate；不需要多次迭代，一次性就可求解；不需要做特征收缩处理。

缺点：仅适用于训练集较小的情况；存在奇异阵导致无法求解，需要进一步处理成非奇异阵才可求解（通过删除共线的特征等方法）。

Normal Equation 简介相关推荐

【机器学习】线性回归之Normal Equation（矩阵求导与线性代数视角）
Normal Equation 之前我们用梯度下降来求解线性回归问题的最优参数,除此之外我们还可以用正规方程法(Normal Equation)来求解其最优参数. Normal Equation方法的 ...
用线性代数理解 Normal Equation
在之前的博客中,我们通过矩阵求导的方式推导了 normal equation.这篇博客中,我们将通过线性代数的角度再次回顾 normal equation. Normal Equation 解决的问题 ...
coursera机器学习笔记-多元线性回归，normal equation
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...
梯度下降算法与Normal equation
Normal equation: Method to solve for θ analytically 正规方程:分析求解θ的方法对于损失函数 \[J\left( {{\theta _0},{\th ...
正规方程 Normal Equation
正规方程 Normal Equation 前几篇博客介绍了一些梯度下降的实用技巧,特征缩放(详见http://blog.csdn.net/u012328159/article/details/5103 ...
关于线性回归：梯度下降和正规方程（gradient descend、normal equation）
1.梯度下降法假设: - x:输入特征 - y:样本标签,实际输出 - (x,y):训练样本 - m表示训练样本总数,loop:i - n表示特征总数,loop:j 目的是通过对训练样本进行学习,构 ...
标准方程法(normal equation)公式推导
最近在看吴恩达的机器学习网课,讲到标准方程法的时候没有给出推导,在参考了两篇博客后推导出来了,记录一下. 机器学习之正规方程法推导机器学习--线性回归中正规方程组的推导两篇文章都给出了推导需要的基 ...
Normal Equation推导
多元线性回归方程正规方程解（Normal Equation）公式推导详细过程
多元线性方程公式定义多元线性方程的损失函数如下: J(θ)=12m∑i=1m(y^(i)−y(i))2(1)J(\theta) = \frac{1}{2m}\sum_{i=1}^m (\hat{y} ...

Normal Equation 简介

Normal Equation 简介相关推荐

最新文章

热门文章