正规方程（含推导过程） from 吴恩达的机器学习

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：

假设我们的训练集特征矩阵为X(包含了

）并且我们的训练集结果为向量 y，则利用正规方程解出向量:

**********

例：

正规方程推导过程

参考：https://blog.csdn.net/chenlin41204050/article/details/78220280

多变量线性回归代价函数为：

$J(\theta _{0},\theta _{1},\cdots ,\theta n)=\frac{1}{2m}\sum_{m}^{i=1}\left ( h_{\theta} \left ( x^{i} \right )-y^{\left ( i \right )} \right )^{2}$

其中：
$h_{\theta }\left ( x \right )=\theta ^{T}X=\theta _{0}x_{0}+\theta _{1}x_{1}+\cdots +\theta _{n}x_{n}$

正规方程是通过求解下面的方程来找出使得代价函数最小的参数：

$\frac{\partial }{\partial \theta _{j}}J(\theta _{j})=0$

设有m个训练实例，每个实例有n个特征，则训练实例集为：

其中表示第i个实例第j个特征。

特征参数为：

输出变量为：

故代价函数为：

进行求导，等价于如下的形式：

求导公式：

其中第一项：

第二项：

该矩阵求导为分母布局下的标量/向量形式：
故有，

第三项：

该矩阵求导为分母布局下的标量/向量形式：
故有：

第四项：

其中为标量，可看成一个常数。
该矩阵求导为分母布局下的标量/向量形式：
故有：

综上，正规方程为：

最终可得特征参数的表示：

梯度下降与正规方程的比较：

梯度下降	正规方程
需要选择学习率	不需要
需要多次迭代	一次运算得出
当特征数量n大时也能较好适用	需要计算如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为，通常来说当n小于10000 时还是可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型

总结:

只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，通常使用标准方程法，而不使用梯度下降法。

正规方程（含推导过程） from 吴恩达的机器学习相关推荐

吴恩达《机器学习》学习笔记三——多变量线性回归
吴恩达<机器学习>学习笔记三--多变量线性回归一. 多元线性回归问题介绍 1.一些定义 2.假设函数二. 多元梯度下降法 1. 梯度下降法实用技巧:特征缩放 2. 梯度下降法的学习率 ...
吴恩达《机器学习》学习笔记六——过拟合与正则化
吴恩达<机器学习>学习笔记六--过拟合与正则化一. 过拟合问题 1.线性回归过拟合问题 2.逻辑回归过拟合问题 3.过拟合的解决二. 正则化后的代价函数 1.正则化思想 2.实际使用的 ...
吴恩达《机器学习》学习笔记五——逻辑回归
吴恩达<机器学习>学习笔记五--逻辑回归一. 分类(classification) 1.定义 2.阈值二. 逻辑(logistic)回归假设函数 1.假设的表达式 2.假设表达式的意义 ...
吴恩达《机器学习》学习笔记四——单变量线性回归（梯度下降法）代码
吴恩达<机器学习>学习笔记四--单变量线性回归(梯度下降法)代码一.问题介绍二.解决过程及代码讲解三.函数解释 1. pandas.read_csv()函数 2. DataFrame ...
90题细品吴恩达《机器学习》，感受被刷题支配的恐惧
点击蓝字关注我,有干货领取! 最近翻译了吴恩达<机器学习>课程的配套题库.课程系列本身多有名多经典我就不赘述啦~ 主要是我发现,现在市面上基本都是课程和编程题的翻译版,很少有人翻译测验(q ...
吴恩达《机器学习》学习笔记十二——机器学习系统
吴恩达<机器学习>学习笔记十二--机器学习系统一.设计机器学习系统的思想 1.快速实现+绘制学习曲线--寻找重点优化的方向 2.误差分析 3.数值估计二.偏斜类问题(类别不均衡) 三. ...
吴恩达《机器学习》学习笔记十一——应用机器学习的建议
吴恩达<机器学习>学习笔记十一--应用机器学习的建议一.训练完模型后下一步要做什么二.评估算法与模型选择 1.训练集与测试集 2.训练/测试步骤 3.模型选择 4.数据集新的划分--验 ...
吴恩达《机器学习》学习笔记十一——神经网络代码
吴恩达<机器学习>学习笔记十一--神经网络代码数据准备神经网络结构与代价函数· 初始化设置反向传播算法训练网络与验证课程链接:https://www.bilibili.com/v ...
吴恩达《机器学习》学习笔记十——神经网络相关（2）
吴恩达<机器学习>学习笔记十--神经网络相关(2) 一. 代价函数二. 反向传播算法三. 理解反向传播算法四. 梯度检测五. 随机初始化 1.全部初始化为0的问题 2.随机初始化的 ...
吴恩达《机器学习》学习笔记八——逻辑回归（多分类）代码
吴恩达<机器学习>笔记八--逻辑回归(多分类)代码导入模块及加载数据 sigmoid函数与假设函数代价函数梯度下降一对多分类预测验证课程链接:https://www.bilib ...

正规方程（含推导过程） from 吴恩达的机器学习

正规方程（含推导过程） from 吴恩达的机器学习相关推荐

最新文章

热门文章