机器学习梯度到底是什么?

梯度，到底是什么？很容易混淆。

站在山底，哪个方向爬坡最快，这个容易想象，但问题是，如果所在的高度是我们优化的目标的话，这个爬坡的方向并不是梯度的方向，这个是我们的目标值(函数值)的变化趋势。

我们先看一下定义：

即：梯度是一个向量，而向量就有方向，该方向是方向导数取得最大值的方向，那方向导数是什么？

可见：

方向导数是一个数
方向指的是函数定义域的内点变化的方向

综上，自变量沿着该方向变化，使函数值变化最大，机器学习中，函数值就是我们的优化目标。当函数值是损失函数值的时候，我们期望的是最小值，这个时候取梯度的反方向，即梯度下降即可。这就是为什么我们经常看到，理解梯度，先画等高线示意图的原因，投影到地面的等高线，其实就是自变量的定义域，也就是机器学习中的参数空间，我们需要知道，怎么更新参数，才能让损失函数值最快地减小。

好，那现在的问题是梯度到底是哪个方向？也就是，自变量到底沿哪个方向变化，函数值变化最快。注意看右边的等高线，假设有一个点A，无限放大等高线：

如上图，也就是说，垂直于切线即法向量的方向，就是变化最快的方向，也就是梯度的方向。法向量的定义如下：

总结一下，梯度是个向量，自变量沿着该向量的方向变化，函数值变化最快。在机器学习中，为使损失函数下降最快，我们需要让模型参数沿着梯度的负方向更新，即梯度下降。

机器学习梯度到底是什么?相关推荐

道理我都懂，但是神经网络反向传播时的梯度到底怎么求？
作者丨DarkZero@知乎来源丨https://zhuanlan.zhihu.com/p/25202034 编辑丨极市平台本文仅用于学术分享.若侵权,请联系后台作删文处理. 相信每一个刚刚入门神 ...
混淆矩阵怎么看_道理我都懂，但是神经网络反向传播时的梯度到底怎么求？
↑ 点击蓝字关注极市平台作者丨DarkZero@知乎来源丨https://zhuanlan.zhihu.com/p/25202034编辑丨极市平台本文仅用于学术分享.若侵权,请联系后台作删文处理. ...
人工智能与机器学习-梯度下降法
人工智能与机器学习-梯度下降法一.梯度下降法概述梯度下降法(Gradient descent)是一个一阶最优化算法. 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近 ...
基于机器学习梯度下降优化算法来寻找最佳的线性回归模型
https://www.toutiao.com/a6638782437587419652/ 幻风的AI之路 2018-12-25 18:12:27 线性回归模型线性回归模型是一个非常简单的算法模型, ...
机器学习梯度下降法应用波士顿房价预测
目录 1 线性回归api介绍小结 2 波士顿房价预测 2.1 案例背景介绍 2.2 案例分析 2.3 回归性能评估 2.4 代码实现 2.4.1 正规方程 2.4.2 梯度下降法 2.5 小结 1 ...
「01」机器学习，到底在学些什么？
这是参加原力计划单独投稿的,是我专栏文章的part 2 2. 机器学习,到底在学些什么? 2.1 什么是学习? 根据定义,学习是从有限的例子中,找出问题和答案之间规律的一个过程,而所找出 ...
[机器学习]梯度提升决策树--GBDT
概述 GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由 ...
机器学习理论基础到底有多可靠？
机器学习领域近年的发展非常迅速,然而我们对机器学习理论的理解还很有限,有些模型的实验效果甚至超出了我们对基础理论的理解. 目前,领域内越来越多的研究者开始重视和反思这个问题.近日,一位名为 Aidan ...
「机器学习」到底需要多少数据？
本文首发于微调的知乎专栏「数据说」. 机器学习中最值得问的一个问题是,到底需要多少数据才可以得到一个较好的模型?从理论角度,有Probably approximately correct (PAC) ...

机器学习梯度到底是什么?

机器学习梯度到底是什么?相关推荐

最新文章

热门文章

机器学习 梯度到底是什么?

机器学习 梯度到底是什么?相关推荐

最新文章

热门文章

机器学习梯度到底是什么?

机器学习梯度到底是什么?相关推荐