什么是梯度？为什么梯度的方向总是指向函数值增大的方向？

闲谈

对于梯度这个概念，我是这样的，

学习时，正序：导数–>偏导数–>方向导数–>梯度，从导数开始一步一步学到梯度这个概念，脑子里想

着：“梯度这个玩意儿有什么用，得记下来，万一考到了”.

多年以后，

应用时，倒序：梯度<–方向导数<–偏导数<–导数，从梯度这个概念一步一步往回想，“这玩意儿还真有

用，得理解透了，一定会用到”.

参考

维基/百度百科中对导数、偏导数、方向导数、梯度的解释.
知乎中有关梯度的问题，个人更倾向于忆臻的回答.
哔站-偏导数和梯度，哔站中这个视频同样直观的形容了偏导数和梯度.

梯度的方向总是指向函数值增大的方向，即自变量沿着梯度的方向移动，函数值总是增大的.

首先要理解梯度的概念，明确梯度方向的由来，自然就能理解为何梯度的方向总是指向函数值增大的方向.

下面从导数开始一步一步学到梯度这个概念.
.

导数、偏导数、方向倒数、梯度，均是微积分学中的概念，而微积分学是高等数学的核心.

用四句话简单概括这4个概念：

导数对应一元(单变量)函数，表示一元函数在该点的变化率.
偏导数对应多元(多变量)函数，表示多元函数在该点沿坐标轴方向的变化率.
方向导数是偏导数概念的推广，表示多元函数在该点沿某一方向的变化率.
梯度是特殊的方向导数，表示多元函数在该点沿该方向变化率最大(该方向为梯度的方向，变化率为梯度的模).

导数

导数对应一元(单变量)函数，表示一元函数在该点的变化率.

一元函数在坐标系中表示为曲线，其几何意义为函数在该点切线的斜率，其本质是通过极限的概念对函

数进行局部的线性逼近.

例如：计算曲线 f(x) 上A、B两点的斜率K，B无限趋近于A，即表示为
K = f ( x A + Δ x ) − f ( x A ) Δ x ( Δ x → 0 ) K=\frac{f(x_{A}+\Delta x)-f(x_{A})}{\Delta x} (\Delta x\rightarrow 0) K=Δxf(xA+Δx)−f(xA)(Δx→0)

此时，K便表示曲线在A点处的斜率/变化率，亦称之为函数 f(x) 在该点处的导数
f ′ ( x A ) = lim ⁡ Δ x → 0 f ( x A + Δ x ) − f ( x A ) Δ x f^{'}(x_{A})=\lim_{\Delta x\rightarrow 0}\frac{f(x_{A}+\Delta x)-f(x_{A})}{\Delta x} f′(xA)=Δx→0limΔxf(xA+Δx)−f(xA)

偏导数

偏导数对应多元(多变量)函数，表示多元函数在该点沿坐标轴方向的变化率.

图文描述时，一般以二元函数为例(更高元的函数也画不出来)，下图为二元函数 z = f ( x , y ) z=f(x,y) z=f(x,y),

∂ f ∂ x / f x ( x , y ) \frac{\partial f}{\partial x}/f_x(x,y) ∂x∂f/fx(x,y) 表示函数沿x轴方向的变化率(此时y视为常量)，

∂ f ∂ y / f y ( x , y ) \frac{\partial f}{\partial y}/f_y(x,y) ∂y∂f/fy(x,y) 表示函数沿y轴方向的变化率(此时x视为常量).

方向导数

方向导数是偏导数概念的推广，表示多元函数在该点沿某一方向的变化率.

某一方向的变化率如何表示？

如下山坡图中对于山坡内任一点处沿x、y方向的变化率均可求得，以此为两个基向量，

则 u → \overrightarrow{u} u 方向的变化率可表示为(在此不作证明)：
D u f ( x , y ) = f x ( x , y ) cos ⁡ θ + f y ( x , y ) sin ⁡ θ D_uf(x,y)=f_x(x,y)\cos\theta+f_y(x,y)\sin\theta Duf(x,y)=fx(x,y)cosθ+fy(x,y)sinθ

梯度

梯度是特殊的方向导数，表示多元函数在该点沿该方向变化率最大(该方向为梯度的方向，变化率为梯度的模).

梯度的方向总是指向函数值增大的方向，即自变量沿着梯度的方向移动，函数值总是增大的.

求梯度，就是求 D u f ( x , y ) D_uf(x,y) Duf(x,y) ，将其以向量点乘的形式表示为：
D u f ( x , y ) = A ⋅ I = ∣ A ∣ ∗ ∣ I ∣ cos ⁡ α D_uf(x,y)=A·I=|A|*|I|\cos\alpha Duf(x,y)=A⋅I=∣A∣∗∣I∣cosα
式中， A = ( f x ( x , y ) , f y ( x , y ) ) A=(f_x(x,y),f_y(x,y)) A=(fx(x,y),fy(x,y)) , I = ( cos ⁡ θ , sin ⁡ θ ) I=(\cos\theta,\sin\theta) I=(cosθ,sinθ) , α \alpha α 为两向量夹角.

当 α = 0 \alpha=0 α=0 ，即 A 、 I A、I A、I 平行时，变化率最大.

看到这里，明确了梯度的方向，这时再想一想为什么梯度的方向总是指向函数值增大的方向，

其实已经很明显了，梯度的方向即向量 A / I A/I A/I 的方向，也就是函数在该点偏导数组成的向量方向.

哔站-偏导数和梯度，该视频中对此有很清晰的表达.

或者，不妨以一元函数 y = x 2 y=x^2 y=x2 来进行理解.参看视频如何通俗地理解梯度下降法.

什么是梯度？为什么梯度的方向总是指向函数值增大的方向？相关推荐

梯度下降法中为什么梯度的反方向是函数下降最快的方向？
梯度下降法中为什么梯度的反方向是函数下降最快的方向? 梯度是个向量,函数沿梯度方向具有最大的变化率.是因为函数在这个方向具有最大的变化率,所以冠以梯度这一概念,所以要搞清楚的是,怎么在无数个方向导数中 ...
为什么说梯度的反方向是函数下降最快的方向
梯度在机器学习和深度学习中是一个高频词汇,弄懂梯度的概念对梯度下降,反向传播的理解有很大帮助.这里我根据个人理解,对梯度的反方向是函数下降最快的方向这一观点进行解释.限于作者水平,难免有错误之 ...
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失梯度爆炸）
目录一.概念与定义二.损失函数/代价函数(loss) 三.梯度下降法二维w与loss: 三维w与loss: 四.常用激活函数 1.softmax激活函数 2.sigmoid激活函数 3.tanh ...
3. 机器学习中为什么需要梯度下降?梯度下降算法缺点?_浅谈随机梯度下降amp;小批量梯度下降...
机器学习三要素上次的报告中,我们介绍了一种用于求解模型参数的迭代算法--梯度下降法.首先需要明确一点,即"梯度下降算法"在一个完整的统计学习流程中,属于什么?根据<统计学习 ...
梯度与梯度下降法详解
梯度与梯度下降法 1 前言 2 导数 3 导数与偏导数 4 导数与方向导数 5导数与梯度 6 导数与向量 7 梯度下降法 8 梯度下降法与机器学习 9 梯度下降法的缺点 10 补充:向量函数求导的问题 ...
梯度和梯度算子(Roberts,Sobel,Laplace)
机器学习和深度学习中,梯度是一个很重要的概念.在大部分机器学习优化问题中都可以通过梯度下降法处理.要介绍梯度就必须了解导数(derivative),偏导数(partial derivative)和方向 ...
梯度及梯度下降法原理、公式推导
导数.偏导数.方向导数.梯度理解梯度首先要理解导数.偏导数.方向导数. 导数: 指的是一元函数 y = f ( x ) y = f(x) y=f(x) 在某一点处沿x轴正方向的变化率.若导数大于0, ...
微分，梯度及梯度下降法
文章目录一.微分,梯度及梯度下降法的定义: 1.微分 2.梯度 3.梯度下降法二.在Excel使用牛顿法.或者梯度下降法 1.求解近似根一.微分,梯度及梯度下降法的定义: 1.微分微分:看待微 ...
导数、偏导数、方向导数、梯度、梯度下降
原作者:WangBo_NLPR 原文:https://blog.csdn.net/walilk/article/details/50978864 原作者:Eric_LH 原文:https://blo ...

什么是梯度？为什么梯度的方向总是指向函数值增大的方向？

什么是梯度？为什么梯度的方向总是指向函数值增大的方向？相关推荐

最新文章

热门文章