前言

本文主要对“为什么函数值为定值时，梯度垂直于等值面”这一问题进行了证明，解答了初学者在初次学习这一概念及相关证明过程中存在的疑惑，供阅读参考。

文章目录

前言
- 1.梯度的概念和计算
- 2.等值面的概念和深入理解
- 3.证明和解释“为什么函数值为定值，梯度垂直于等值面？”

1.梯度的概念和计算

如果存在曲面w=w(x,y,z)，设▽w是一个综合了w所有偏导数的向量：
∇w=(∂w∂x,∂w∂y,∂w∂z)\nabla \mathbf{w}=\left( \frac{\partial \mathbf{w}}{\partial \mathbf{x}},\frac{\partial \mathbf{w}}{\partial \mathbf{y}},\frac{\partial \mathbf{w}}{\partial \mathbf{z}} \right) ∇w=(∂x∂w,∂y∂w,∂z∂w)
▽w就是梯度向量，简称梯度。对于在函数w定义域上的任意x、y、z，都可以得到一个对应的梯度向量，所以也说▽w(x₀,y₀,z₀)是w在点(x₀,y₀,z₀)上的梯度。需要注意的是：▽w是一个空间上的概念。

2.等值面的概念和深入理解

首先了解一下什么是等值面？以w(x,y)=x²+y²=1为例，表示w的当前定值为1，w的函数表达式为x²+y²。如果将x-y-w映射到三维空间，则等值面为：

这里需要注意的是：x-y为无限延展的平面，然后w=1仅仅是w(x,y)=x²+y²函数的某一等值区域，或者称为等值面。需要注意的是，一定要以动态的视角去看待w(x,y)的梯度概念。

3.证明和解释“为什么函数值为定值，梯度垂直于等值面？”

还是以w(x,y)=x²+y²=1为例，x、y用参数方程表示，x=x(t)，y=y(t)，等值面上的一条曲线向量是r→=r(t)\overset{→}{\mathbf{r}}=\mathbf{r}\left( \mathbf{t} \right)r→=r(t)。

如果把等值面上的曲线向量r→\overset{→}{\mathbf{r}}r→看成位移，参数t看成时间，则位移对应的速度向量是：
v→=dr→dt=(dxdt,dydt)\overset{→}{\mathbf{v}}=\frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}=\left( \frac{\mathbf{dx}}{\mathbf{dt}},\frac{\mathbf{dy}}{\mathbf{dt}} \right) v→=dtdr→=(dtdx,dtdy)
如果点在r→\overset{→}{\mathbf{r}}r→上移动，在任意一点上的速度向量v→\overset{→}{\mathbf{v}}v→都和曲线r→\overset{→}{\mathbf{r}}r→相切，这正是导数dr→dt\frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}dtdr→的含义：由于r→\overset{→}{\mathbf{r}}r→在w上，所以速度向量v→\overset{→}{\mathbf{v}}v→与曲面w也相切。即：速度向量与曲面的切向量共线。如下图所示（其中dr由dx和dy合成）：

至于为什么选择引入参数t，后面会明白的，我们继续…!(｡◕ˇ∀ˇ◕)!

链式法则告诉我们，w关于t的导数是由w的梯度向量和速度向量的点积构成：
dwdt=(wxdxdt,wydydt)=∇w⋅dr→dt=∇w⋅v→\frac{\mathbf{dw}}{\mathbf{dt}}=\left( \mathbf{w}_{\mathbf{x}}\frac{\mathbf{dx}}{\mathbf{dt}},\mathbf{w}_{\mathbf{y}}\frac{\mathbf{dy}}{\mathbf{dt}} \right) =\nabla \mathbf{w}\cdot \frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}=\nabla \mathbf{w}\cdot \overset{→}{\mathbf{v}} dtdw=(wxdtdx,wydtdy)=∇w⋅dtdr→=∇w⋅v→
由于w是等值面，所以：
∇w⋅v→=dwdt=0\nabla \mathbf{w}\cdot \overset{→}{\mathbf{v}}=\frac{\mathbf{dw}}{\mathbf{dt}}=0 ∇w⋅v→=dtdw=0
但是问题就在于为什么？？？？是不是有感觉哪里不对劲的地方，有就对了。

▽w是空间上的概念，而dr→dt\frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}dtdr→则是时间上的概念，2个不同划分维度上的向量乘积为0真的具有意义嘛？？？答案是有的。

▽w=(2x,2y)，而dr→dt\frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}dtdr→也是不为0的，所以在方向上，这2个向量的空间关系是垂直的。这里的dr→dt\frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}dtdr→虽然没有直接采用曲面w的切向量，而是采用了速度向量进行代替。但是在本质上，速度向量和曲面w的切向量是共线的。所以，发现梯度垂直于速度向量，也就等同于梯度垂直于曲面w的切向量。

而引进速度向量的概念实则是为了简化梯度向量与曲面的切向量的乘积计算，更方便得到垂直的方向关系。

如果P是曲面w上的一点，所有以P为起点的任意方向的速度向量v→\overset{→}{\mathbf{v}}v→将共同组成一个平面，这个平面就是曲面w在点P的切平面，如上图所示。

▽w垂直于每一个速度向量v→\overset{→}{\mathbf{v}}v→，所以▽w也垂直于这些速度向量所在的切平面，这也意味着▽w在点P与等值面w垂直。

但是，还有关于dr→dt\frac{\mathbf{d}\overset{→}{\mathbf{r}}}{\mathbf{dt}}dtdr→是时间上的概念，而切向量却是空间上的概念这一问题？

参数t只是采用了“时间”这一物理意义，本质上t并非作为时间的概念，从x=x(t),y(t)就可以得出：t在本质上还是空间上的概念，采用“时间”这一概念是为了便于解释，实则是错误的。

为什么当函数值为定值时，梯度垂直于等值面？相关推荐

实验四：文件状态测试--动态检测指定文件的状态信息，当文件的大小发生改变时，给出提示信息，并继续前进检测。当文件的大小的变化次数或持续检查无变化次数达到一定值时，退出检查--操作系统原理和实践
实验目的熟悉UNIX的基本SHELL程序设计方法,包括: 命令行参数检测变量设置文件状态检测与特定信息读取程序运行控制实验内容编写一个SHELL程序,动态检测指定文件的状态信息,当文件的大 ...
神经网络训练 policy gradient 算法时梯度消失问题
再训练算法时发现梯度输出为none 试了好几次从源头找原因最后得出的loss 一定要是 grad_fn=sumbackward 类似的类型不然他没有梯度再次记录
机器学习（机器学习+线性回归+代价函数+梯度下降）
一.什么是机器学习一个计算机程序据说从经验 E 学习关于一些任务 T 和一些性能措施 P,如果它在 T 上的性能, 由 P 测量,随着经验 E 的提高, 体验 E 将是让程序玩成千上万的游戏本身 ...
借助可视化，最直观理解梯度，以及偏导数、方向导数和法向量等
↑ 点击蓝字关注视学算法作者丨shine-lee@博客园来源丨https://www.cnblogs.com/shine-lee/p/11715033.html 编辑丨极市平台写在前面梯度是 ...
损失函数,梯度下降与牛顿法
损失函数我们在进行机器学习任务时,使用的每一个算法都有一个目标函数,算法便是对这个目标函数进行优化,特别是在分类或者回归任务中,便是使用损失函数(Loss Function)作为其目标函数,又称为代 ...
太赞了！借助可视化，最直观理解梯度，以及偏导数、方向导数和法向量等
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨shine-lee@博客园来源丨https://ww ...
理解偏导数、梯度、方向导数
偏导数我们都知道导数是一元函数的变化率,衡量每个x位置处的瞬间变化率. 偏导数是针对多变量函数而言的,它通过将多变量函数退化成一元函数分别求各自的导数.以二元函数为例: Z = F(x,y) 求x的 ...
直观理解梯度，以及偏导数、方向导数和法向量等
博客:blog.shinelee.me | 博客园 | CSDN 写在前面梯度是微积分中的基本概念,也是机器学习解优化问题经常使用的数学工具(梯度下降算法),虽然常说常听常见,但其细节.物理意义以及 ...
逻辑回归梯度下降法详解
引言逻辑回归常用于预测疾病发生的概率,例如因变量是是否恶性肿瘤,自变量是肿瘤的大小.位置.硬度.患者性别.年龄.职业等等(很多文章里举了这个例子,但现代医学发达,可以通过病理检查,即获取标本放到显微 ...
python二元函数求导_用Excel和python实现二元函数梯度下降的人工智能,之用,excel,一元...
梯度下降法和牛顿法的总结与比较机器学习的本质是建立优化模型,通过优化方法,不断迭代参数向量,找到使目标函数最优的参数向量.最终建立模型通常用到的优化方法:梯度下降方法.牛顿法.拟牛顿法等.这些优化 ...

为什么当函数值为定值时，梯度垂直于等值面？

前言

文章目录

1.梯度的概念和计算

2.等值面的概念和深入理解

3.证明和解释“为什么函数值为定值，梯度垂直于等值面？”

为什么当函数值为定值时，梯度垂直于等值面？相关推荐

最新文章

热门文章