斜率、梯度（完全不一样的理解）

2024-05-08 10:47:59

为什么要写这两个，因为确实是网上教材很多，讲解也很多，在这里说一下自己的见解，仅供参考，有异议可以在下评论，谢谢。

1.眼见为假

我们很多时候所看到的实质其实是有误的，我们会看到比本质高一维或者比本质低一维的东西。比如我们看到的y=x和z=y+x，大家仔细想想，是不是感觉是在一个维度的？
y=x是一元函数，z=y+x是二元函数，f=z+y+x是三元函数。这么说来一元就是一维，二元就是二维，三元就是三维？
其实是可以这么理解的，那如果这么理解了我们，有一个维度我们就错了，哪错了？
一维错了，很明显，我们在画图时直接画的y=x为一条直线，这里是不对的。因为一维只能代表点，不可能有线存在，那为什么这里我们画出了线？我们预判了，预判了y=x接下来发生的事情。
和二维作比较，二维就没有预判，它很安分地做着一条线，它没有预判接下来它会怎么变。
和三维作比较，三维也很正常，它就做为一个曲面放在那里，没有预测接下来怎么变。
所以我们这里就有问题了，我们混淆了一维和二维，其实也就是混淆了y=x和z=x+y。
接下来可以看到，混淆之后，我们的切线和梯度是多么地难以度量。

2.斜率、梯度傻傻分不清楚

“斜率定义为在曲线在一个点的切线，梯度定义为在曲线上曲线的法线方向。”大概是这类意思，我们脑袋里有这样一个模糊的概念。
其实你不咀嚼文字，你真的很难理解，斜率和梯度都是针对曲线的……他们的维度一样了……
其实不然，斜率是针对的点，梯度是针对的线，这里定义的很清楚。
那为什么都在线上进行的操作？？？
不要被眼睛骗了
确实很多教材都是在线上进行的讲解，导致大家混淆，为啥一会切线，一会法线的。
一维的斜率针对的二维的线，
二维的梯度针对的三维的面。
三维的……针对的四维……。好吧我写不出来了
说白了，都是一种预测的趋势，下一步向哪里变。
函数就是一种运动，我们求导，求啥的，都是为了预测下一步的量或是检验上一步的量。
点在沿着线变，线在沿着面变，面在沿着体变。
所以公式的演化就变成了

讲到这里，我们就能够看出这些其实就是我们对函数的预测，预测建立在比函数高一维的维度。

斜率、梯度（完全不一样的理解）相关推荐

DL之DNN优化技术：神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介.理解.代码实现.SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略目录 GD算法 ...
梯度的直观理解_梯度下降最直观的理解
最近在学习机器学习,入门第一课就是「梯度下降」.看了不少教程都没有很好地理解,直到看到下面这篇文章,算是通俗易懂地理解了. 作者:六尺帐篷链接:https://www.jianshu.com/p/c ...
导数在梯度下降算法中的意义理解
梯度下降算法实际是在计算函数的极值问题,我们通过求函数的极值获取函数的局部最值在计算梯度下降的过程中,求函数的导数来通过逼近的方法去求局部最值而一般文章中介绍变量变化的时候是通过将变量自身减去导数 ...
梯度，sobel算子的理解
本文转于:https://blog.csdn.net/u014020344/article/details/50196635 若用侵权请联系删除 ? 在这一讲中我们来学习一下opencv中最基本的边 ...
关于梯度翻转层GRL的理解
最近在看迁移学习中的DANN算法和DAAN算法,二者都用到了GRL层,是一种梯度翻转层,这里主要想讲一下梯度翻转层为什么有用. 以DANN为例,倘若梯度翻转层不存在,那么,算法在迭代过程中,在减少Ly ...
萌新向Python数据分析及数据挖掘第三章机器学习常用算法第四节 PCA与梯度上升（上）理解篇...
转载于:https://www.cnblogs.com/romannista/p/10811992.html
关于PGD(映射式梯度下降)对抗训练的理解
在生成对抗样本这个应用场景下,对抗样本的最优境界是足以迷惑模型,对人眼却没有产生可视的变化.这意味着样本需要在原样本的L_2或者L_inf球内产生.这时,使用PGD会带来两点不足一.PGD方法本身最 ...
梯度的直观理解_BP反向传播算法的思考和直观理解 -卷积小白的随机世界
本篇文章,本来计划再进一步完善对CNN卷积神经网络的理解,但在对卷积层反向传播算法的理解中,越发觉得之前对于BP反向传播算法的理解是不到位的.小白近日觉得,对于深度神经网络,"反向传播&qu ...
随机梯度下降法、牛顿法、冲量法、AdaGrad、RMSprop以及Adam优化过程和理解
在神经网络的训练中我们会遇到一个问题,那就是如何有效的对损失函数求梯度.在我另一篇文章中有讲过关于梯度下降的过程和为什么负梯度方向是下降的最快方向[也就是我们希望损失函数下降],大家可以看看这篇文章, ...
通俗理解深度学习梯度累加(Gradient Accumulation)的原理
首先你得明白什么是梯度,可以看我之前写的一篇博客 : 微分与梯度的概念理解本质上,梯度是一种方向导数,是一个矢量,因此这里的梯度累加并不是简单的相加,而是类似于初高中物理学的力的合成,梯度作为一种方 ...

最新文章

热门文章