[人工智能-深度学习-17]：神经网络基础 - 优化算法的本质是盲人探路或迷雾探险

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120591591

第1章 loss函数几何图像

1.1 单个参数的一元loss函数

1.2 两个参数的二元loss函数

1.3 多个参数的多元loss函数

第2章优化算法的本质是盲人探路

第3章优化算法的本质是迷雾探险

第4章优化算法的本质是寻找“最好”的过程

第5章优化算法的启示

第1章 loss函数几何图像

1.1 单个参数的一元loss函数

1.2 两个参数的二元loss函数

1.3 多个参数的多元loss函数

有人问，这不是一眼就看出这个函数的最低点了吗？为什么需要优化算法找最低点呢？

第2章优化算法的本质是盲人探路

上述图像，能够一看看出最低点的位置，这是因为，事先已经计算出所有点，并且我们能清楚得看到了所有点的几何图形，自然就可以直接判断最低点的位置。如果是盲人看不到几何图形怎么办呢？

此时她只好采用某种算法探测哪里是最低点。她唯一获取的输入就是每次探测后获取的反馈信息，并根据反馈信息判断当前的点是不是最低点。

第3章优化算法的本质是迷雾探险

在充满迷雾的山谷中，找到最低点的方法，就是去探测，并根据实时采集到的数据，判断和推测最低点的方向，并最终确定最低点的位置？

第4章优化算法的本质是寻找“最好”的过程

如果某一时刻，我们只能拥有一朵，在没有走过整个田野，你永远不知道手头上的那一朵是否是好的，最大的那一朵。

我们只能根据以往的信息和当前的信息的特征，当前的是否是最好的可能性。至于未来是否有更好的，只能留到未来。关键是未来是源源不断的，永无止息，“”最好的”难道就是“”最好的”吗？

第5章优化算法的启示

（1）计算机能够预先计算出所有点，然后绘制出图像吗？

不可能，这是因为：神经网络有大量的W, B参数，每个参数的数值又是在【-无穷，+无穷】区间，因此，很难穷举所有的连续参数的数值以及他们的组合。

（2）有没有某种方法，可以大致算出起始点的位置？

在海量的随机参数中，初始化参数就很有讲究，这可以根据随机变量的分布特性来对参数进行初始化，确保初始化的参数尽可能（最大概率）接近最低点。

（3）有没有某种粗略而不是精确的方法？获取最低点大致的位置，然后在进行精确求解？

值得探究，可以用小分队或雷达探测的原理，先进行初步侦查，然后在进行精确求解。

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120591591

[人工智能-深度学习-17]：神经网络基础 - 优化算法的本质是盲人探路或迷雾探险相关推荐

01.神经网络和深度学习 W2.神经网络基础
文章目录 1. 二分类 2. 逻辑回归 3. 逻辑回归损失函数 4. 梯度下降 5. 导数 6. 计算图导数计算 7. 逻辑回归中的梯度下降 8. m个样本的梯度下降 9. 向量化 10. 向量化的更 ...
深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结
深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结 1. 引言在深度学习中我们定义了损失函数以后,会采取各种各样的方法来降低损失函数的数值,从而使模 ...
深度学习-各类梯度下降优化算法回顾
本文是根据链接进行的翻译,回顾了深度学习的各种梯度下降优化算法.*已获得原作者的翻译许可. 文章目录一.概述二.引言三.Gradient Descent Variants(梯度下降法变体) ...
机器学习、深度学习中常用的优化算法详解——梯度下降法、牛顿法、共轭梯度法
一.梯度下降法 1.总述: 在机器学习中,基于基本的梯度下降法发展了三种梯度下降方法,分别为随机梯度下降法,批量梯度下降法以及小批量梯度下降法. (1)批量梯度下降法(Batch Gradient D ...
深度学习之神经网络的优化器篇
神经网络的优化器文章目录神经网络的优化器 GD 梯度下降算法重球法 SGD随机梯度下降 Momentum动量梯度 NAG(Nesterov accelerated gradient) AdaGr ...
深度学习（1）基础1 -- 深度学习与神经网络基础
目录一.深度学习与神经网络 1.深度学习定义 2.神经网络 3.深度学习过程 4.深度学习功能二.深度学习应用三.分类数据集推荐一.深度学习与神经网络 1.深度学习定义深度学习(deep l ...
【深度学习】神经网络基础：反向传播算法
作者:Simona Ivanova AI/ML 专家就职于 Science 杂志导读反向传播(Backpropagation,简称 BP)是目前用来训练人工神经网络(Artificial ...
深度学习中常用的优化算法
参考<动手学深度学习> https://zh.d2l.ai/chapter_optimization/index.html 一维梯度下降我们先以简单的一维梯度下降为例,解释梯度下降算法可 ...
深度学习：神经网络基础知识总结
[神经网络基础知识总结]: 定义: 人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它 ...

[人工智能-深度学习-17]：神经网络基础 - 优化算法的本质是盲人探路或迷雾探险