神经网络学习的步骤（不是教你怎么学神经网络）

前提（获得权重和偏置——学习的目的）

神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面 4 个步骤。

步骤 1（mini-batch）（计算全部样本的损失函数值时间过长，且非必要，计算其中一部分数据的损失函数即可）

从训练数据中随机选出一部分数据，这部分数据称为 mini-batch。我们的目标是减小 mini-batch 的损失函数的值。

步骤 2（计算梯度）（梯度下降法：一种优化算法，此处以损失函数值最小为优化目标）

为了减小 mini-batch 的损失函数的值，需要求出各个权重参数的梯度。梯度表示损失函数的值减小最多的方向。

步骤 3（更新参数）（沿梯度方向逐步搜索损失函数最小值）

将权重参数沿梯度方向进行微小更新。

步骤 4（重复）

重复步骤 1、步骤 2、步骤 3。

梯度下降法要注意选择的步长，步长过大会导致算法无法收敛，步长过小会导致算法运行时间过长，迭代次数过大。

神经网络学习的步骤（不是教你怎么学神经网络）相关推荐

机器学习入门（14）— 神经网络学习整体流程、误差反向传播代码实现、误差反向传播梯度确认、误差反向传播使用示例
1. 神经网络学习整体流程神经网络学习的步骤如下所示. 前提神经网络中有合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为学习.神经网络的学习分为下面 4 个步骤. 步骤1(mini-ba ...
[翻译] 神经网络与深度学习第三章提升神经网络学习的效果 - Chapter 3 Improving the way neural networks learn
目录: 首页译序关于本书关于习题和难题第一章利用神经网络识别手写数字第二章反向传播算法是如何工作的 > 第三章提升神经网络学习的效果第四章可视化地证明神经网络可以计算任何函数 ...
卷积神经网络学习——第二部分：卷积神经网络训练的基本流程
卷积神经网络学习--第二部分:卷积神经网络训练的基本流程一.序言二.训练流程 1.数据集引入 2.构建网络 (1)四层卷积神经网络 (2)两层全连接层网络 3.模型训练 4.模型评估三.总结一 ...
神经网络学习（2）：FFNN，P，RNN，LSTM，GRU……
神经网络学习(2):FFNN,P,RNN,LSTM,GRU-- THE NEURAL NETWORK ZOO 其中大多数是神经网络,但也有些完全不同.此列表并不全面,仍需不断更新. 将它们绘制为节点映 ...
【深度学习基础】一步一步讲解卷积神经网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送本文转自:一步一步讲解卷积神经网络卷积神经网络(Convoluti ...
甘利俊一 | 信息几何法：理解深度神经网络学习机制的重要工具
智源导读:深度学习的统计神经动力学主要涉及用信息几何的方法对深度随机权值网络进行研究.深度学习技术近年来在计算机视觉.语音识别等任务取得了巨大成功,但是其背后的数学理论发展却很滞后.日本理化所的Shu ...
NTT高级科学家：光子是深度学习的未来！光子有望替代电子计算机加速神经网络计算...
来源:AI科技评论作者:Ryan Hamerly 编译:陈彩娴近日,来自日本 NTT 研究所的高级科学家 Ryan Hamerly 在 IEEE Spectrum 上发表了一篇文章("T ...
厦大等高校研究人员利用卷积神经网络学习脑电地形图表示进行分类
脑电图(EEG)地形图表征(Electroencephalography topographical representation, ETR)可以监测区域大脑活动,是一种可以用于探索皮层机制和联系的 ...
深度学习学习7步骤_如何通过4个简单步骤为深度学习标记音频
深度学习学习7步骤 In order to train Deep Learning models, preparing and curating datasets is usually a very ...

神经网络学习的步骤（不是教你怎么学神经网络）

神经网络学习的步骤（不是教你怎么学神经网络）相关推荐

最新文章

热门文章