[深度学习] 神经网络中的 batch 和 epoch

2024-04-26 12:33:44

参考文章为神经网络中Batch和Epoch之间的区别是什么？

Sample

Sample是单个数据。即有意义的数据的最小单位。

训练数据集由许多Sample组成。

batch

batch是一个人为设定的超参数。

batch的意思是“批”，即把一定数目的Sample组合到一起，组成一个batch。
batch_size表示一个batch中Sample的个数

简单来说，一个batch就是一定数目的Sample的集合

另外，batch的大小与梯度下降的种类有关：

批量梯度下降 —> batch_size=训练集的大小（整个训练集作为一个batch）
随机梯度下降 —> batch_size= 1（每个batch中只有一个Sample）
小批量梯度下降 —> 1 <batch_size<训练集的大小(每个batch中Sample的个数大于1且小于训练集Sample的总数)

epoch

epoch是一个人为设定的超参数。

epoch定义了学习算法在整个训练数据集中的工作次数。
一个epoch表示，训练集中的每个Sample都有机会更新内部模型参数。
epoch由一个或多个batch组成（由batch中包含的Sample的量决定）。例如，只有一个batch的epoch，称为批量梯度下降学习算法。

epoch 数量一般很大，通常是数百或数千，允许学习算法运行到模型的误差被充分地最小化。
文献和教程可能会设置为10,100,500,1000和更大数。

小结

Sample和batch和epoch的关系大致如图。

示例

假设有一个包含 200 个样本（Sample）的训练数据集，并且选择的batch量大小为 5 和 1000 个epoch。

这意味着训练数据集将分为 40 个batch，每个batch有 5 个样本。
每批 5 个样品后，模型权重将更新。

这也意味着一个epoch将涉及 40 个batch或 40 个模型更新。

有 1000 个epoch，模型将暴露（或传递）整个训练数据集 1000 次。在整个培训过程中，总共有 40000 batch。

[深度学习] 神经网络中的 batch 和 epoch相关推荐

深度学习——神经网络中的activation
神经网络中有个词叫做 activation--激活函数现假设一神经网络N,其中w为权值参数,x为输入,b为偏置.神经网络中上层的信号 wx+b 在作为下层的输入之前,需要使用激活函数激活. ...
深度学习神经网络中的MASK机制
简单来说就是得出A然后结合A与下一个特征得出B,结合A,B与下一个特征得出C,那么整个句子的内在关联就是Z=A+B+C
深度学习算法中卷积神经网络的应用
下面一起来探讨一下关于深度学习算法中卷积神经网络的基本概念和应用: 1.卷积神经网络基本概念卷积神经网络也是在传统人工神经网络的基础上发展起来的,它与 BP 神经网络有很大的相似之处,但也有很大的区 ...
matlab在图像识别（深度学习神经网络）中的使用（转）
前言: 1)图像识别用途甚广,解决的算法之一,是深度学习神经网络.matlab近几个版本,对这块的语法修改较多,总体而言,用户用起来更方便了: 2)这里以2018a版本为例,做一些粗略的说明. 1.概 ...
深度学习——神经网络的学习
前言神经网络的学习,这里所说的**"学习"是指从训练数据中自动获取最优权重参数的过程.为了使神经网络能进行学习,将引入损失函数这一指标.而学习的目的就是以该损失函数为基准**,找 ...
DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介.基础知识(神经元/感知机.训练策略.预测原理).算法分类.经典案例应用之详细攻略目录深度学习(神经网络)的简介 1.深度学习浪潮兴起的三大因素深度学习(神经网络 ...
【AI初识境】深度学习模型中的Normalization，你懂了多少？
文章首发于微信公众号<有三AI> [AI初识境]深度学习模型中的Normalization,你懂了多少? 这是<AI初识境>第6篇,这次我们说说Normalization.所谓 ...
【深度学习】深入理解Batch Normalization批归一化
[深度学习]深入理解Batch Normalization批归一化转自:https://www.cnblogs.com/guoyaohua/p/8724433.html 这几天面试经常被问到BN层的 ...
(三)大话深度学习编译器中的自动调优·Empirical Search
前面的第一篇"(一)大话深度学习编译器中的自动调优·前言"与第二篇"(二)大话深度学习编译器中的自动调优·DSL与IR"分别介绍了背景与一些相关概念,这第三篇我 ...

最新文章

热门文章