【CV】深度学习中Epoch, Batch, Iteration的含义

Epoch
使用训练集的全部数据样本进行一次训练，称为一次epoch，即所有训练集的样本都在神经网络中进行了一次正向传播和一次反向传播
神经网络中需要有多次epoch，每次epoch中会进行一次更新权重(weight)，多次epoch后权重多次更新会变得更加准确
训练集中样本数量可能非常多，所以需要分成很多小块来进行训练，分成的小块就是batch
Batch
将所有的训练集的样本分成若干个batch
Batch_Size
每个batch的大小
Iteration（一次迭代）
训练一个batch就是一次为lteration

batch数量计算公式：
batch数量=trainingSet_sizebatch_sizebatch数量=\frac{trainingSet\_size}{batch\_size}batch数量=batch_sizetrainingSet_size

举例↓：原文链接

mnist 数据集有 60000 张图片作为训练数据，10000 张图片作为测试数据。假设现在选择 Batch Size = 100 对模型进行训练。迭代30000次。

每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)

训练集具有的 Batch 个数： 60000/100=600

每个 Epoch 需要完成的 Batch 个数： 600

每个 Epoch 具有的 Iteration 个数： 600（完成一个Batch训练，相当于参数迭代一次）

每个 Epoch 中发生模型权重更新的次数：600

训练 10 个Epoch后，模型权重更新的次数： 600*10=6000

不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
总共完成30000次迭代，相当于完成了 30000/600=50 个Epoch

【CV】深度学习中Epoch, Batch, Iteration的含义相关推荐

深度学习概念——Epoch, Batch, Iteration
目录定义示例 Epoch数量多少合适? 定义 Epoch(时期) 所有训练样本在神经网络中都进行了一次正向传播和一次反向传播的过程,称为1个Epoch Batch(批) 将训练样本分为若干个Bat ...
深度学习之 epoch batch iteration
知识点无论是使用yolo3,4 都是一样的过程,例如使用yolo3 去训练的时候,使用参数tran来训练,darknet的好处是可以使用opencv直接来进行模型推理,但是在训练过程中,我们经常会遇 ...
深度学习中epoch，batch的概念--笔记
深度学习中epoch,batch的概念 batch.epoch和iteration是深度学习中几个常见的超参数. (1) batch_ size: 每批数据量的大小.DL通常用SGD的优化算法进行训练 ...
深度学习中的batch的大小对学习效果有何影响？
写在前面:整理自知乎:深度学习中的batch的大小对学习效果有何影响? Batch_size参数的作用: 决定了下降的方向. 极端一: batch_size为全数据集(Full Batch Learn ...
深度学习中的batch、epoch、iteration
名词解释名词定义 Epoch 使用训练集的全部数据对模型进行一次完整的训练,被称为"一代训练" Batch 使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新,这一 ...
【生动理解】深度学习中常用的各项评价指标含义TP、FP、TN、FN、Accuracy、Recall、IoU、mIoU
无论是对于图像领域的分类.检测问题,亦或点云领域的物体分类.场景分割,在评价一个模型的好坏时,经常涉及TP.FP.TN.FN.Recall.IoU.Accuracy...等指标进行衡量,那么这些指标是 ...
深度学习中 epoch，[batch size], iterations概念解释
one epoch:所有的训练样本完成一次Forword运算以及一次BP运算 batch size:一次Forword运算以及BP运算中所需要的训练样本数目,其实深度学习每一次参数的更新所需要损失函数 ...
python batch_size_深度学习中的batch的大小对学习效果有何影响？
可以参考这篇文章:龙鹏-言有三:[AI不惑境]学习率和batchsize如何影响模型的性能?zhuanlan.zhihu.com 目前深度学习模型多采用批量随机梯度下降算法进行优化,随机梯度下降算法 ...
深度学习中的batch和epoch
Batch是大小,epoch是数量什么是Batch? Batch大小是一个超参数,用于定义在更新内部模型参数之前要处理的样本数.将批处理视为循环迭代一个或多个样本并进行预测.在批处理结束时,将预测与 ...

【CV】深度学习中Epoch, Batch, Iteration的含义

【CV】深度学习中Epoch, Batch, Iteration的含义相关推荐

最新文章

热门文章