深度学习中Batch、Iteration、Epoch的概念与区别

在神经网络训练中，一般采用小批量梯度下降的方式。 Batch Epoch Iteration 就是其中的重要的概念。我们要理解懂得它们都是什么以及它们之间的区别。

1、Batch
每次迭代时使用的一批样本就叫做一个Batch，样本的数量称为Batch Size。Batch大小是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。深度学习每一次参数的更新的Loss Function并不是由一个样本得到的，而是由一个Batch的数据加权得到。
2、 Iteration
使用Batch Size个样本训练一次的过程叫做一个Iteration。
3、 Epoch
一个epoch就是使用训练集中的全部样本训练一次。通俗的讲，Epoch的值就是整个训练数据集被反复使用几次。
Epoch数是一个超参数，它定义了学习算法在整个训练数据集中的工作次数。一个Epoch意味着训练数据集中的每个样本都有机会更新内部模型参数。Epoch由一个或多个Batch组成。
举例：
我们有10000个样本，batch_size=100，
意思就是我们总共有10个batch，每次使用这100个样本数量训练一次的过程，就是一个Iteration。
然后我们把这10000个样本都训练完了，就叫做一个Epoch。

深度学习中Batch、Iteration、Epoch的概念与区别相关推荐

浅析深度学习中Batch Size大小对训练过程的影响
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨陈志远@知乎(已授权) 来源丨https://zhuanlan ...
深度学习中 Batch Size 对训练过程的影响
作者 | 陈志远编辑丨极市平台之前面试过程中被问到过两个问题: (1)深度学习中batch size的大小对训练过程的影响是什么样的? (2)有些时候不可避免地要用超大batch,比如人脸识别,可 ...
深入剖析深度学习中Batch Size大小对训练过程的影响
点击上方"AI算法与图像处理",选择加"星标"或"置顶" 重磅干货,第一时间送达推荐文章[点击下面可直接跳转]: 来源:https://z ...
深度学习中batch_size、epoch和iteration的含义
iteration:1个iteration等于使用batchsize个样本训练一次: epoch:1个epoch等于使用训练集中的全部样本训练一次,通俗的讲epoch的值就是整个数据集被轮几次. 比如 ...
深度学习中的一些术语和概念
全连接的前馈神经网络 CNN(Convolutional Neural Network)--卷积神经网络,通常用于图像数据 RNN(Recurrent Neural Network)--循环神经网络递 ...
深度学习（2）--深度学习中的这25个概念
神经网络基础 1)神经元(Neuron)--就像形成我们大脑基本元素的神经元一样,神经元形成神经网络的基本结构.想象一下,当我们得到新信息时我们该怎么做.当我们获取信息时,我们一般会处理它,然后生成一 ...
五个角度解释深度学习中 Batch Normalization为什么效果好？
https://www.toutiao.com/a6699953853724361220/ 深度学习模型中使用Batch Normalization通常会让模型得到更好表现,其中原因到底有哪些呢?本篇 ...
深度学习中：使用GPU和CPU的区别
深度学习框架:Tensorflow 显卡型号:GTX 1060 CPU型号:i5-8300H 深度学习:使用GPU和CPU的区别前言代码结果总结前言这几天在做深度学习,想看看为什么 G ...
关于深度学习中泛化的几个概念
泛化过拟合将模型在训练数据上拟合得⽐在潜在分布中更接近的现象称为过拟合(overfitting),⽤于对抗过拟合的技术称为正则化(regularization). 训练误差和泛化误差训练误差( ...

深度学习中Batch、Iteration、Epoch的概念与区别

深度学习中Batch、Iteration、Epoch的概念与区别相关推荐

最新文章

热门文章