本文主要介绍机器学习中的四个基本概念，batch、batchsize、epoch、iteration，这几个概念对于初学者来说容易混淆。因此在次记录一下。
深度学习中的优化算法就是梯度下降算法，通过该算法来进行参数的优化，参数的优化过程是通过计算损失函数来实现的。但是计算损失函数时如果每次都遍历整个数据集，会影响运行效率。为了解决这个问题，目前使用较多的是mini-batch梯度下降法。（关于梯度下降的内容，大家可以看我的这两篇文章。梯度下降法、梯度下降法的改进）。其中“梯度下降法的改进”一文中，指出了两种梯度下降的改进算法。该文中的第二种就是mini-batch梯度下降法。我在该文中指出的参数“b”即使本文所要介绍的batchsize。

1.参数介绍

Batch：使用训练集中的一部分样本对模型参数权重进行一次反向传播的更新，这一小部分样本被称为“一批数据”。“一批数据”的大小就是batchsize。
Epoch:使用训练集的全部数据对模型进行一次完整的训练。
Iteration:使用一个batchsize的数据对模型进行一次参数更新的过程。

2.例子

假设有2000张图片，你设置batchsize=512，iteration=50000，则其epoch为50000/4=12500个。（在不同的网络中，相同数量的照片，相同的batchsize可能会有不同的epoch，这是由于网络本身在预处理图片时认为设置的，例如在RNN中如果剩余的图片不够一个batchsize大小，则直接被丢弃）

3.Batchsize参数选取

Batchsize数量设置会影响训练的结果。关于batchsize大小的设置，大家可以看一下这篇文章。

机器学习笔记（15）— 基本概念batch、batchsize、epoch、iteration相关推荐

几句话明白：神经网络中的基本概念batch，epoch，iterations及对训练效果的影响
###神经网络中的基本概念batch,epoch,iterations及对训练效果的影响自己一直很迷糊,这几个关键词也是傻傻分不清楚,为了彻底搞明白,所以用文字记录: batch:批,一次网络训练读 ...
【机器学习笔记4】逻辑回归模型
目录什么是逻辑回归? Sigmoid函数决策边界逻辑回归的损失函数为什么平方误差模型不可行? 对数损失函数单个样例损失: 整体损失函数梯度下降算法补充:F1-score评价指标 F1-S ...
机器学习中Batch Size、Iteration和Epoch的概念
机器学习中Batch Size.Iteration和Epoch的概念 Epoch一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程.由于一个epoch常常太大,计算机无法负荷,我们 ...
机器学习笔记 - YOLO家族简介
一.背景概述目标检测是计算机视觉中最重要的课题之一.大多数计算机视觉问题都涉及检测视觉对象类别,如行人.汽车.公共汽车.人脸等.这一领域不仅限于学术界,而且在视频监控.医疗保健.车载传感和自动驾驶. ...
迷人的神经网络——机器学习笔记1
目录迷人的神经网络--机器学习笔记1 第1章神经元模型及网络结构 1.1 神经元模型 1.1.1 单输入神经元 1.1.2 激活函数 1.1.3 多输入神经元 1.2 网络结构 1.2.1 单层神 ...
Scikit-Learn 机器学习笔记 -- 模型训练
Scikit-Learn 机器学习笔记 – 模型训练参考文档: handson-ml import numpy as np from matplotlib import pyplot as plt# ...
Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归参考文档: handson-ml import numpy as np from matplotlib import ...
Python机器学习笔记使用scikit-learn工具进行PCA降维...
Python机器学习笔记使用scikit-learn工具进行PCA降维之前总结过关于PCA的知识:深入学习主成分分析(PCA)算法原理.这里打算再写一篇笔记,总结一下如何使用scikit-lear ...
Python机器学习笔记使用scikit-learn工具进行PCA降维
Python机器学习笔记使用scikit-learn工具进行PCA降维之前总结过关于PCA的知识:深入学习主成分分析(PCA)算法原理.这里打算再写一篇笔记,总结一下如何使用scikit-lear ...
李宏毅机器学习笔记-2022spring
机器学习笔记文章目录机器学习笔记 Lecture 1 Colab的使用机器学习的基本概念一个简单的例子 1.方程的设立 2.定义损失函数 3.优化参数(Loss最小) 对上例的改进 Hard ...

机器学习笔记（15）— 基本概念batch、batchsize、epoch、iteration

1.参数介绍

2.例子

3.Batchsize参数选取

机器学习笔记（15）— 基本概念batch、batchsize、epoch、iteration相关推荐

最新文章

热门文章