一、epoch、batch_size和iteration名词解释，关系描述

epoch：所有的样本空间跑完一遍就是一个epoch；
batch_size：指的是批量大小，也就是一次训练的样本数量。我们训练的时候一般不会一次性将样本全部输入模型，而是分批次的进行训练，每一批里的样本数量就是batch_size；
iteration：1个iteration就是一个batch_size训练结束。

　　他们之间是存在数学关系的，举个例子，假如一共有2000个样本，我设置batch_size为100，那么将所有样本训练完成1次的话，iteration就是2000/100=20个，这样就很清晰了。

二、问题思考

　　通常情况下，batch_size和epoch作为超参，需要自己设定。但要明确，只有在数据很庞大的时候（在机器学习和神经网络中，数据一般情况下都会很大），我们才需要使用epoch，batch size，iteration这些术语，在这种情况下，一次性将数据输入计算机是不可能的。因此，为了解决这个问题，我们需要把数据分成小块，一块一块的传递给计算机，在每一步的末端更新神经网络的权重，拟合给定的数据。那么问题就来了：

batch_size设置多少比较合适呢？

　　　设置batch_size是会影响到我们模型的优化速度和程度的，它是在寻找一种内存效率和内存容量之间的平衡，是很重要的。那么batch_size设置为多少比较合适呢，准确的说，没有一个标准答案，需要根据自己的数据量大小来定。

　　适当的增加batch_size有以下的优势：

1.通过并行化提高内存利用率。

　　 2.单次epoch的迭代次数减少，提高运行速度。

　　 3.适当的增加Batch_Size,梯度下降方向准确度增加，训练震动的幅度减小。

　　但也要清楚地认识到：相对于正常数据集，如果batch_size过小，训练数据就会非常难收（每一次的参数是不一样的哦），以使得我们的参数最优化，从而损失函数最小。随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线也从欠拟合变得过拟合，所以合适的epoch次数也是一个重要的参数。

三、总结

epoch、batch_size、iteration都是模型的超参数，不存在最好的，只有最合适的；
他们存在数学关系，指定了epoch和batch_size就能知道iteration是多少了；
他们都与我们模型训练的最终结果密切相关，参数的最优化、训练的速度、模型的过拟合、欠拟合都或多或少有关系，所以搞清楚这几个基础概念很有必要。

深度学习笔记_基本概念_神经网络中的epoch、batch_size和iteration相关推荐

深度学习笔记其六：现代卷积神经网络和PYTORCH
深度学习笔记其六:现代卷积神经网络和PYTORCH 1. 深度卷积神经网络(AlexNet) 1.1 学习表征 1.1 缺少的成分:数据 1.2 缺少的成分:硬件 1.2 AlexNet 1.2.1 ...
深度学习笔记（26）卷积神经网络
深度学习笔记(26) 卷积神经网络 1. CONV 2. POOL 3. Layer 4. FC 5. 卷积的优势 1. CONV 假设,有一张大小为32×32×3的输入图片,这是一张RGB模式的图片 ...
深度学习笔记（5）深层神经网络
深度学习笔记(5) 深层神经网络 1. 深层神经网络 2. 前向传播和反向传播 3. 核对矩阵的维数 4. 参数和超参数 5. 深度学习和大脑的关联性 1. 深层神经网络当算神经网络的层数时,不算输 ...
深度学习笔记第四门课卷积神经网络第三周目标检测
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记第四门课卷积神经网络第四周特殊应用：人脸识别和神经风格转换...
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
神经网络与深度学习笔记（五）深层神经网络
摘要:本文知识点主要有简单介绍深层神经网络.深层神经网络的传播过程.保证矩阵维数的正确性.深度神经网络强大的原因.神经网络正向传播和反向传播的流程图.参数和超参数和神经网络与人脑机制的关系. 1.深层 ...
深度学习笔记第四门课卷积神经网络第一周卷积神经网络基础
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记之《解析卷积神经网络》附下载地址
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容 <解析卷积神经网络>是 @魏秀参博士撰写的深度学习实践手册,主要以卷积神 ...
深度学习笔记第四门课卷积神经网络第二周深度卷积网络：实例探究
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
深度学习笔记（九）卷积神经网络算法
卷积神经网络卷积神经网络介绍CNN 卷积层一个概念local receptive field: 共享权重和偏向: feature map(特征映射)的概念池化层(pooling layer) 总 ...

深度学习笔记_基本概念_神经网络中的epoch、batch_size和iteration

一、epoch、batch_size和iteration名词解释，关系描述

二、问题思考

三、总结

深度学习笔记_基本概念_神经网络中的epoch、batch_size和iteration相关推荐

最新文章

热门文章