神经网络 深度学习 专业术语解释(Step, Batch Size, Iteration,Epoch)
1. 名词解释
Step: 训练模型的步数
Batch Size(批尺寸): 计算梯度所需的样本数量,太小会导致效率低下,无法收敛。太大会导致内存撑不住,Batch Size增大到一定程度后,其下降方向变化很小了,所以Batch Size是一个很重要的参数。
为什么需要有 Batch_Size :
batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。
Epoch(回合):代表样本集内所有的数据经过了一次训练。
每个 epoch 都会进行shuffle,对要输入的数据进行重新排序,分成不同的batch。
Iteration(迭代):
理解迭代,只需要知道乘法表或者一个计算器就可以了。迭代是 batch 需要完成一个 epoch 的次数。记住:在一个 epoch 中,batch 数和迭代数是相等的。
比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch,那么完成一个 epoch 需要 4 个 iteration。
变量 | 含义 |
---|---|
epoch | 一个epoch表示所有训练样本运算学习一遍 |
iteration/step | 表示每运行一个iteration/step,更新一次参数权重,即进行一次学习,每一次更新参数需要batch size个样本进行运算学习,根据运算结果调整更新一次参数。 |
batch size | 1次迭代所使用的样本量 |
其关系为:
举例:
假设有20000个样本,batch size 为200,epoch为1, 则
2. 换算关系
实际上,梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。
3. 例子
CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。
每个 Epoch 要训练的图片数量: 50000
训练集具有的 Batch 个数: 50000/256 = 195 +1 = 196
每个 Epoch 需要完成的 Batch 个数: 196
每个 Epoch 具有的 Iteration 个数: 196
每个 Epoch 中发生模型权重更新的次数: 196
训练 10 代后,模型权重更新的次数: 196 * 10
不同代的训练,其实用的是同一个训练集的数据。第 代和第 代虽然用的都是训练集的五万张图片,但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。
神经网络 深度学习 专业术语解释(Step, Batch Size, Iteration,Epoch)相关推荐
- 深度学习(二)——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
Dropout(续) 除了Dropout之外,还有DropConnect.两者原理上类似,后者只隐藏神经元之间的连接. 总的来说,Dropout类似于机器学习中的L1.L2规则化等增加稀疏性的算法,也 ...
- 深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果
既然要研究深度学习这一门学科,外文的论文和资料阅读是必不可少的,下面就总结一些深度学习相关方面的专有英文,并做一些必要解释. 1. 深度学习常用中英文 英文 中文解释 说明 MNIST MNIST数据 ...
- 深度学习-强化学习专业术语解释
确定的数值用小写字母表示,还不知道的就是大写字母 state:当前的状态 state transition:状态转移,做出动作后state(状态)变了的过程. 有状态转移函数:p(s'|s,a)=p( ...
- HALCON 21.11:深度学习笔记---术语表(7)
HALCON 21.11:深度学习笔记---术语表(7) HALCON 21.11.0.0中,实现了深度学习方法.下面,我们将描述深度学习环境中使用的最重要的术语: anchor (锚) Anchor ...
- 神经网络+深度学习+增强学习
神经网络+深度学习+增强学习 神经网络 像飞机的灵感来源于鸟类,雷达的灵感来源于蝙蝠,红外线的灵盖来源于蛇,而本文要讨论的神经网络灵感来源于我们自己,人类大脑的神经元结构.从神经元结构被提出,到时下火 ...
- 基于深度学习的可解释特征准确预测混凝土抗压强度
基于深度学习的可解释特征准确预测混凝土抗压强度 Accurate prediction of concrete compressive strength based on explainable fe ...
- 机器学习与深度学习最好的解释
最好的解释:机器学习与深度学习 近来我们一直在处理科技行业的流言. 这是因为一旦创造了一个术语,就会出现一定的趋势. 每个人都使用它,而没有完全得到它,导致错误的信息,混乱,有时甚至是假新闻. ...
- 1.2 什么是神经网络-深度学习第一课《神经网络与深度学习》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.1 欢迎 回到目录 1.3 用神经网络进行监督学习 什么是神经网络 我们常常用深度学习这个术语来指训练神经网络的过程.有时它指的是特别大规模的神经网络训练.那么神经网络究 ...
- 深度学习笔记(12) Batch归一化网络
深度学习笔记(12) Batch归一化网络 1. Batch归一化 2. 激活值归一化 3. 特殊情况不归一化 4. mini-batch上的Batch归一化 1. Batch归一化 Batch归一化 ...
最新文章
- Kafka 原理以及分区分配策略剖析
- 事件驱动模式--Reactor
- Linux学习:shell命令(文件权限、用户、用户组)
- OpenCV凸凹面函数convexHull使用的实例(附完整代码)
- Java Compiler disable()方法与示例
- Python项目实践:绘制玫瑰花
- Linux学习笔记 --组管理和权限管理
- 学习编程之前应该先学习哪些基础?
- Java - springboot中md5加解密工具类
- pthread 立即停止线程_pthread_create线程终止问题
- mysql中status状态说明
- Android 系统应用-通信应用-MCC、MNC和IMSI的介绍以及运营商标识码对应表
- python打造最全画地图,可视化数据
- JavaScript(js)基础
- html背景斜线,巧妙的实现 CSS 斜线
- CT一般扫描参数_头颅CT扫描技术
- java排他_Activiti之排他网关
- AG9300|Type-C 转VGA数据转换器解决方案
- 微信小程序 图片旋转后上传
- 爱快路由系统带PPPOE服务器吗,爱快路由+华为交换机 实现vlan下拨号到爱快pppoe服务器...
热门文章
- tensorflow从入门到精通100讲(六)-在TensorFlow Serving/Docker中做keras 模型部署
- XGBoost类库使用小结
- 宁波机器人餐厅需要预约吗_拍婚纱照需要预约吗 预约婚纱照需要注意哪些问题...
- vector can通信源码_汽车电子CAN网络dbc文件
- 【Linux】13_ 文件查找
- 数据挖掘导论读书笔记3--分类
- 热点推荐:秒杀系统架构分析与实战--转载
- What is corresponding Cron expression to fire in every X seconds, where X 60? --转载
- 【项目实战】汽车金融评分卡
- Starzhou:EOSIO1.0 版本环境搭建