1.batchsize越大是不是训练越快？

GPU :一块2080Ti
平台：pytorch cuda
图片数量：2700

batchsize	一个图片处理时间	GPU内存占用	GPU算力使用	一个epoch 所用时间
1	0.117s	2.5G	20%	2700 * 0.0117 = 318s
5	0.516s	8G	90%	2700 * 0.516/5 = 279s

batchsize大了之后，占用的资源多了，算力多了，但是速度没有提升，这样是不是太坑了。
我们其实可以把 batchsize设置小点，然后把剩余的内存跑其他实验，而且再在同一张卡上跑一个新的实验，对之前的速度也没有影响。

结论：
1.本人实验 batchsize越大，训练速度提升不大
2.bachsize小点，多跑几个实验真香

完成每个epoch运算的所需的全部时间主要卡在：

load数据的时间，
每个epoch的iter数量。
因此对于每个epoch，不管是纯计算时间还是全部时间，大体上还是大batch能够更节约时间一点，但随着batch增大，iter次数减小，完成每个epoch的时间更取决于加载数据所需的时间，此时也不见得大batch能带来多少的速度增益了。

2.batchsize大了，是不是结果会变好？

收集资料发现，确实是这样的，但是也不能太大了

Batch_Size 太小，算法在 200 epoches 内不收敛。
随着 Batch_Size 增大，处理相同数据量的速度越快。
随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。
由于上述两种因素的矛盾， Batch_Size增大到某个时候，达到时间上的最优。
由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size增大到某些时候，达到最终收敛精度上的最优。

batchsize大小对训练速度的影响相关推荐

浅析深度学习中Batch Size大小对训练过程的影响
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨陈志远@知乎(已授权) 来源丨https://zhuanlan ...
batch size 训练时间_深度学习 | Batch Size大小对训练过程的影响
转自:面试中问你 Batch Size大小对训练过程的影响mp.weixin.qq.com 先看两个问题: (1)深度学习中batch size的大小对训练过程的影响是什么样的? (2)有些时候不可 ...
深入剖析深度学习中Batch Size大小对训练过程的影响
点击上方"AI算法与图像处理",选择加"星标"或"置顶" 重磅干货,第一时间送达推荐文章[点击下面可直接跳转]: 来源:https://z ...
深度学习中 Batch Size 对训练过程的影响
作者 | 陈志远编辑丨极市平台之前面试过程中被问到过两个问题: (1)深度学习中batch size的大小对训练过程的影响是什么样的? (2)有些时候不可避免地要用超大batch,比如人脸识别,可 ...
影响神经网络训练速度的因素使得神经网络训练速度加快的方法
在深度学习任务中,虽然可以通过堆叠参数.设计更复杂的结构来提高模型的表征能力,但这也会导致模型的计算量增加,训练时间延长.所以,模型的预测有多好并不是唯一的考虑因素,训练时间长会导致成本的上升. 一. ...
影响神经网络训练速度的因素
一.GPU和CPU CPU:中央处理器(英文Central Processing Unit)是一台计算机的运算核心和控制核心.CPU.内部存储器和输入/输出设备是电子计算机三大核心部件.其功能主要是解 ...
不止GPU！这些硬件也影响着深度学习训练速度
有志于投身人工智能研究的青年,在关注计算机专业选择时,也不妨先了解一下影响深度学习训练速度的种种因素. 本文实验数据来源:知乎@Justin ho 工程师之于计算机就相当于赛车手对待跑车一样,必须十分 ...
深度机器学习中的batch的大小对学习效果有何影响？
深度机器学习中的batch的大小对学习效果有何影响? 如题,在深度学习中,刚入门的小弟一直听闻一个batch中同时训练多个数据可以得到较好的效果,于是小弟在caffe上跑deepID的网络时对如何选取 ...
【阅读笔记】针对PyTorch提高神经网络训练速度的方法—《Here are 17 ways of making PyTorch training faster – what did I miss?》
原文连接:https://efficientdl.com/faster-deep-learning-in-pytorch-a-guide/ 目录写在开头 1. 考虑使用不同的学习率变化策略(Cons ...

batchsize大小对训练速度的影响

1.batchsize越大是不是训练越快？

2.batchsize大了，是不是结果会变好？

batchsize大小对训练速度的影响相关推荐

最新文章

热门文章

batchsize大小对训练速度的影响

1.batchsize越大 是不是训练越快？

2.batchsize大了，是不是结果会变好？

batchsize大小对训练速度的影响相关推荐

最新文章

热门文章

1.batchsize越大是不是训练越快？