1.epoch和batch size含义

以mnist数据集为例，有60000张训练图片和10000张测试图片。

1个epoch指的是训练时将60000张训练图片训练一次。

假设选择batch size=100对模型进行训练。

每个epoch具有的iteration个数为600。

2.epoch和batch size大小选择

2.1 epoch大小选择

对于不同的任务和不同规模的训练集，epoch数量是不同的。一般首先使用训练集训练模型，然后在验证集上评估模型的性能，随着epoch增加，模型在验证集的效果会变好，但如果训练太多epoch，会导致模型过度拟合训练数据，验证集的效果会下降，理想情况下，我们想找到模型由好变坏的拐点，现在主流的技术是early stopping机制，通过loss的变化来决定是否停止训练，最终，我们使用这个最好的模型在测试集上进行推理，这是规范的一套流程。

2.2 batch size大小选择

显存占用=模型显存占用+batch_size x 每个样本的显存占用。

对于大数据集，因为显存和算力限制，无法将所有数据一次性用于模型训练。此外，如果仅仅使用几条数据进行训练，导致更新点横冲直撞，无法完成收敛。所以，实际训练时是将一些数据组成一个batch送入网络，下图是别人做的一个实验，对batch的大小进行参数控制，得到了一些运行指标。图1 batch大小对模型性能的影响

从图1中可以看到：

(1)batch_size太小，算法不能收敛。

(2)在满足算力和显存的情况下，增大batch_size，迭代次数减少，处理相同数据量的时间变短。

(3)在满足算力和显存的情况下，增大batch_size，其确定的下降方向越准，引起训练震荡越小，达到相同精度需要的epoch数量变多。

(4)合理范围内，增大batch_size，内存利用率提高，大矩阵乘法的并行化效率提高。

在显存容量支持的情况下，batch_size是否越大越好呢?batch_size增大到一定程度，其确定的下降方向已经不再变化，此时再增大batch_size不会提高精度。

batch_size增大，内存利用率提高了，但可能会导致内存容量撑不住。

跑完一次epoch(全数据集)所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。

因此batch_size增大到某些时候，达到最终收敛精度上的最优。

3.batch size与learning rate之间的关系

3.1 单机单卡

单卡训练中增大batch size需要增加learning rate，增大batch_size后的lr=batch_size*base_lr。因为batch_size的增大会导致在一个epoch内模型参数update的次数减少，所以为了达到相同的收敛效果，lr应该同比例增大(实际应用中发现不一定要同比例增长，有时候可能增大到batch_size/2倍的效果已经很不错了)。但是更大的lr可能会导致收敛不够好，尤其是在刚开始的时候，如果使用很大的lr，可能会直接爆炸，所以可能会需要一些Warm up来逐步的把lr提高到想设定的lr。

3.2 分布式训练

分布式训练中batch size随着数据并行的worker增加而增大，假设baseline的batch size为B，learning rate为lr，训练epoch数为N。如果保持baseline的learning rate，一般不会有较好的收敛速度和精度。原因如下：对于收敛速度，假设k个worker，每次过的sample数量为kB，因此一个epoch下的更新次数为baseline的1/k，而每次更新的lr不变，最后收敛效果不好。

为了达到更好的效果，一是通过增加epoch数达到与baseline相同的更新次数，最大需要增加k*N个epoch，因此收敛加速倍数会远远低于k。对于收敛精度，由于增大了batch size使梯度估计相较于baseline的梯度更加准确，噪音减少，更容易收敛到附近的local minima，类似于GD的效果。二是增大lr，因为batch变大梯度估计更准，理应比baseline的梯度更确信一些，所以增大lr，利用更准确的梯度多走一点，提高收敛速度，如果遇到了sharp local minimal，还有可能掏出收敛到更好的地方。但是lr也肯定不能无限制的增大，因为当lr很大时，往往就会难以收敛到局部极值点。