多卡训练中的BN(BatchNorm)

现有框架BatchNorm的实现(DP,DDP)都是只考虑了single gpu。也就是说BN使用的均值和标准差是单个gpu算的，相当于缩小了batchsize。

对于比较消耗显存的训练任务时，往往单卡上的相对批量过小，影响模型的收敛效果。之前在在图像语义分割的实验中，就发现使用大模型的效果反而变差，实际上就是BN在作怪。跨卡同步 Batch Normalization 可以使用全局的样本进行归一化，这样相当于‘增大‘了批量大小，这样训练效果不再受到使用 GPU 数量的影响。最近在图像分割、物体检测的论文中，使用跨卡BN也会显著地提高实验效果，所以跨卡 BN 已然成为竞赛刷分、发论文的必备神器。

但是为什么跨卡同步BN没有成为主流？

1）因为没有sync的需求，因为对于大多数vision问题，单gpu上的mini-batch已经够大了，完全不会影响结果。

2）影响训练速度，BN layer通常是在网络结构里面广泛使用的，这样每次都同步一下GPUs，十分影响训练速度。

从使用的经验来看，如果多卡训练没开BN同步，那么所得的结果和使用单GPU训练得到的结果基本一致，但是训练速度会得到提升。

而如果开了BN同步，训练结果会有将近一个点的提升

当然如果多卡训，但是单张卡上的batchsize就很大了，这样是开BN同步就没有太大作用

开了BN之后会让训练速度变慢，大概是不开5秒，开了8秒的样子

多卡训练中的BN(BatchNorm)相关推荐

PyTorch 多机多卡训练：DDP 实战与技巧
作者丨996黄金一代@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/250471767 编辑丨极市平台零. 概览想要让你的PyTorch神经网络在多卡环境上跑得又 ...
PyTorch 多机多卡训练：分布式实战与技巧
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx DistributedDataParallel(DDP)是一个支持多机多卡.分布式训练的深度学 ...
caffe中的batchNorm层（caffe 中为什么bn层要和scale层一起使用）
caffe中的batchNorm层链接: http://blog.csdn.net/wfei101/article/details/78449680 caffe 中为什么bn层要和scale层一起使 ...
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.2)(代码示例)(BN同步主卡保存梯度累加多卡测试inference随机种子seed)
DDP的使用非常简单,因为它不需要修改你网络的配置.其精髓只有一句话 model = DistributedDataPrallel(model, device_ids=[local_rank], ou ...
Tensorflow训练和预测中的BN层的坑（转载）
以前使用Caffe的时候没注意这个,现在使用预训练模型来动手做时遇到了.在slim中的自带模型中inception, resnet, mobilenet等都自带BN层,这个坑在<实战Google ...
Tensorflow训练和预测中的BN层的坑（转）-训练和测试差异性巨大
以前使用Caffe的时候没注意这个,现在使用预训练模型来动手做时遇到了.在slim中的自带模型中inception, resnet, mobilenet等都自带BN层,这个坑在<实战Google ...
2 分 31 秒，腾讯云创造 128 卡训练 ImageNet 新记录
来源 | 腾讯云编辑 | 白峰转自 | 新智元 8月21日,腾讯云正式对外宣布成功创造了128卡训练ImageNet业界新记录,以2分31秒的成绩一举刷新了这个领域的世界记录. 刷新世界纪录:2分 ...
CNN和RNN中如何引入BatchNorm
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 Batch Normalization的基本思路和价值在之前一篇文章"Batch Norma ...
Pytorch 单机多卡训练DDP
多卡训练方式 1.DP--torch.nn.DataParallel 2.DDP--torch.nn.parallel.DistributedDataParallel 通俗一点讲就是用了4张卡训练,就 ...

多卡训练中的BN(BatchNorm)

现有框架BatchNorm的实现(DP,DDP)都是只考虑了single gpu。也就是说BN使用的均值和标准差是单个gpu算的，相当于缩小了batchsize。

多卡训练中的BN(BatchNorm)相关推荐

最新文章

热门文章