torch distributed 多GPU训练笔记

`DistributedDataParallel` (既可单机多卡又可多机多卡)

先奉上官网nn.DistributedDataParallel(model)链接

https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html#torch.nn.parallel.DistributedDataParallelpytorch.org

CLASS torch.nn.parallel.DistributedDataParallel(module, device_ids=None, output_device=None,
dim=0, broadcast_buffers=True, process_group=None, bucket_cap_mb=25,
find_unused_parameters=False, check_reduction=False)

参数定义

module是要放到多卡训练的模型;

device_ids数据类型是一个列表, 表示可用的gpu卡号;

output_devices数据类型也是列表,表示模型输出结果存放的卡号(如果不指定的话,默认放在0卡,这也是为什么多gpu训练并不是负载均衡的,一般0卡会占用的多,这里还涉及到一个小知识点——如果程序开始加os.environ["CUDA_VISIBLE_DEVICES"] = "2, 3", 那么0卡(逻辑卡号)指的是2卡(物理卡号))。

dim

torch distributed 多GPU训练笔记相关推荐

笔记：caffe安装编译，并用ssd gpu训练自己的数据集
caffe ssd GPU训练自己的数据集一.caffe环境搭建二.数据集三.训练和测试一.caffe环境搭建环境搭建过程网上有很多教程,可能要踩些坑吧,正常,这里不多赘述,主要是我当时也没 ...
笔记：caffe ssd gpu训练自己的数据集
caffe ssd GPU训练自己的数据集一.caffe环境搭建二.数据集三.训练和测试一.caffe环境搭建环境搭建过程网上有很多教程,可能要踩些坑吧,正常,这里不多赘述,主要是我当时也没 ...
Pytorch中多GPU训练指北
前言在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情.Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用P ...
insightface 切换GPU训练报错解决
insightface代码: https://github.com/deepinsight/insightface 在pytorch训练时,先用gpu1训练,再用gpu2训练,加载gpu1的预训练时报 ...
pytorch指定用多张显卡训练_Pytorch中多GPU训练指北
前言在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情.Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用P ...
pytorch使用GPU炼丹笔记
如何使用GPU训练/测试模型使用单GPU 设置设备将数据转换成CUDA张量将模型参数转换成CUDA张量使用指定GPU 1.使用CUDA_VISIBLE_DEVICES. 1.1 直接在终端或s ...
PyTorch 1.0 中文文档：torch.distributed
译者:univeryinli 后端 torch.distributed 支持三个后端,每个后端具有不同的功能.下表显示哪些功能可用于CPU/CUDA张量.仅当用于构建PyTorch的实现支持时,MPI ...
Pytorch DDP分布式数据合并通信 torch.distributed.all_gather()
文章目录 1. 官网介绍 2. all_gather()不进行梯度传播,用于模型test或eval状态 3. all_gather()需要进行梯度传播,用于模型train状态 4. 相关链接 1. 官 ...
pytorch 多GPU训练总结（DataParallel的使用）
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/weixin_40087578/arti ...

torch distributed 多GPU训练笔记

`DistributedDataParallel` (既可单机多卡又可多机多卡)

torch distributed 多GPU训练笔记相关推荐

最新文章

热门文章

torch distributed 多GPU训练笔记

DistributedDataParallel (既可单机多卡又可多机多卡)

torch distributed 多GPU训练笔记相关推荐

最新文章

热门文章

`DistributedDataParallel` (既可单机多卡又可多机多卡)