从 DP 到 DDP 到 apex
1、从 DataParallel 到 DistributedDataParallel,最大的改变是启动方式:
从 python a.py 到 python -m torch.distributed.launch --nproc_per_node=4 --use_env a.py
--nproc_per_node 表示单机使用4块GPU, --use_env 表示不给 a.py 增加参数--local_rank。
torch.distributed.launch 的作用就是用多进程的方式启动 a.py,并增加一些环境变量,比如 ‘RANK’, 'LOCAL_RANK', 'WORLD_SIZE' 等。
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP#假设2台机器,每台4卡
_rank = int(os.environ['RANK']) #全局索引,从0到7
_gpu_id = int(os.environ['LOCAL_RANK']) #2台机器都是从0到3
_gpu_num = int(os.environ['WORLD_SIZE']) #总进程数=2*4print('pid=%d, _rank=%d'%(os.getpid(), _rank))
print('pid=%d, _gpu_id=%d'%(os.getpid(), _gpu_id))
print('pid=%d, _gpu_num=%d'%(os.getpid(), _gpu_num))torch.cuda.set_device(_gpu_id)
dist.init_process_group(backend='nccl')
dist.barrier()...#train_dataset 是一个 Dataset 的实例
train_sampler = torch.utils.data.distributed.DistributedSampler(train_dataset)
data_train = DataLoader(train_dataset, batch_size=int(batchsize/_gpu_num),shuffle=False, #True, 在 DistributedSampler 里做过shuffle了num_workers=4,sampler=self.train_sampler)#model = DataParallel(model)
model = DDP(model, device_ids=[_gpu_id], output_device=_gpu_id)...#在每个epoch训练的开始
train_sampler.set_epoch(epoch_idx)#在所有写日志和保存模型的地方加上对 _rank 的判断
if (_rank == 0):writelog or savemodel
2、从DistributedDataParallel 到 apex,最大的坑是 GCC 需要大于 4.9。(apex 已放弃,pytorch1.6自带的amp好用)
from apex import amp
#from torch.nn.parallel import DistributedDataParallel as DDP
from apex.parallel import DistributedDataParallel as DDP...#2个模型,1个优化器, 先做initialize,再做DDP
list_model = [model_a, model_b]
list_model, optimizer = amp.initialize(list_model, optimizer, opt_level="O1")
model_a = DDP(model_a)
model_b = DDP(model_b)...#loss.backward()
with amp.scale_loss(loss, optimizer) as scaled_loss:scaled_loss.backward()
参考:
1、[原创][深度][PyTorch] DDP系列第一篇:入门教程
2、scaled_loss.backward Segmentation fault (core dumped)
3、Pytorch中的Distributed Data Parallel与混合精度训练(Apex)
从 DP 到 DDP 到 apex相关推荐
- Pytorch 并行训练(DP, DDP)的原理和应用
Pytorch 并行训练(DP, DDP)的原理和应用 1. 前言 并行训练可以分为数据并行和模型并行. 模型并行 模型并行主要应用于模型相比显存来说更大,一块 device 无法加载的场景,通过把模 ...
- PyTorch 深度剖析:并行训练的 DP 和 DDP 分别在什么情况下使用及实例
↑ 点击蓝字 关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读 这篇文章从应用的角度出发,介绍 DP 和 DDP 分别在什么情况下使用,以及各自的使用方法.以及 DDP 的保存和加载模型的策略, ...
- Pytorch 分布式训练中DP和DDP的原理和用法
一.聊聊DP和DDP pytorch中的有两种分布式训练方式 一种是常用的DataParallel(DP) 另外一种是DistributedDataParallel(DDP) 两者都可以用来实现数据并 ...
- 动手实践看懂深度学习的DP和DDP
摘要 为了尽可能加快训练,我们会使用两种GPU并行手段,DP和DDP,但是DP其实只会开一个进程去管理,计算资源分配不均,DDP上我们倾向于一张卡开一个进程,使得我们的计算资源能够最大化的利用.本次的 ...
- pytorch的DP和DDP
参考 https://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/# https://zhuanlan.zhihu.com/p ...
- 负责任的回应:开发Greenbelt网站
As of December 2013, we handed over the Greenbelt website to Greenbelt Festivals and are not now inv ...
- pytorch 指定卡1_[原创][深度][PyTorch] DDP系列第一篇:入门教程
引言 DistributedDataParallel(DDP)是一个支持多机多卡.分布式训练的深度学习工程方法.PyTorch现已原生支持DDP,可以直接通过torch.distributed使用,超 ...
- ResNet实战:单机多卡DDP方式、混合精度训练
文章目录 摘要 apex DP和DDP Parameter Server架构(PS模式) ring-all-reduce模式 DDP的基本用法 (代码编写流程) Mixup 项目结构 计算mean和s ...
- PyTorch 分布式训练DDP 单机多卡快速上手
PyTorch 分布式训练DDP 单机多卡快速上手 本文旨在帮助新人快速上手最有效的 PyTorch 单机多卡训练,对于 PyTorch 分布式训练的理论介绍.多方案对比,本文不做详细介绍,有兴趣的读 ...
最新文章
- applicationContext.xml 的位置问题
- caffe源码分析:blob.hpp分析
- (十四)Java springcloud B2B2C o2o多用户商城 springcloud架构- Spring Cloud构建分布式电子商务平台...
- 四、PHP基础——会话技术Cookie 和 Session
- linux pcie命令,setpci命令_Linux setpci 命令用法详解:查询和配置PCI设备的使用工具...
- 使用.NET Core MVC Web应用程序中的ResponseCache属性处理缓存
- [Python Nonebot]QQ自动聊天机器人
- Robust Transmit Beamforming for Secure ISAC
- 适合计算机课堂玩的游戏,学校上信息课经常玩的几个游戏,你玩过几个?(一)...
- im即时通讯开发:万人群聊技术方案实践
- unity 图片遮罩有锯齿_如何消除UGUI Mask遮罩的锯齿
- python3 QT5 端口转发工具 增加最小化隐藏 托盘显示 点击托盘恢复及托盘菜单
- 揣着一口袋的阳光满载而归--爱摸鱼的美工(13)
- NLP学习——Word2vec
- OpenSBI ELF rela.dyn和.dynsym动态链接过程
- Linux环境下多线程C/C++程序的内存问题诊断
- push代码报错:fatal: unable to access ‘https://github.com/JL-20191210/guigu.git/‘: OpenSSL SSL_read: Conn
- 已知日程表软件用户手册
- 2021-12-28 关于直流空开(MCB)的思考
- 贴吧顶贴软件《今日/更新》