Pytorch并行处理机制

本文属转载，原文地址：https://www.jianshu.com/p/9e36e5e36638?utm_source=oschina-app

Pytorch 的多 GPU 处理接口是 torch.nn.DataParallel(module, device_ids)，其中 module 参数是所要执行的模型，而 device_ids 则是指定并行的 GPU id 列表。

而其并行处理机制是，首先将模型加载到主 GPU 上，然后再将模型复制到各个指定的从 GPU 中，然后将输入数据按 batch 维度进行划分，具体来说就是每个 GPU 分配到的数据 batch 数量是总输入数据的 batch 除以指定 GPU 个数。每个 GPU 将针对各自的输入数据独立进行 forward 计算，最后将各个 GPU 的 loss 进行求和，再用反向传播更新单个 GPU 上的模型参数，再将更新后的模型参数复制到剩余指定的 GPU 中，这样就完成了一次迭代计算。所以该接口还要求输入数据的 batch 数量要不小于所指定的 GPU 数量。

这里有两点需要注意：

主 GPU 默认情况下是 0 号 GPU，也可以通过 torch.cuda.set_device(id) 来手动更改默认 GPU。
提供的多 GPU 并行列表中需要包含有主 GPU。

------------------------END-------------------------------

Pytorch并行处理机制相关推荐

Pytorch 多 GPU 并行处理机制
Pytorch 的多 GPU 处理接口是 torch.nn.DataParallel(module, device_ids),其中 module 参数是所要执行的模型,而 device_ids 则是指 ...
【收藏】万字综述，核心开发者全面解读PyTorch内部机制
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:Edward Z.Yang,Pytorch核心开发者斯坦福大学博 ...
综述｜核心开发者全面解读Pytorch内部机制
↑ 点击蓝字关注视学算法作者丨Edward Z. Yang 来源丨机器之心编辑丨极市平台极市导读 Edward Z. Yang 是PyTorch开源项目的核心开发者之一.在PyTorch纽约聚 ...
全面解读PyTorch内部机制
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|深度学习这件小事斯坦福大学博士生与 Facebook ...
万字综述，核心开发者全面解读PyTorch内部机制
选自ezyang博客作者:Edward Z. Yang 机器之心编译参与:panda 斯坦福大学博士生与 Facebook 人工智能研究所研究工程师 Edward Z. Yang 是 PyTorc ...
一文搞懂 PyTorch 内部机制
文 | ArchWalker 译者序:这篇博文是一篇非常新的介绍PyTorch内部机制的文章,作者Edward Z Yang来自于Stanford大学,是PyTorch的核心开发者之一.文章中介绍了如 ...
pytorch并行处理详解（多GPU，环境变量）
目录数据并行方法一:环境变量 + device + to(device) 第一步,指定*备选*的GPU 直接终端中设定: python代码中设定: 第二步,创建设备(device) 第三步,将da ...
pytorch hook机制
pytorch_hook机制文章目录 pytorch_hook机制前言一.hook简介二.Tensor的hook机制三.基于Module的hook机制 register_forward_ho ...
x265笔记_3_并行处理机制
文章目录 HEVC中的并行处理技术功能并行和数据并行 HEVC解码端的并行处理框架 HEVC中编码单元数据之间的依赖关系 HEVC编解码的并行策略 Tile级别的并行策略 CTB级别的并行策略/波前 ...
想读读PyTorch底层代码？这份内核机制简介送给你
学习 PyTorch 比较简单,但你能学习 PyTorch 内部机制吗?最近,有 14 年 ML 经验的大神 Christian 介绍了 PyTorch 的内核机制.虽然在实际使用中并不需要这些知识, ...

Pytorch并行处理机制

Pytorch并行处理机制相关推荐

最新文章

热门文章