pytorch利用多个GPU并行计算多gpu
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Answer3664/article/details/98992409
参考:
https://pytorch.org/docs/stable/nn.html
https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/blitz_data_parallel_tutorial.md
一、 torch.nn.DataParallel
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
在正向传递中,模块在每个设备上复制,每个副本处理一部分输入。在向后传递期间,来自每个副本的渐变被加到原始模块中。
module:需要并行处理的模型
device_ids:并行处理的设备,默认使用所有的cuda
output_device:输出的位置,默认输出到cuda:0
例子:
>>> net = torch.nn.DataParallel(model, device_ids=[0, 1, 2])
>>> output = net(input_var) # input_var can be on any device, including CPU
torch.nn.DataParallel()返回一个新的模型,能够将输入数据自动分配到所使用的GPU上。所以输入数据的数量应该大于所使用的设备的数量。
二、一个完整例子
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader
# parameters and DataLoaders
input_size = 5
output_size = 2
batch_size = 30
data_size = 100
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
# 随机数据集
class RandomDataset(Dataset):
def __init__(self, size, length):
self.len = length
self.data = torch.randn(length, size)
def __getitem__(self, index):
return self.data[index]
def __len__(self):
return self.len
rand_loader = DataLoader(dataset=RandomDataset(input_size, data_size),
batch_size=batch_size, shuffle=True)
# 以简单模型为例,同样可以用于CNN, RNN 等复杂模型
class Model(nn.Module):
def __init__(self, input_size, output_size):
super(Model, self).__init__()
self.fc = nn.Linear(input_size, output_size)
def forward(self, input):
output = self.fc(input)
print('In model: input size', input.size(), 'output size:', output.size())
return output
# 实例
model = Model(input_size, output_size)
if torch.cuda.device_count() > 1:
print("Use", torch.cuda.device_count(), 'gpus')
model = nn.DataParallel(model)
model.to(device)
for data in rand_loader:
input = data.to(device)
output = model(input)
print('Outside: input size ', input.size(), 'output size: ', output.size())
输出:
In model: input size torch.Size([30, 5]) output size: torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output size: torch.Size([30, 2])
In model: input size torch.Size([30, 5]) output size: torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output size: torch.Size([30, 2])
In model: input size torch.Size([30, 5]) output size: torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output size: torch.Size([30, 2])
In model: input size torch.Size([10, 5]) output size: torch.Size([10, 2])
Outside: input size torch.Size([10, 5]) output size: torch.Size([10, 2])
若有2个GPU
Use 2 GPUs!
In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
若有3个GPU
Use 3 GPUs!
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
总结:
DataParallel自动的划分数据,并将作业发送到多个GPU上的多个模型。DataParallel会在每个模型完成作业后,收集与合并结果然后返回给你。
————————————————
版权声明:本文为CSDN博主「Answerlzd」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Answer3664/article/details/98992409
pytorch利用多个GPU并行计算多gpu相关推荐
- pytorch 多GPU并行计算
并行计算分为两类: https://baijiahao.baidu.com/s?id=1632494497660364845&wfr=spider&for=pc 模型并行:将模型的多个 ...
- PyTorch 笔记(19)— Tensor 用 GPU 加速
在 PyTorch 中以下数据结构分为 CPU 和 GPU 两个版本: Tensor nn.Module (包括常用的 layer .loss function ,以及容器 Sequential 等) ...
- matlab中如何调用gpu进行并行计算_极致安卓-Termux/Aid learning开启WebGL手机GPU并行计算...
在我的之前的测评中,我利用Termux和Aid Learning测试过基于C/C++的openmp并行程序,基于Java的并行程序,还有基于MPI以及基于Java的分布式集群并行.但是很遗憾,一直无法 ...
- GPU并行计算OpenCL(3)——图像处理
GPU并行计算OpenCL(3)--图像处理 我们这一章来实现一下利用OpenCL完成一个简单的高斯过滤器处理图像,在实现图像处理之前,我们需要了解OpenCL中的图像对象和采样器对象. 图像对象 图 ...
- GPU并行计算OpenCL(1)——helloworld
GPU并行计算OpenCL(1)--helloworld 随着现在GPU越来越强大,我们看论文的时候经常听到GPU加速的某某某算法,但是到底如何进行加速呢?CUDA可能大家更加熟悉(奈何电脑是MAC) ...
- 【STL切片算法文献笔记】基于GPU并行计算的3D打印切片算法
3D打印模型切片算法研究 文章目录 3D打印模型切片算法研究 论文介绍 前言 一.介绍 二.基于反向光线追踪的切片算法 1.反向光线追踪算法 2.快速获取切片轮廓 三.轮廓提取和NUBRS拟合优化 1 ...
- 科学计算 | Matlab 使用 GPU 并行计算
科学计算 | Matlab 使用 GPU 并行计算 本文转载自: https://sanwen8.cn/p/14bJc10.html Matlab下直接使用GPU并行计算(预告)<-- 这预 ...
- torch+cuda gpu并行计算
torch+ CUDA gpu 并行计算环境配置 需要注意 GPU算力值 cuda版本 显卡驱动版本 torch版本 之间的匹配 torch版本可以根据cuda版本来 先根据驱动版本和显卡算力(显卡算 ...
- pytorch快速上手(9)-----多GPU数据并行训练方法
文章目录 总览 1. 必知概念 代码示例 1. DP(torch.nn.DataParallel) 2. DDP(torch.nn.parallel.DistributedDataParallel) ...
最新文章
- linux重装alsa,centos 6 安装alsa
- leetcode算法题--Wiggle Subsequence
- html表单和输入方法,HTML 表单和输入
- 7.3图的遍历(广度优先)-理论
- [USACO08MAR]土地征用Land Acquisition
- c语言学习-打印杨辉三角形(要求打印出10行)
- SQL Server 函数的使用(字符串函数)
- [RK3399][Android7.1] 调试笔记 --- 查看开机上一次kernel log
- linux安全加固-三级等保(一)
- 信息安全技术(俞承杭)期末复习
- 记MySQL表空间碎片清理过程
- python使用126发邮件代码
- 新浪邮箱开通imap服务器,新浪帮助-常见问题
- 微信视频号下载短视频的步骤
- iphone通讯录备份怎么导出来
- ​Spring Cloud中统一异常处理是怎么做的?
- Windows Azure 虚拟网络中虚拟机的网络隔离选项
- vue 中父子组件传递通信(看图就会了,皮卡皮卡)
- 护照 MRZ码编码规则
- Linux虚拟主机与Windows虚拟主机之间有什么区别
热门文章
- mysql关于时间的面试题,mysql时间设置默认值MySQL常见面试题
- mount 挂载磁盘报错 mount: wrong fs type, bad option, bad superblock on
- etcd 笔记(03)— etcd 客户端使用(键值的增、删、改、查)、watch监测键、lease使用(创建租约、撤销租约、刷新租期、查询租期)
- pytorch lstm crf 代码理解 重点
- LED芯片,应用品,蓝宝石衬底,集成电路,UV
- Pass Infrastructure基础架构(下)
- Git基本命令和GitFlow工作流
- php.ini Xdebug配置
- net start mysql 提示:服务名无效 请键入NET HELPING 2185以获得更多的帮助的问题
- HarmonyOS UI开发 TableLayout(表格布局) 的使用