PyTorch 1.0 中文官方教程：使用PyTorch编写分布式应用程序

译者：firdameng

作者：Soumith Chintala

在这个简短的教程中，我们将讨论PyTorch的分布式软件包。我们将看到如何设置分布式设置，使用不同的通信策略，并查看包的内部部分。

开始

PyTorch中包含的分布式软件包（即torch.distributed）使研究人员和从业人员能够轻松地跨进程和计算机集群并行化他们的计算。为此，它利用消息传递语义，允许每个进程将数据传递给任何其他进程。与多处理（torch.multiprocessing）包相反，进程可以使用不同的通信后端，并且不限于在同一台机器上执行。

开始我们需要能够同时运行多个进程。如果您有权访问计算群集，则应使用本地sysadmin进行检查，或使用您喜欢的协调工具。（例如，pdsh，clustershell或其他）为了本教程的目的，我们将使用单个机器并使用以下模板建立多个进程。

"""run.py:"""
#!/usr/bin/env python
import os
import torch
import torch.distributed as dist
from torch.multiprocessing import Processdef run(rank, size):""" Distributed function to be implemented later. """passdef init_processes(rank, size, fn, backend='tcp'):""" Initialize the distributed environment. """os.environ['MASTER_ADDR'] = '127.0.0.1'os.environ['MASTER_PORT'] = '29500'dist.init_process_group(backend, rank=rank, world_size=size)fn(rank, size)if __name__ == "__main__":size = 2processes = []for rank in range(size):

阅读全文／改进本文

PyTorch 1.0 中文官方教程：使用PyTorch编写分布式应用程序相关推荐

PyTorch 1.0 中文官方教程：PyTorch 介绍
译者:YAOKE7 Torch张量库介绍深度学习的所有计算都是在张量上进行的,其中张量是一个可以被超过二维索引的矩阵的一般表示形式.稍后我们将详细讨论这意味着什么.首先,我们先来看一下我们可以用张量 ...
PyTorch 1.0 中文官方教程：使用 Amazon AWS 进行分布式训练
译者:yportne13 作者: Nathan Inkawhich 编辑: Teng Li 在这篇教程中我们会展示如何使用 Amazon AWS 的两个多路GPU节点来设置,编写和运行 PyTorch ...
PyTorch 1.0 中文官方教程：使用ONNX将模型从PyTorch传输到Caffe2和移动端
译者:冯宝宝在本教程中,我们将介绍如何使用ONNX将PyTorch中定义的模型转换为ONNX格式,然后将其加载到Caffe2中.一旦进入Caffe2,我们就可以运行模型来仔细检查它是否正确导出,然后 ...
PyTorch 1.0 中文官方教程：用例子学习 PyTorch
译者:bat67 最新版会在译者仓库首先同步. 作者:Justin Johnson 这个教程通过自洽的示例介绍了PyTorch的基本概念. PyTorch主要是提供了两个核心的功能特性: 一个类似于n ...
PyTorch 1.0 中文官方教程：torch.nn 到底是什么？
译者:lhc741 作者:Jeremy Howard,fast.ai.感谢Rachel Thomas和Francisco Ingham的帮助和支持. 我们推荐使用notebook来运行这个教程,而不是 ...
PyTorch 1.0 中文官方教程：在 C++ 中加载 PYTORCH 模型
译者:talengu PyTorch的主要接口为Python.虽然Python有动态编程和易于迭代的优势,但在很多情况下,正是Python的这些属性会带来不利.我们经常遇到的生产环境,要满足低延迟和严 ...
PyTorch 1.0 中文官方教程：可选：数据并行处理
译者:bat67 最新版会在译者仓库首先同步. 在这个教程里,我们将学习如何使用数据并行(DataParallel)来使用多GPU. PyTorch非常容易的就可以使用GPU,可以用如下方式把一个模型 ...
PyTorch 1.0 中文官方教程：使用 PyTorch C++ 前端
译者:solerji PyTorch C++ 前端是PyTorch机器学习框架的一个纯C++接口.PyTorch的主接口是Python,Python API位于一个基础的C++代码库之上,提供了基本 ...
PyTorch 1.0 中文官方教程：ONNX 现场演示教程
译者:冯宝宝本教程将向您展示如何使用ONNX将已从PyTorch导出的神经模型传输模型转换为Apple CoreML格式.这将允许您在Apple设备上轻松运行深度学习模型,在这种情况下,可以从摄像机 ...

PyTorch 1.0 中文官方教程：使用PyTorch编写分布式应用程序

开始

PyTorch 1.0 中文官方教程：使用PyTorch编写分布式应用程序相关推荐

最新文章

热门文章