PyTorch 1.0 中文文档：CUDA 语义

译者：片刻

torch.cuda 用于设置和运行 CUDA 操作。它会跟踪当前选定的GPU，并且默认情况下会在该设备上创建您分配的所有 CUDA tensors。可以使用 torch.cuda.device 上下文管理器更改所选设备。

但是，一旦分配了 tensor，就可以对其进行操作而不管所选择的设备如何，结果将始终与 tensor 放在同一设备上。

默认情况下不允许跨 GPU 操作，除了 copy_() 具有类似复制功能的其他方法，例如 to() 和 cuda()。除非您启用点对点内存访问，否则任何尝试在不同设备上传播的 tensor 上启动操作都会引发错误。

下面我们用一个小例子来展示:

cuda = torch.device('cuda')     # Default CUDA device
cuda0 = torch.device('cuda:0')
cuda2 = torch.device('cuda:2')  # GPU 2 (these are 0-indexed)x = torch.tensor([1., 2.], device=cuda0)
# x.device is device(type='cuda', index=0)
y = torch.tensor([1., 2.]).cuda()
# y.device is device(type='cuda', index=0)with torch.cuda.device(1):# allocates a tensor on GPU 1a = torch.tensor([1., 2.], device=cuda)# transfers a tensor from CPU to GPU 1b = torch.tensor([1., 2.]).cuda()# a.device and b.device are device(type='cuda', index=1)# You can also use ``Tensor.to`` to transfer a tensor:b2 = torch.tensor([1., 2.]).to(device=cuda)# b.device and b2.device are device(type='cuda', index=1)c = a + b# c.device is device(type='cuda', index=1)

阅读全文／改进本文

PyTorch 1.0 中文文档：CUDA 语义相关推荐

PyTorch 1.0 中文文档正式接受校对 | ApacheCN
参与方式:https://github.com/apachecn/pytorch-doc-zh/blob/master/CONTRIBUTING.md 整体进度:https://github.com/ ...
PyTorch 1.0 中文文档：torch.utils.bottleneck
译者: belonHan torch.utils.bottleneck是调试瓶颈bottleneck时首先用到的工具.它总结了python分析工具与PyTorch自动梯度分析工具在脚本运行中情况. ...
PyTorch 1.0 中文文档：广播语义
译者:冯宝宝许许多多的PyTorch操作都支持NumPy Broadcasting Semantics. 简而言之,如果PyTorch操作支持广播,那么它的Tensor参数可以自动扩展为相同的类型大 ...
PyTorch 1.0 中文文档：序列化的相关语义
译者:yuange250 最佳方案保存模型的推荐方法 Pytorch主要有两种方法可用于序列化和保存一个模型. 第一种只存取模型的参数(更为推荐): 保存参数: torch.save(the_mod ...
PyTorch 1.0 中文文档：torch.cuda
译者:bdqfork 这个包添加了对CUDA张量类型的支持,它实现了与CPU张量同样的功能,但是它使用GPU进计算. 它是懒加载的,所以你可以随时导入它,并使用 is_available() 来决定是 ...
PyTorch 1.0 中文文档：torch.onnx
译者:guobaoyo 示例:从Pytorch到Caffe2的端对端AlexNet模型这里是一个简单的脚本程序,它将一个在 torchvision 中已经定义的预训练 AlexNet 模型导出到 O ...
PyTorch 1.0 中文文档：常见问题解答
译者:冯宝宝我的模型报告"cuda runtime error(2): out of memory" 正如错误消息所示,您的GPU显存已耗尽.由于经常在PyTorch中处理大量数 ...
PyTorch 1.0 中文文档：Windows FAQ
译者:冯宝宝从源码中构建包含可选组件 Windows PyTorch有两个受支持的组件:MKL和MAGMA. 以下是使用它们构建的步骤. REM Make sure you have 7z and ...
PyTorch 1.0 中文文档：Tensor（张量）的属性
译者:阿远每个 torch.Tensor 对象都有以下几个属性: torch.dtype, torch.device, 和 torch.layout. torch.dtype class torch ...

PyTorch 1.0 中文文档：CUDA 语义

PyTorch 1.0 中文文档：CUDA 语义相关推荐

最新文章

热门文章