MindSpore单卡GPU训练竟然报NCCL的错

在训练MAE模型，GitHub上有有人实现好的代码https://github.com/yangyucheng000/mae，他是在Asecnd上多卡训练的，但是我只有单卡GPU，因此我把其中的代码都改成单卡GPU训练的模式了，在进行finetune的时候竟然报NCCL的错，但是在代码中我并没有配置分布式训练。请问这是怎么回事呢？应该怎么解决呢？是不是我在改单卡的时候漏掉了哪里呢，还是说我需要再配其他的东西？求指教！！！

解答：

根据报错信息，一定是脚本里面某个地方用到了通信，具体需要您再仔细检查一下您的运行脚本，如果确实找不到的话，您可以将对应修改后的脚本上传到gitee仓库并将仓库权限提交公开审核设置为公开后留言。

MindSpore单卡GPU训练竟然报NCCL的错相关推荐

pytorch-多卡GPU训练
一.cuda和cpu张量记录cpu张量.cuda张量.list和array之间的转换关系. import torch import numpy as np # int -> tensor -& ...
黑苹果cpu支持列表_单卡gpu直通，黑苹果，amd_cpu教程
本文github地址: Bebove/macos-kvmgithub.com 适用: amd cpu(intel 也行?) nvidia 显卡,单卡. 安装黑苹果,(qemu虚拟机),通过pcie硬 ...
使用GPU训练yolo_v2报错：RuntimeError: CUDA out of memory. Tried to allocate XXX MiB
报错内容: RuntimeError: CUDA out of memory. Tried to allocate 200.00 MiB (GPU 0; 8.00 GiB total capacity ...
CPM-2细节发布！10大技术打通大模型「任督二脉」，单卡单机跑「千亿模型」不再是梦...
智源导读:最近两年,预训练模型的参数量以每年 10 倍的速度迅猛增长,然而其计算效率的瓶颈也日渐显现. 例如以单块NVIDIA V100 GPU训练,GPT-1的计算时间是 3 天,到GPT-2 计算 ...
pytorch GPU分布式训练单机单卡、单机多卡
可以用"watch -n 0.1 nvidia-smi"来查看gpu状态,我用的是3块12G的GPU进行实验本实验将使用一个简单的瞎写的网络进行,网络训练一个分类任务,当然这个不 ...
设置GPU实现深度学习单卡、多卡训练
任务背景:在使用YOLOv5的过程中,使用DDP模式时,对其相关操作记录如下一.查看服务器显卡使用情况 nvidia-smi 怎么看呢?具体参数含义如下: GPU:GPU 编号: Name:GPU ...
单机单卡，单机多卡，多机多卡训练代码
单机多卡------>多机多卡:相当于把单进程的代码改成多进行的. 数据并行 PyTorch默认使用从0开始的GPU,且默认只使用0号GPU.如果要使用其他编号的GPU或者使用多块GPU,则要设 ...
深度估计自监督模型monodepth2在自己数据集的实战——单卡/多卡训练、推理、Onnx转换和量化指标评估
本文详细介绍monodepth2模型在自己数据集的实战方法,包括单卡/多卡训练.推理.Onnx转换和量化评估等,关于理论部分请参见另一篇博客:深度估计自监督模型monodepth2论文总结和源码分析 ...
收藏 | GPU多卡并行训练总结
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达仅作学术分享,不代表本公众号立场,侵权联系删除转载于:记忆的迷谷@ ...

MindSpore单卡GPU训练竟然报NCCL的错

MindSpore单卡GPU训练竟然报NCCL的错相关推荐

最新文章

热门文章