项目场景：

分布式训练中遇到这个问题，

问题描述

大概是没有启动并行运算？？？（

解决方案：

（1）首先看一下服务器GPU相关信息进入pytorch终端（Terminal）输入代码查看

python
torch.cuda.is_available()#查看cuda是否可用；
torch.cuda.device_count()#查看gpu数量；
torch.cuda.get_device_name(0)#查看gpu名字，设备索引默认从0开始；
torch.cuda.current_device()#返回当前设备索引；

Ctrl+Z退出
（2)cd进入要运行文件的上层文件夹

 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 python -m torch.distributed.launch --nproc_per_node=6 #启动并行运算

加上要运行的文件以及相关配置

 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 python -m torch.distributed.launch --nproc_per_node=6  src_nq/create_examples.py --vocab_file ./bert-base-uncased-vocab.txt \--input_pattern "./natural_questions/v1.0/train/nq-train-*.jsonl.gz" \--output_dir ./natural_questions/nq_0.03/\--do_lower_case \--num_threads 24 --include_unknowns 0.03 --max_seq_length 512 --doc_stride 128

问题解决

RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8相关推荐

unhandled system error, NCCL version 2.7.8
在宿主机上运行基于 DDP 的 pytorch 训练程序没问题, 进入 docker 后运行,出现 "unhandled system error, NCCL version 2.7.8& ...
Python3+Selenium3+Pycharm自动化环境搭建（四）：运行unittest时报错，unhandled inspector error
在运行unittest的时候,出现了错误信息,仔细查看是unhandled inspector error,具体内容如下: 刚开始我还以为是浏览器版本和webdriver的版本没有对应上,但我明明一开 ...
linux执行mount命令报错：mount: RPC: Remote system error - Connection refused（NFS：nfs-kernel-server 挂载教程）
文章目录什么是NFS挂载目录? 第一次尝试(失败) 第二次尝试(成功) - (ubuntu上安装NFS,Ubuntn上默认没有安装) - (给ubuntu上需要被共享的文件夹赋予权限,保证使用者都能 ...
获取小程序模板库标题列表报错： {errcode:-1,errmsg:system error hint: [zttteq44664}
①. 问题描述今天在进行获取 "获取小程序模板库标题列表" 操作时,使用工具 Postman 总是报出如下的错误 {"errcode": -1,"e ...
log.error(“异常：“, e)；与log.error(e.getMessage())；区别
log.error("异常:", e);与log.error(e.getMessage());区别参考文章: (1)log.error("异常:", e);与 ...
mysql error 1_mysql 启动错误(InnoDB: Operating system error number 1
环境:mysq 5.6.35.centos 7.3 问题描述: 今天下午开发过来说开发库无法连接了,登录服务器后发现mysql进程down了启动mysql: /bin/sh /usr/local/m ...
mysql 2013 error: -handshake: reading initial communication packet‘, system error:60
2013 - Lost connection to server at 'handshake: reading initial communication packet', system error: ...
git提交代码时出现错误：error : unpack failed : error Missing commit XXX，
Git 提交出错 git提交代码时出现错误:error : unpack failed : error Missing commit 384ccb27185a68ec9c0d0ce948e7432d6 ...
The error may involve XXX(包)-Inline The error occurred while setting parameters
遇到这个问题,常见的有两种情况: 一.在mapper中的SQL语句写错了,这个是在写程序的时候经常会犯的错误,很无奈啊~~~ eg:我在写last_insert_id()得时候,写成了last_isn ...
2019-07-17_The error may involve XXX(包)-Inline The error occurred while setting parameters
插入MySQL数据库的时候出现这个问题,最后才发现是因为数据库的某个字段不能插入重复的数据遇到这个错误的意思是:不能插入重复的数据! 转载于:https://www.cnblogs.com/w ...

RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8

项目场景：

问题描述

解决方案：

RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8相关推荐

最新文章

热门文章