unhandled system error, NCCL version 2.7.8

在宿主机上运行基于 DDP 的 pytorch 训练程序没问题，

进入 docker 后运行，出现 "unhandled system error, NCCL version 2.7.8" 的错误。

解决方法：

在 python -m torch.distributed.launch --nproc_per_node=4 ...前加上 NCCL_DEBUG=INFO

可以看到：

s215:623:649 [3] include/shm.h:48 NCCL WARN Error while creating shared memory segment nccl-shm-send-404da1ec128dc62d-0-3-2 (size 4104)

进入 docker 时，带上 --ipc=host 即可。

unhandled system error, NCCL version 2.7.8相关推荐

[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x
[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x 文章目录 [ncclUnhandledCudaError] unh ...
RuntimeError: NCCL error in:torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version 踩坑
运行pytorch分布式任务时,可能在执行dist.barrier()这条代码时会触发NCCL错误:RuntimeError: NCCL error in: ../torch/lib/c10d/Pro ...
错误：”未能加载文件或程序集“System.Web.Mvc, Version=2.0.0.0” 解决方法
错误: 通过IIS发布网站,登录后弹出如下错误: Parser Error Message: 未能加载文件或程序集"System.Web.Mvc, Version=2.0.0.0, Cult ...
未能加载文件或程序集“System.Data.OracleClient, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e0
运行公司的一个程序时报以下错误,应该怎么解决?ORACLE32 位,系统64位,之前把oracle强制删除了,请问有什么办法解决吗? [2018-08-04 15:54:15] [ERROR] 环境部 ...
Dell安装驱动程序出现的错误(DupAPI::Execute): *** Shell Execute Error. System error text
在官网下的驱动却怎么也安装不上,一直提示 The update installer operation is unsuccessful 然后打开日志文件查看 ਍਍[04/10/19 10:12:11 ...
OTS parsing error: invalid version tag woff和ttf文件被Filter拦截
从服务器下载的字体文件放在本地,执行无法展示iconfont,浏览器控制台报出 Failed to decode downloaded font: http://127.0.0.1:8080/mhr/ ...
linux c编译错误 cmake_symlink_library: System Error: Operation not supported
在编译uchardet时遇到这个错误: cmake_symlink_library: System Error: Operation not supported 创建链接不成功,要确认当前帐户下是否有 ...
docker Cannot start container [8] System error: exec format error
docker Cannot start container [8] System error: exec format error 学习了:https://www.aliyun.com/jiaoch ...
Directory lookup for the file xxx.mdf failed with the operating system error 2
Directory lookup for the file "xxx.mdf" failed with the operating system error 2(系统找不到指定的文 ...

unhandled system error, NCCL version 2.7.8

unhandled system error, NCCL version 2.7.8相关推荐

最新文章

热门文章