pytorch DistributedDataParallel提示未参与loss计算的变量错误

错误提示：

RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates th
at your module has parameters that were not used in producing loss. You can enable unused parameter detection by (1) passin
g the keyword argument `find_unused_parameters=True` to `torch.nn.parallel.DistributedDataParallel`; (2) making sure all `f
orward` function outputs participate in calculating loss. If you already have done the above two steps, then the distribute
d data parallel module wasn't able to locate the output tensors in the return value of your module's `forward` function. Pl
ease include the loss function and the structure of the return value of `forward` of your module when reporting this issue
(e.g. list, dict, iterable).

解决方法：

forward不要return任何不计算loss的变量！

比如

model = nn.parallel.DistributedDataParallel(model, device_ids=[config.args.local_rank],output_device=config.args.local_rank,broadcast_buffers=True)

y_pred, y_tgt=model(x)

loss = cross_entropy_loss(y_pred)

其中y_tgt就是一个未参与loss计算的变量，就不要输出出来！！！不然find_unused_parameters=True都救不了。

https://github.com/pytorch/pytorch/issues/22436

pytorch DistributedDataParallel提示未参与loss计算的变量错误相关推荐

asp.net采用OLEDB方式导入Excel数据时提示:未在本地计算机上注册Microsoft.Jet.OLEDB.4.0 提供程序...
笔者在项目中做做了一个从Excel表格中导入数据的模块.大体上asp.net项目中导入Excel大体分成三类: 1)采用c#内置方案System.Data.OleDb(限制较小, 通用) 2)采用Ex ...
从Excel中导入数据时，提示“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序”的解决办法...
注意,64位系统,用64位的补丁文件; https://www.cnblogs.com/A2008A/articles/2438962.html 操作系统:使用的是64位的Windows Server ...
MS SQL 导入导出提示未在本地计算机上注册“Microsoft.ACE.Oledb.12.0”提供程序。(System.Data)...
把SQL08换成SQL2012,首次尝试导入数据,提示: 需要下载安装:Microsoft Office Access Database Engine 2007 http://download.mic ...
MFC提示未在此计算机上注册ActiveX控件“{648A5600-2C6E-101B-82B6-000000000014}“完美解决
下载一个MSCOMM32.OCX放到命令提示符指定路径下下载链接:https://download.csdn.net/download/weixin_44322778/14026202 在命令行(注 ...
解决未找到命令，环境变量错误
遇到环境变量问题: 系统:ubuntu /usr/bin/dir 由于/bin:/usr/bin 不在PATH 环境变量中,故无法找到该命令. dir:未找到命令判断问题可能是环境变量发生错误使用 ...
未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0
从Excel中导入数据时,提示"未在本地计算机上注册"Microsoft.ACE.OLEDB.12.0"提供程序"的解决办法操作系统:使用的是64位的Wind ...
IIS未在本地计算机上注册“Microsoft.Jet.OLEDB.4.0”提供程序
win10 64位调试程序,出现这样的错误提示:未在本地计算机上注册 Microsoft.Jet.OLEDB.4.0 提供程序解决方法如下: 方法一:"设置应用程序池默认属性"/ ...
网上邻居访问提示未授予用户在此计算机上的请求登录类型的解决
(1)总是显示错误提示"未授权用户在此计算机上的的请求登陆类型" (登录者win2000\winxp\win2003) 错误提示"没有访问资源的权限"(登录者w ...
CAJ未授权用户在此计算机,笔记本提示未授予用户在此计算机上的请求登陆类型怎么办...
在笔记本电脑中,不少用户都遇到这样的问题,系统重装后,在其他电脑上用GUEST账户也无法访问自己共享的文件夹了,系统提示未授予用户在此计算机上的请求登陆类型,而且系统中的GUEST账户是启用状态的.那 ...

pytorch DistributedDataParallel提示未参与loss计算的变量错误

pytorch DistributedDataParallel提示未参与loss计算的变量错误相关推荐

最新文章

热门文章