使用mindspore的ResNet101使用GPU进行训练时报错

multiprocessing.context.TimeoutError

RuntimeError: mindspore/ccsrc/backend/session/kernel_build_client.h:109 Response] Response is empty

【操作步骤&问题现象】

1、修改resnet101_imagenet2012_config.yaml中的训练集路径，更改类数量以适应新数据集

2、在models/official/cv/resnet/下使用命令python train.py进行训练

解答：

出现这个问题大概率是开了图算融合特性，然后AKG算子编译卡死超时导致。如果要进一步看相关问题，可能需要你修改一下网络脚本，设置一下svae_graphs=True，然后会在本地生成一个kenel_meta文件，里面有一些相关的INFO，发给我们才能定点分析。（当前这个log看不出来更具体的情况了。）

当然如果只是想跑通这个网络，倒是也可以尝试将train.py里的set_graph_kernel_context这个函数稍微改一下，其中enable_graph_kernel设成False，下一行再注释掉，再跑，看看是否能通。

使能图算融合特性只是对时间性能可能会有优势，关闭该特性，对精度收敛啥的无影响。

使用mindspore的ResNet101使用GPU进行训练时报错相关推荐

Yolov5训练时报错：UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the ind
Yolov5训练时报错:UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the ind ...
Ubuntu 16.04下Caffe-SSD的应用——常见训练时报错总结
前言在训练的过程中经常会碰到各种错误,关于环境的,关于样本都有,我这里整理了我训练用caffe ssd训练VGG网络模型时的报的一些错误. 错误一.报图像样本通道错误 1.1 opencv断言错误 ...
关于yolov5训练时报错cuda内存不足问题
RuntimeError: CUDA out of memory. Tried to allocate 4.08 GiB (GPU 0; 10.76 GiB total capacity; 414.9 ...
使用NasNet模型与keras做深度学习训练时报错
使用NasNet模型与keras做深度学习训练时采用以下代码一.代码片: inputs = Input((224, 224, 3)) base_model = NASNetMobile(includ ...
yolov5运行以及训练时报错的问题
当我运行时会报一些错误,首先采用下面两个链接的方式解决,亲测有效,这里进行一个汇总. 当遇到:AttributeError: Can't get attribute 'SPPF' on <mod ...
(已解决)多卡训练时报错RuntimeError: grad can be implicitly created only for scalar outputs
背景博主第一次使用多卡训练,在程序中添加了如下代码 # 包装为并行风格模型 os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID& ...
yolov5 训练时报错踩坑（不定时更新）
yolov5运行train.py 问题描述问题:TypeError: bad operand type for unary -: 'list' 解决方案: 将[384,384]列表改成单一数值即可, ...
YOLOv6训练时报错解决方法
报错1:找不到数据集解决方法: 是因为你yaml文件中数据集的路径不对,YOLOv6读取的数据集格式与YOLOv5不同将数据集放在主目录中,mydata是我的数据集 yaml文件报错2:'Tr ...
insightface 切换GPU训练报错解决
insightface代码: https://github.com/deepinsight/insightface 在pytorch训练时,先用gpu1训练,再用gpu2训练,加载gpu1的预训练时报 ...

使用mindspore的ResNet101使用GPU进行训练时报错

使用mindspore的ResNet101使用GPU进行训练时报错相关推荐

最新文章

热门文章