背景

Pytorch在加载模型参数的时候，有两种情况可能出现这种问题：

自己写的网络结构，例如：

代码

import models
arch = 'resnet50'
model = models.__dict__[arch]() # 根据resnet，自己写的的多任务网络结构
checkpoint = torch.load(ckptFile)model.load_state_dict(checkpoint['state_dict'])
model = torch.nn.DataParallel(model).cuda()

按照官方示例代码

import torch
from torchvision import models
model = models.resnet50(pretrained=False) # 使用官方结构和预训练权重
ckptFile = '../resnet50-19c8e357.pth'
ckpt = torch.load(ckptFile)model = torch.nn.DataParallel(model)
model.load_state_dict(ckpt)

报错

相应的报错也分为两种情况：

第一种情况报错：

Traceback (most recent call last):File "/home/user1/project1/utils/eval.py", line 193, in <module>test_models(r'/home/user1/models')File "/home/user1/project1/utils/eval.py", line 157, in test_modelsmodel.load_state_dict(checkpoint['state_dict'])File "/home/user1/miniconda3/lib/python3.7/site-packages/torch/nn/modules/module.py", line 777, in load_state_dictself.__class__.__name__, "\n\t".join(error_msgs)))
RuntimeError: Error(s) in loading state_dict for ResNet:Missing key(s) in state_dict: "conv1.weight", "bn1.weight", "bn1.bias", ...". Unexpected key(s) in state_dict: "module.conv1.weight", "module.bn1.weight", "module.bn1.bias"...

第二种情况报错：

Traceback (most recent call last):File "/home/data/PJS/test_bed/torch_ddp.py", line 238, in <module>model.load_state_dict(ckpt)File "/home/data/pkgs/miniconda3/envs/thpj/lib/python3.6/site-packages/torch/nn/modules/module.py", line 777, in load_state_dictself.__class__.__name__, "\n\t".join(error_msgs)))
RuntimeError: Error(s) in loading state_dict for DataParallel:Missing key(s) in state_dict: "module.conv1.weight", "module.bn1.weight", "module.bn1.bias", "module.bn1.running_mean", "module.bn1.running_var",Unexpected key(s) in state_dict: "conv1.weight", "bn1.running_mean", "bn1.running_var", "bn1.weight", "bn1.bias", "layer1.0.conv1.weight",

原因

跟代码执行顺序有关，模型加载的顺序和模型放到DDP / DP 的顺序。
第一种情况需要先把模型放到DDP / DP ，再加载;
第二种情况，需要先加载模型，然后再放到DDP / DP

解决

正确的顺序

import modelsarch = 'resnet50'
model = models.__dict__[arch]()
# 交换了顺序，先放到DP
model = torch.nn.DataParallel(model).cuda()checkpoint = torch.load(ckptFile)
model.load_state_dict(checkpoint['state_dict'])

第二种情况正确的写法：

import torch
from torchvision import models
model = models.resnet50(pretrained=False)
ckptFile = '/home/k/Downloads/Persepolis/Others/resnet50-19c8e357.pth'
ckpt = torch.load(ckptFile)
# 交换了顺序，先加载
model.load_state_dict(ckpt)
model = torch.nn.DataParallel(model)

pytorch加载模型报错Unexpected key(s) in state_dict: module.conv1.weight, module.bn1相关推荐

pytorch 加载模型报错：‘function‘ object has no attribute ‘copy‘
太粗心了,保存模型的时候写错了,写成了如下: torch.save(model,model_file) 而实际上应该是: torch.save(model.state_dict(),model_fil ...
Pytorch加载模型并进行图像分类预测
目录 1. 整体流程 1)实例化模型 2)加载模型 3)输入图像 4)输出分类结果 5)完整代码 2. 处理图像 1) How can i convert an RGB image into gray ...
Pytorch加载模型只导入部分层权重，即跳过指定网络层的方法
需求 Pytorch加载模型时,只导入部分层权重,跳过部分指定网络层.(权重文件存储为dict形式) 方法一常见方法:加载权重时用if对网络层进行筛选 ''' # model为定义的网络结构: cl ...
使用np.load()加载数据报错 Object arrays cannot be loaded when allow_pickle=False
使用np.load()加载数据报错 Object arrays cannot be loaded when allow_pickle=False https://blog.csdn.net/weix ...
webpack使用css-loader跟style-loader加载css报错
webpack使用css-loader跟style-loader加载css报错 webpack使用css-loader跟style-loader加载css报错 webpack.config.js 配置 ...
Office2016打开PPT出现加载项报错。
首先来看错误截图吧: 抱歉,由于某种原因,PowerPoint无法加载... 错误原因:原先安装过MathType然后有卸载了,但在卸载Mathtype时没有卸载干净.造成的结果是不管是否重装Offi ...
加载lua报错cannot load incompatible bytecode
问题描述加载lua报错cannot load incompatible bytecode 原因分析: 显而易见就是字面原因:无法加载不兼容的字节码 1.查看文件修改日期,日前开发对其做过升级. 2. ...
WKWebView 加载 http:// ** 报错WebPageProxy::didFailProvisionalLoadForFrame:
WKWebView 加载 http:// ** 报错WebPageProxy::didFailProvisionalLoadForFrame: 模拟器:iOS14 iPhone11 Pro Max 猜 ...
selenium加载cookie报错问题：selenium.common.exceptions.InvalidCookieDomainException: Message: invalid cooki
selenium加载cookie报错问题:selenium.common.exceptions.InvalidCookieDomainException: Message: invalid cooki ...

pytorch加载模型报错Unexpected key(s) in state_dict: module.conv1.weight, module.bn1

文章目录

背景

报错

原因

解决

pytorch加载模型报错Unexpected key(s) in state_dict: module.conv1.weight, module.bn1相关推荐

最新文章

热门文章