pytorch加载之前训练模型中的部分参数以及冻结部分参数（实测，自己实际项目代码中的）

我的需求是，由于我在不停的尝试各种模型，导致模型木块一直会变。如果每次重复重新开始训练要花费大把时间。

我之前运行的模型 ResNet -> 三个ResNet参数共享。

ResNet -> 中间模块 -> 结果

ResNet ->

现在我要改成 ResNet 1-> 三个ResNet不参数共享来重新训练，我想导入之前模型中间模块的参数，

ResNet 2-> 中间模块 -> 结果

ResNet 3->

并且冻结中间模块的参数使训练速度加快。

参考了两位大神的两篇博文：加载部分参数https://blog.csdn.net/weixin_41519463/article/details/101604662，冻结部分参数https://blog.csdn.net/jdzwanghao/article/details/83239111。

具体代码如下：

net = MY_Net( )
######导入部分参数model_dict = net.state_dict()for k, v in model_dict.items():print(k)pretrained_dict = torch.load(model_file1)#model_file1是之前模型的模型保存路径，这里只是加载参数而已for k, v in pretrained_dict.items():print(k)pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}model_dict.update(pretrained_dict)  # 用预训练模型参数更新new_model中的部分参数net.load_state_dict(model_dict)  # 将更新后的model_dict加载进new model中##### 冻结部分参数for param in net.parameters():param.requires_grad = False#设置所有参数不可导，下面选择设置可导的参数for param in net.ResNet1.parameters():param.requires_grad = Truefor param in net.ResNet2.parameters():param.requires_grad = Truefor param in net.ResNet3.parameters():param.requires_grad = Trueoptimizer = optim.SGD(filter(lambda p: p.requires_grad, net.parameters()), lr = 0.0001, momentum=0.90,weight_decay=0.0005)#关键是优化器中通filter来过滤掉那些不可导的参数

pytorch加载之前训练模型中的部分参数以及冻结部分参数（实测，自己实际项目代码中的）相关推荐

pytorch加载预训练模型遇到的问题:KeyError: ‘bn1.num_batches_tracked‘
问题最近在使用pytorch1.0加载resnet预训练模型时,遇到的一个问题,在此记录一下. KeyError: 'layer1.0.bn1.num_batches_tracked' 其实 ...
pytorch加载预训练模型_Pytorch-Transformers 1.0发布，支持六个预训练框架，含27个预训练模型...
AI 科技评论按:刚刚在Github上发布了开源 Pytorch-Transformers 1.0,该项目支持BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM等,并包含 ...
Pytorch 加载预训练模型参数时出现size mismatch错误
目录 1 不妨先研究一下' resnet18-5c106cde.pth'里面存了什么东西以及它的数据类型 (1_1)' resnet18-5c106cde.pth'的数据类型
pytorch：加载预训练模型(多卡加载单卡预训练模型，多GPU，单GPU）
在pytorch加载预训练模型时,可能遇到以下几种情况. 分为以下几种在pytorch加载预训练模型时,可能遇到以下几种情况. 1.多卡训练模型加载单卡预训练模型 2. 多卡训练模型加载多卡预训练模 ...
HuggingFace学习3：加载预训练模型完成机器翻译（中译英）任务
加载模型页面为:https://huggingface.co/liam168/trans-opus-mt-zh-en 文章目录整理文件跑通程序,测试预训练模型拆解Pipeline,逐步进行翻译任 ...
Pytorch加载torchvision从本地下载好的预训练模型的简单解决方案
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.喜 ...
Pytorch网络模型权重初始化、保存与加载模型、加载预训练模型、按需设置学习率
前言在我们对神经网络模型进行训练时,往往需要对模型进行初始化或者加载预训练模型.本文将对模型的权重初始化与加载预训练模型做一个学习记录,以便后续查询使用. 权重初始化常见的初始化方法 PyTorc ...
用pytorch加载训练模型
用pytorch加载.pth格式的训练模型在pytorch/vision/models网页上有很多现成的经典网络模型可以调用,其中包括alexnet.vgg.googlenet.resnet.inc ...
Pytorch加载模型只导入部分层权重，即跳过指定网络层的方法
需求 Pytorch加载模型时,只导入部分层权重,跳过部分指定网络层.(权重文件存储为dict形式) 方法一常见方法:加载权重时用if对网络层进行筛选 ''' # model为定义的网络结构: cl ...

pytorch加载之前训练模型中的部分参数以及冻结部分参数（实测，自己实际项目代码中的）

pytorch加载之前训练模型中的部分参数以及冻结部分参数（实测，自己实际项目代码中的）相关推荐

最新文章

热门文章