pytorch载入预训练模型后，训练指定层

1、有了已经训练好的模型参数，对这个模型的某些层做了改变，如何利用这些训练好的模型参数继续训练：

pretrained_params = torch.load('Pretrained_Model'）
model = The_New_Model(xxx)
model.load_state_dict(pretrained_params.state_dict(), strict=False)

strict=False 使得预训练模型参数中和新模型对应上的参数会被载入，对应不上或没有的参数被抛弃。

2、如果载入的这些参数中，有些参数不要求被更新，即固定不变，不参与训练，需要手动设置这些参数的梯度属性为Fasle，并且在optimizer传参时筛选掉这些参数：

# 载入预训练模型参数后...
for name, value in model.named_parameters():if name 满足某些条件:value.requires_grad = False

# setup optimizer
params = filter(lambda p: p.requires_grad, model.parameters())
optimizer = torch.optim.Adam(params, lr=1e-4)

将满足条件的参数的 requires_grad 属性设置为False，同时 filter 函数将模型中属性 requires_grad = True 的参数帅选出来，传到优化器（以Adam为例）中，只有这些参数会被求导数和更新。

3、如果载入的这些参数中，所有参数都更新，但要求一些参数和另一些参数的更新速度（学习率learning rate）不一样，最好知道这些参数的名称都有什么：

# 载入预训练模型参数后...
for name, value in model.named_parameters():print(name)
# 或
print(model.state_dict().keys())

假设该模型中有encoder，viewer和decoder两部分，参数名称分别是：

'encoder.visual_emb.0.weight',
'encoder.visual_emb.0.bias',
'viewer.bd.Wsi',
'viewer.bd.bias',
'decoder.core.layer_0.weight_ih',
'decoder.core.layer_0.weight_hh',

假设要求encode、viewer的学习率为1e-6， decoder的学习率为1e-4，那么在将参数传入优化器时：

ignored_params = list(map(id, model.decoder.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params, model.parameters())
optimizer = torch.optim.Adam([{'params':base_params,'lr':1e-6},{'params':model.decoder.parameters()}],lr=1e-4, momentum=0.9)

代码的结果是除decoder参数的learning_rate=1e-4 外，其他参数的额learning_rate=1e-6。
在传入optimizer时，和一般的传参方法torch.optim.Adam(model.parameters(), lr=xxx) 不同，参数部分用了一个list， list的每个元素有params和lr两个键值。如果没有 lr则应用Adam的lr属性。Adam的属性除了lr，其他都是参数所共有的(比如momentum)。

参考：

pytorch官方文档
https://blog.csdn.net/u012759136/article/details/65634477

pytorch载入预训练模型后，训练指定层相关推荐

Pytorch提取预训练模型特定中间层的输出
如果是你自己构建的模型,那么可以再forward函数中,返回特定层的输出特征图. 下面是介绍针对预训练模型,获取指定层的输出的方法. 如果你只想得到模型最后全连接层之前的输出,那么只需要将最后一个全连 ...
学习笔记26-解决：载入预训练模型时Pytorch遇到权重不匹配的问题（附+修改后的预训练模型载入和冻结特征权重完整代码）
在pytorch微调mobilenetV3模型时遇到的问题 1.KeyError: 'features.4.block.2.fc1.weight' 这个是因为模型结构修改了,没有正确修改预训练权重,导 ...
Pytorch 加载部分预训练模型并冻结某些层
目录 1 pytorch的版本: 2 数据下载地址: 3 原始版本代码下载: 4 直接上代码: 1 pytorch的版本: 2 数据下载地址: <https://download.p ...
linux载入pytorch的预训练模型时遇到_pickle.UnpicklingError: unpickling stack underflow
linux试图载入pytorch的预训练模型resnet101时遇到如下报错: Traceback (most recent call last): File "train_baseline ...
Pytorch——BERT 预训练模型及文本分类（情感分类）
BERT 预训练模型及文本分类介绍如果你关注自然语言处理技术的发展,那你一定听说过 BERT,它的诞生对自然语言处理领域具有着里程碑式的意义.本次试验将介绍 BERT 的模型结构,以及将其应用于文 ...
CV之NS之VGG16：基于预训练模型VGG16训练COCO的train2014数据集实现训练《神奈川冲浪里》风格配置yml文件
CV之NS之VGG16:基于预训练模型VGG16训练COCO的train2014数据集实现训练<神奈川冲浪里>风格配置yml文件目录一.训练 1.<神奈川冲浪里>风格 2. ...
替换骨干网络之后使用预训练模型进行训练
前言最近看了几篇使用transformer的文章,于是想用其中的一个transformer模块来替换另一个方法的骨干网络(backbone),替换完之后跑起来感觉没有什么效果,想着可能是transf ...
PyTorch载入预训练权重方法和冻结权重方法
载入预训练权重 1. 直接载入预训练权重简单粗暴法: pretrain_weights_path = "./resnet50.pth" net.load_state_dict(t ...
Pytorch使用预训练模型进行图像分类
在本文中,我们将介绍一些使用预训练网络的实际例子,这些网络出现在TorchVision模块的图像分类中. Torchvision包包括流行的数据集,模型体系结构,和通用的图像转换为计算机视觉.基本上, ...

pytorch载入预训练模型后，训练指定层

pytorch载入预训练模型后，训练指定层相关推荐

最新文章

热门文章