pytorch如何freeze模型参数

在做迁移学习或者自监督学习时，一般先预训练一个模型，再将该模型参数作为目标任务模型的初始化参数，或者直接freeze预训练模型，不再更新其参数。

今天记录下如何pytorch freeze模型参数

我是参考知乎一个文章，总结的很完整，我直接拿过来用了，原文出处为

https: // www.zhihu.com / question / 311095447 / answer / 589307812

from collections.abc import Iterabledef set_freeze_by_names(model, layer_names, freeze=True):if not isinstance(layer_names, Iterable):layer_names = [layer_names]for name, child in model.named_children():if name not in layer_names:continuefor param in child.parameters():#print(param.name)param.requires_grad = not freezedef freeze_by_names(model, layer_names):set_freeze_by_names(model, layer_names, True)def unfreeze_by_names(model, layer_names):set_freeze_by_names(model, layer_names, False)def set_freeze_by_idxs(model, idxs, freeze=True):if not isinstance(idxs, Iterable):idxs = [idxs]num_child = len(list(model.children()))idxs = tuple(map(lambda idx: num_child + idx if idx < 0 else idx, idxs))for idx, child in enumerate(model.children()):if idx not in idxs:continuefor param in child.parameters():param.requires_grad = not freezedef freeze_by_idxs(model, idxs):set_freeze_by_idxs(model, idxs, True)def unfreeze_by_idxs(model, idxs):set_freeze_by_idxs(model, idxs, False)

pytorch如何freeze模型参数相关推荐

pytorch中获取模型参数
原文链接:pytorch中获取模型参数:state_dict和parameters两个方法的差异比较_造未来-CSDN博客一.本文的模型案例代码如下: import torch import to ...
pytorch 一些关于模型参数冻结的问题
1.lambda表达式,又称匿名函数作用:函数速写语法:lambda arg : expression,解释:冒号前是参数,冒号后是返回值. 例子: >>x=range(10) > ...
pytorch怎么设置模型参数初始值_CSGO：想知道职业选手的参数怎么设置？这张地图轻松帮你一键搞定...
在职业比赛当中,参数往往也是一个非常重要的设定.很多职业比赛中每个选手的持枪视角画面中心,还有各种快捷键的安排,都是完全不一样的.基本上是怎么舒服怎么来,这些设置绝大部分情况下都要根据个人的习惯去进行 ...
angularjs中state的参数4_一文梳理pytorch保存和重载模型参数攻略
训练过程中保存模型参数,就不怕断电了--沃资基·索德在训练完成之前,我们需要每隔一段时间保存模型当前参数值,一方面可以防止断电重跑,另一方面可以观察不同迭代次数模型的表现:在训练完成以后,我们需要保 ...
Pytorch模型迁移和迁移学习,导入部分模型参数
Pytorch模型迁移和迁移学习目录 Pytorch模型迁移和迁移学习 1. 利用resnet18做迁移学习 2. 修改网络名称并迁移学习 3.去除原模型的某些模块 1. 利用resnet18做迁移 ...
[pytorch、学习] - 4.2 模型参数的访问、初始化和共享
参考 4.2 模型参数的访问.初始化和共享在3.3节(线性回归的简洁实现)中,我们通过init模块来初始化模型的参数.我们也介绍了访问模型参数的简单方法.本节将深入讲解如何访问和初始化模型参数,以及 ...
python保存模型与参数_基于pytorch的保存和加载模型参数的方法
当我们花费大量的精力训练完网络,下次预测数据时不想再(有时也不必再)训练一次时,这时候torch.save(),torch.load()就要登场了. 保存和加载模型参数有两种方式: 方式一: torc ...
PyTorch实现AlexNet模型及参数详解
文章目录一.卷积池化层原理二.全连接层原理三.模型参数详解注:AlexNet论文错误点 1.卷积池化层1 (1)卷积运算 (2)分组 (3)激活函数层 (4)池化层 (5)归一化处理 (6)参 ...
Pytorch 如何优化/调整模型参数
Pytorch 如何自动优化/调整模型超参文章目录 Pytorch 如何自动优化/调整模型超参背景优化模型参数贝叶斯优化深度学习框架下的参数优化平台安装使用参考参考背景对于优化 ...

pytorch如何freeze模型参数

pytorch如何freeze模型参数相关推荐

最新文章

热门文章