微调（linear probing和 full finetune）技巧

应用场景：图像分类（使用CIFAR10作为测试数据集，ResNet18作为Backbone网络）

数据预处理（resize_val = 224, n_holes = 1, length在原有的size=32时候为16）

# Image Preprocessing
normalize = transforms.Normalize(mean=[x / 255.0 for x in [125.3, 123.0, 113.9]],std = [x / 255.0 for x in [63.0, 62.1, 66.7]])train_transform = transforms.Compose([])
if args.resize_val != -1:train_transform.transforms.append(transforms.Resize((args.resize_val,args.resize_val)))train_transform.transforms.append(transforms.RandomCrop(args.resize_val, padding=4))
train_transform.transforms.append(transforms.RandomHorizontalFlip())
train_transform.transforms.append(transforms.ToTensor())
train_transform.transforms.append(normalize)
train_transform.transforms.append(Cutout(n_holes=args.n_holes, length=args.length))test_transform = transforms.Compose([transforms.Resize((args.resize_val,args.resize_val)),transforms.ToTensor(),normalize])

训练优化器和 lr decay方式（lr =0.01，wd = 5e-4）

criterion = nn.CrossEntropyLoss()
cnn_optimizer = torch.optim.SGD(cnn.parameters(), lr=args.learning_rate,momentum=0.9, nesterov=True, weight_decay=args.wd)scheduler = MultiStepLR(cnn_optimizer, milestones=[60, 120, 160], gamma=0.2)

（1）从头训练 (from scratch): 直接按照上面的代码进行训练即可

（2）finetune all （没有冻结任何层）

    cnn.load_state_dict(torch.load(path))inchannel = cnn.fc.in_featurescnn.fc = nn.Linear(inchannel, args.num_class)

注意：

a) 在load_state_dict时候，应该使用默认的 1000 类（因为我用的imagenet1k的预训练参数），加载完后才改变成指定的 args.num_class

b) path指的是预训练的参数的地址：可以使用torchvision上提供好的（为了方便我也粘贴一下）

Resnet18: https://download.pytorch.org/models/resnet18-f37072fd.pth

Resnet34: https://download.pytorch.org/models/resnet34-b627a593.pth

Resnet50: https://download.pytorch.org/models/resnet50-0676ba61.pth

(3) linear probing (冻结了浅层）

    cnn.load_state_dict(torch.load(path))inchannel = cnn.fc.in_featurescnn.fc = nn.Linear(inchannel, args.num_class)for k, v in cnn.named_parameters():if k.split('.')[0] != 'fc':v.requires_grad = False

但是linear层的微调性能远不如全部finetune，因为可变的层太少了，对于linear层而言，搞不定。

此外，需要注意的一点，我们若不加 .eval() 那么BN和Dropout是默认开的，训练时候如果浅层不参与训练但开着这些层，会让 fc 层更难。所以我们可以：

cnn.eval()
cnn.fc.train()

微调（linear probing和 full finetune）技巧相关推荐

【论文解读】(如何微调BERT？) How to Fine-Tune BERT for Text Classification?
文章目录论文信息 1. 论文内容 2. 论文结论 2.1 微调流程 2.2 微调策略(Fine-Tuning Strategies) 2.3 Further Pretrain 3. 论文实验介绍 3 ...
Caffe 模型微调的场景、问题、技巧以及解决方案
前言什么是模型的微调? 使用别人训练好的网络模型进行训练,前提是必须和别人用同一个网络,因为参数是根据网络而来的.当然最后一层是可以修改的,因为我们的数据可能并没有1000类,而只有几类.把最后 ...
深度学习 Fine-tune 技巧
深度学习中需要大量的数据和计算资源(乞丐版都需要12G显存的GPU - -)且需花费大量时间来训练模型,但在实际中难以满足这些需求,而使用迁移学习则能有效降低数据量.计算量和计算时间,并能定制在新场 ...
本科生晋升GM记录： Kaggle比赛进阶技巧分享
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 作者:Gary 知乎链接:https://zhuanlan.zhihu.com/p ...
finetune代码实战讲解（李沐）
这里要做的是热狗识别:即识别出是否是热狗,我们给了两个类别(正类:热狗,负类:香蕉) 备注:resnet18是 imagenet 数据集的预训练模型 finetune的全过程: import os i ...
字节约翰斯·霍普金斯上交提出iBOT框架，基于MIM进行自监督训练，在ImageNet-1K上达到86.3%的微调精度！...
关注公众号,发现CV技术之美 ▊ 写在前面语言Transformer的成功主要归功于masked language modeling(MLM) 的预训练任务,其中文本首先被标记为语义上有意义的片段. ...
本科生晋升GM记录 Kaggle比赛进阶技巧分享
图灵TOPIA 来源:知乎作者:@GaryLIU 图灵联邦编辑部前言本文作者@GaryLIU 从入坑kaggle到拿到GM仅用了一年多的时间,他表示自己的学习之路可以分成三个阶段,以下是他的经验 ...
老板让我用少量样本 finetune 模型，我还有救吗？急急急，在线等！
文 | ???????????????? 编 | 王苏今天介绍的是一篇 NAACL'21 新鲜出炉的工作!NAACL 上周四出的结果,这篇工作本周一上传 arxiv,周二被王苏小哥哥发现,周三拜读了 ...
优秀笔记课件——WORD使用技巧
第三章 OFFICE 使用技巧  一. WORD 使用技巧  二. EXCEL 使用技巧  三. POWERPOINT 使用技巧 2 2 一.WORD 使用技巧 1 . Word 中实现自动翻页 ...

微调（linear probing和 full finetune）技巧

微调（linear probing和 full finetune）技巧相关推荐

最新文章

热门文章