Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution

2024-05-09 06:06:42

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution

code:https://github.com/AnanyaKumar/transfer_learning
paper:https://arxiv.org/abs/2202.10054

摘要

将预训练模型转移到下游任务通常使用微调和线性探测（只更新head的最后一个线性层）两种方法。
微调可以提高同分布内的准确性，然而当预训练特征分布偏移较大时，在分布外数据中微调的效果比线性探测更差。
本文证明了使用固定或随机head初始化，微调的OOD误差很高，因为微调也会改变网络的其余部分，扭曲预训练的特征。本文的分析为先进行线性探测后完全微调的两部策略，能结合微调和线性探测的优点。

介绍

预训练模型能提高从头训练的准确性，但是对训练过程中看不见的数据分布进行测试也十分重要。在使用预训练模型后，两种流行的迁移方法是微调和线性探测。在ID中微调精度更高，在OOD中线性探测精度更高
给定一个特征提取器，添加一个随机初始化的head将特征映射到输出，（a）微调所有模型参数（b）线性探测，冻结特征提取器仅训练头部。（c）表明，微调会使预训练参数失真，导致较差的OOD精度，但是线性探测可以解决这一问题，本文提出的LP-FT策略可以获得更好的ID和OOD精度。

设置

给定一些分布中采样的训练样本，对分布中的性能进行评估，在新分布中提取测试样本评估分类器分布外性能

微调会扭曲预训练特征

to be continued…

Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution相关推荐

FINE-TUNING DISTORTS PRETRAINED FEATURES AND UNDERPERFORMS OUT-OF-DISTRIBUTION
将预先训练的模型转移到下游任务时,有两种常用的方法是微调(更新所有模型参数)和线性探测(更新最后一个线性层)(tuning the head but freezing lower layers) fi ...
计算机视觉之迁移学习中的微调(fine tuning)
现在的数据集越来越大,都是大模型的训练,参数都早已超过亿级,面对如此大的训练集,绝大部分用户的硬件配置达不到,那有没有一种方法让这些训练好的大型数据集的参数,迁移到自己的一个目标训练数据集当中呢?比如 ...
pytorch深度学习-微调（fine tuning）
微调(fine tuning) 首先举一个例子,假设我们想从图像中识别出不同种类的椅子,然后将购买链接推荐给用户.一种可能的方法是先找出100种常见的椅子,为每种椅子拍摄1,000张不同角度的图像,然 ...
如何fine tuning
先看一个示例 keras入门 -在预训练好网络模型上进行fine-tune https://blog.csdn.net/hnu2012/article/details/72179437 我们的方法是这 ...
Bert模型 fine tuning 代码run_squad.py学习
文章目录关于run_squad.py 分模块学习 SquadExample InputFeatures create_model model_fn_builder input_fn_builder ...
pretraining+fine tuning
few shotlearning简单实现方法:在大规模数据做预训练模型,然后在小规模suport set上做fine tuning.方法简单准确率高. 基础数学知识: cos函数可以判断两个向量的相似 ...
异常检测论文阅读《PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation》
<PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation> CVPR2021 论文背景: 近年 ...
《预训练周刊》第38期： Transformer、BERT结构优化
No.38 智源社区预训练组预训练研究观点资源活动关于周刊本期周刊,我们选择了12篇预训练相关的论文,涉及句子表示.变换器结构优化.数据增强.网络结构优化.动态神经网络.模型压缩. ...
标记偏见_如何（巧妙地）扭曲视觉效果以支持您的偏见叙事
标记偏见 Data is important - it is the logical justification for world-changing decisions. Unfortunately ...

最新文章

热门文章