1 motivation

FEAT(CVPR2020)中提出了embedding adaptation这个概念，具体来说就是对support set的样本利用transformer等方式实现信息聚合，获取这些样本更好的特征。不足的地方是没有利用query信息。

2 contribution

1）为了改进基于模型的嵌入自适应，本文建议通过self attention对支持集和查询集的实例的嵌入/表示进行微调，以获取更利于分类的特征。

2）实验效果非常好，比最先进的方法高出3%∼5%。

3 Instance embedding adaptation

为了共同适应（co-adapt）支持和查询的嵌入 $x_s$ 和 $x_q$ ，本文引入一个额外的步骤，使用self-attention对得到的初始嵌入进一步适应。基本思想是通过只考虑区分性特征相似性，可以在 $x_s$ 和 $x_q$ 中找到需要关注的相关特征，从而重新加权特征。

3.1 Self attention

Attention function:

Multi-head Attention Block (MAB)：

其中，γ 是ReLU函数。

3.2 Cross-adaptation with MAB

考虑从Support-query和query-support两个层面对实例的表示进行微调。具体地说，为了改进support特征，即query到support，使用query和support特征之间的注意分数来聚合初始support特征，生成与初始特征相关的支持原型，反之亦然，用于support到query，以生成改进初始查询特征的query特征。

对支持集和查询集的嵌入进行联合适应的过程：

MAB的具体实现：

根据适应后的支持集嵌入计算原型：

根据上面得到的原型和适应后的查询集嵌入对query进行分类：

4 实验部分

相比于FEAT效果提升很明显：

5 总结

本文主要是参考FEAT的方法进行了进一步的扩展，利用了query的信息，并且对query同样进行了信息聚合来微调表示，取得的效果非常好。而且，在元学习任务中分成了支持集和查询集两个部分，对query的利用应该是合理的，这和用testing的数据不太一样。

元学习论文阅读 | CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification, CVPR2022相关推荐

异常检测论文阅读《PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation》
<PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation> CVPR2021 论文背景: 近年 ...
深度学习论文阅读（四）：GoogLeNet《Going Deeper with Convolutions》
深度学习论文阅读(四):GoogLeNet<Going Deeper with Convolutions> Abstract 摘要 1.Introduction 引言 2. Related ...
深度学习论文阅读目标检测篇（四）中英文对照版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
深度学习论文阅读目标检测篇(四)中英文对照版:YOLOv1< You Only Look Once: Unified, Real-Time Object Detection> Abstra ...
深度学习论文阅读图像分类篇（三）：VGGNet《Very Deep Convolutional Networks for Large-Scale Image Recognition》
深度学习论文阅读图像分类篇(三):VGGNet<Very Deep Convolutional Networks for Large-Scale Image Recognition> Ab ...
深度学习论文阅读图像分类篇（五）：ResNet《Deep Residual Learning for Image Recognition》
深度学习论文阅读图像分类篇(五):ResNet<Deep Residual Learning for Image Recognition> Abstract 摘要 1. Introduct ...
【联邦学习论文阅读】FedProx（2018）Federated Optimization in Heterogeneous Networks
[FedProx]论文链接:https://arxiv.org/abs/1812.06127 摘要联邦学习面临两个关键挑战:系统异构性:统计异构性.本文的FedProx可以解决联邦学习的异构性,可看 ...
【独家】深度学习论文阅读路线图
如果你是深度学习领域的一名新手,可能会遇到的第一个问题是"应该从哪篇论文开始读起呢?" 这里给出了深度学习论文阅读路线图! 路线图按照下面四个准则构建而成: 从提纲到细节从经典到 ...
Zero-shot Learning零样本学习论文阅读（五）——DeViSE:A Deep Visual-Semantic Embedding Model
Zero-shot Learning零样本学习论文阅读(五)--DeViSE:A Deep Visual-Semantic Embedding Model 背景 Skip-gram 算法算法思路 ...
联邦学习论文阅读三：ChainFL
联邦学习论文阅读三:ChainFL Secure and Efficient Federated Learning Through Layering and Sharding Blockchain 论 ...

元学习论文阅读 | CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification, CVPR2022