Abstract

本文介绍了小样本分类和分割(FS-CS)的综合任务，即when the target classes are given with a few examples，对查询图像中的目标对象进行分类和分割。该任务结合了两个传统的小样本分类和分割任务。FS-CS将它们概括为具有任意图像对的更真实的事件，其中每个目标类可能出现在查询中，也可能不存在。为了解决这一任务，我们提出了FS-CS的综合小样本学习(iFSL)框架，该框架训练学习者构建用于多标签分类和像素级分割的类级前景地图。我们还开发了一个有效的iFSL模型，注意挤压网络(ASNet)，它利用深度的语义相关性和全局的自注意来生成可靠的前景地图。

一、Problem formulation

Integrative few-shot classification and segmentation (FS-CS)：给定一个查询图像和一些针对目标类的支持图像，我们的目标是识别每个类的存在，并从查询中预测其前景掩模。

多标签背景感知的预测。传统的少镜头分类(FS-C)[18,69,78]公式将查询只分配给目标类中的一个类，而忽略了查询不属于任何目标类或多个目标类的可能性。FS-CS解决了这一限制，并将FS-C推广为具有背景类的多标签分类。一个多标签少镜头分类学习器fC比较查询和支持图像之间的语义相似性，并估计类的出现：，其中ˆyC是一个N维多维向量，每个条目表示相应的目标类的出现。请注意，如果没有检测到任何目标类，则查询将被分类为背景类。由于对查询的宽松约束性，即查询并不总是只属于一个类，因此FS-CS比FS-C更通用。

分类和分割的集成。FS-CS采用像素级空间推理方法，将多标签少镜头分类与语义分割相结合。传统的FS-S[48,54,65,67,80]假设查询类集与支持类集完全匹配，即C=C，FS-CS放宽了假设，这样查询类集可以是支持类集的子集，即C⊆C。在这个广义分割和分类设置中，一个整合的FS-CS学习者f估计了分类的出现和它们的语义分割映射：。这种结合和广义的公式给了两个少射击学习任务高度的自由度，这在文献中一直缺失；综合少镜头学习者可以在宽松的约束条件下同时预测多标签背景感知类的出现和分割映射。

二、Integrative Few-Shot Learning (iFSL)

为了解决FS-CS问题，我们提出了综合小样本学习(iFSL)。iFSL框架被设计来联合解决使用类标签或分割监督的少镜头分类和少镜头分割。综合的少镜头学习器f将查询图像x和支持集S作为输入，然后生成类级的前景映射作为输出。类级前景映射Y集由N个类的Y(n)∈RH×W组成：

θ is parameters to be meta-learned.
iFSL在前景映射y集合的顶部推断类的出现和分割掩码。对于类的出现，通过最大池化和阈值化来预测multi-hot vector ˆy∈RN：

对于分割，从类前景图中导出分割概率张量YS∈RH×W×(N+1)。由于背景类不是作为单独的支持，我们在给定支持的背景下估计背景地图；我们将N个类的背景地图动态组合成一个情景背景地图。具体来说，我们通过平均非前景的概率图来计算情景背景图Ybg，然后将其与类级前景图连接起来，得到一个分割概率张量YS：

通过计算每个位置的最可能的类标签，得到最终的分割掩码：

学习目标。iFSL框架允许学习者使用类标签或分段注释对其进行训练。分类损失被表示为空间平均合并类分数与其地面真实类标签之间的平均二进制交叉熵：

分割损失表示为每个单独位置的类分布与其地面真实分割注释之间的平均交叉熵：

这两种损失有相似的分类目标，但对每幅图像还是每个像素的分类却不同。因此，其中任何一种都是根据给定的培训监督水平来选择的。

三、5. Model architecture

我们提出了一个有效的iFSL模型的注意压缩网络(ASNet)。ASNet的主要构建块是注意挤压层(AS层)，这是一个高阶的自注意层，它采用一个相关张量，并返回另一个层次的相关表示。ASNet将查询和支持图像特征金字塔之间的金字塔互相关张量作为输入，即超相关[45]。金字塔相关性被输入金字塔AS层，逐渐挤压支撑图像的空间维度，金字塔输出被合并到自下而上路径[35,36,45]的最终前景图。图2说明了ASNet的整个过程。n路输出图被并行计算并收集，以在等式中准备类级前景图（1）为iFSL。
Hypercorrelation construction.

Attentive squeeze layer (AS layer).
AS层通过分散的自注意将一个相关张量转换为另一个支持维度较小的相关张量。张量被重新塑造为一个矩阵，每个元素代表一个支撑模式。给定一个相关张量C在超相关金字塔，我们开始重塑相关张量块矩阵

我们称每个元素为支持相关张量。
让我们用Cs=Cblock(xq)表示任何查询位置xq上的支持相关张量，以表示符号简洁，因为所有位置共享以下计算。自注意计算首先将一个支持相关张量Cs嵌入到目标，键，值三联体：T，K，V，使用三个大于或等于1的卷积来控制输出大小。合成的目标和关键的相关表示，T和K，然后被用来计算一个注意上下文。注意上下文计算为以下矩阵乘法：

接下来，将注意上下文通过softmax进行归一化，使关键前景位置的投票总和为一个由支持掩码注释Ys：

参与的表示被输入到MLP层Wo，并添加到输入中。在输入和输出维度不匹配的情况下，输入可以选择输入到卷积层WI。添加之后是一个激活层φ（·），包括一组归一化[87]和一个ReLU激活[47]：

然后将输出输入到另一个MLP，以结束一个AS层的单元操作：

Multi-layer fusion. 金字塔相关表示通过级联以下三个步骤的成对操作，从最粗的层次合并到最好的层次：上采样、加法和非线性变换。

Class-wise foreground map computation. k-shot输出的前景激活图被平均，以产生每个类的掩模预测。

四、实验

【CVPR2022】【小样本分类和分割】Integrative Few-Shot Learning for Classification and Segmentation相关推荐

ICLR 2021 | 基于自监督学习的小样本分类，代码已开源
作者 | 张曼黎编辑 | 陈大鑫深度神经网络往往要求为每个新任务收集大量标记训练数据,实用性也因此受到限制.给定来自一组源任务的数据,有两种迁移学习方法可以克服这种限制:小样本学习 (FSL) 和 ...
【推荐】本周值得关注的将开源论文，包含分类、分割、人脸、目标检测、ReID等...
以下总结的是本周新出的作者声称"将开源"的论文,包含显著目标检测.遥感影像分类.人脸识别.基于视频的人员重识别.跨分辨率人员重识别.医学图像分割.transformer 在视频目标 ...
Few-Shot Classification of Aerial Scene Images via Meta-Learning(基于元学习的航拍场景图像小样本分类)
Abstract: 基于卷积神经网络(CNN)的方法近年来在航空场景分类领域占据主导地位.虽然取得了显著的成功,但基于cnn的方法存在过多的参数,并依赖于大量的训练数据.在本工作中,我们将小样本学习引 ...
清华大学提出点云Transformer！在3D点云分类、分割上表现优秀，核心代码已开源！...
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货转载自:量子位当Transformer遇上3D点云,效果会怎么样? 一个是当下最热门的模型(N ...
pytorch 三维点分类_三维点云分类与分割-PointNet
PointNet是对点云数据直接进行学习的开山之作, 这里结合PointNet-Pytorch代码,对PointNet网络结构与其思想进行阐述和分析. 点云数据的特性: 点云数据不同于图像数据,他有三 ...
总奖池2.5万美元，Kaggle 新赛，单细胞分类与分割
●赛题背景● 人是由数万亿细胞组成,即使是基因相同的双胞胎,细胞也存在差异.而蛋白质位置的不同就会引起这种细胞的异质性. 蛋白质在几乎所有的细胞过程中都扮演着重要的角色.通常情况下,许多不同的蛋白质聚 ...
东南大学提出条件自监督小样本学习方法，显著提升小样本分类准确率
©作者 | 安悦瑄单位 | 东南大学PALM实验室研究方向 | 小样本学习.自监督学习写在篇首如何从有限的样本中学习可迁移的特征表示是小样本学习(Few-Shot Learning)的一个关键 ...
基于深度学习的小样本分类识别方案总结
文章目录 1. 方案一 1.1 算法方案解析 1.1.1 赛题理解 1.1.2 模型选择:尽量使用与数据匹配的SOTA模型 1.1.3 TIM模型介绍 1.1.4 TIM模型-训练 1.1.5 TIM ...
net slim 分割_如何用TensorFlow和TF-Slim实现图像标注、分类与分割
原标题:如何用TensorFlow和TF-Slim实现图像标注.分类与分割图像即可获取. 笔者将和大家分享一个结合了TensorFlow和slim库的小应用,来实现图像分类.图像标注以及图像分割的任 ...

【CVPR2022】【小样本分类和分割】Integrative Few-Shot Learning for Classification and Segmentation

文章目录