Piecewise classifier mappings:Learning fine-grained learners for novel categories with few examples

2024-06-01 13:05:15

目录

Learning strategy and notations

Model

特征表示

分类器映射

网络训练

few-shot细粒度分类（FSFG,few-shot fine-grained recognition）:用极少样本为新类别建立分类器。
piecewise mapping：示例到分类器映射策略，用BCNN特征以参数很少的方式学习判别式分类器。

Learning strategy and notations

元学习（meta-learning）框架为基础

分类器生成过程=映射函数（从少数带有类别标签的训练示例到其相应类别分类器

辅助训练集：

（示例图像，标签）

测试集：存在中没有的新类别。

元训练集（meta-training set）：从中随机采样，由示例集（每个类别含Ne示例图片）、查询集（每个类别含Nq查询图片）组成。

示例集查询集类别相同。

示例集被输入到要学习的映射函数M中，以生成类别分类器。【学习了一个自己的表示，类似proxy】

分类器应用于查询集以评估分类损失。

通过最小化分类损失来学习映射功能：

λ表示映射函数 M的参数， L 是损失函数。

Model

特征表示

bilinear CNN (BCNN) structure
nA、nB输出维度，L空间位置

位置向量做外积生成特征图

nB个nA维短向量

类似于注意力机制中的乘法特征交互，关注目标的复杂局部。

属于类别k的Ne个样本图像的表示

【根据样本求平均作为类的表示】

分类器映射

通过映射 M 计算每个类别的 D 维分类器

global mapping:线性/非线性全连接映射

很难在如此复杂的特征空间寻找一个决策边界
参数爆炸

piecewise mappings：分段映射

子向量表示目标（双线性特征）的一部分
每个子向量经过非线性MLP（多层感知机）映射到子分类器
将子分类器组合在一起以生成全局类别分类器

对全连接层分段，减少参数量，容易训练。

网络训练

查询样本x的类别标签y=c

预测分布：softmax【x和自己的表示内积更大】

损失函数：最小化负对数似然

从辅助训练集中采样得到示例集，学习得到分类器
从辅助训练集中采样得到查询集，最小化优化模型参数

【前向传播和反向传播使用的数据不同，但类别相同】

根据示例集前向传播得到Fk，代入查询集x计算loss反向传播。【元学习的设置】

测试：对测试集的每个类选择一个样本（五个样本），one-shot（five-shot），和示例集一样一次前向传播得到一个类别的分类器（类别中心）。在测试集里另外随机选20个样本用于评估性能。

查询样本与所有类别的分类器求内积，查询样本属于内积最大的分类器所代表的类别。

Piecewise classifier mappings:Learning fine-grained learners for novel categories with few examples相关推荐

旷视提双边分支网络BBN：攻坚长尾分布的现实世界任务 | CVPR 2020 Oral
作者 | 旷视研究院出品 | AI科技大本营(ID:rgznai100) 导读:本文是旷视 CVPR 2020 论文系列解读文章,也是 CVPR 2020 Oral展示论文之一,它揭示了再平衡方法解 ...
CVPR 2020 Oral | 旷视研究院提出双边分支网络BBN：攻坚长尾分布的现实世界任务...
IEEE 国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14 ...
CVPR2020 Oral | 旷视研究院提出双边分支网络BBN：攻坚长尾分布的现实世界任务
本文它揭示了再平衡方法解决长尾问题的本质及不足:虽然增强了分类器性能,却在一定程度上损害了模型的表征能力.针对其不足,本文提出了一种针对长尾问题的新型网络框架--双边分支网络(BBN),以兼顾表征学习 ...
【论文笔记】ECCV_2016_The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition
文章目录基础信息 Abstract 1 Introduction 2 Related Work 3 Noisy Fine-Grained Data 3.1 Categories 3.2 Images ...
Paper：《A Few Useful Things to Know About Machine Learning—关于机器学习的一些有用的知识》翻译与解读
Paper:<A Few Useful Things to Know About Machine Learning-关于机器学习的一些有用的知识>翻译与解读目录 <A Fe ...
transfer learning
Transfer learning 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练数据集.就跟其他知友回答的那样,考虑到大部分数据或任务是存在相关性的,所以通过transfer ...
论文阅读笔记之Replacing Mobile Camera ISP with a Single Deep Learning Model
这篇文章做了啥根据ccd或者cmos图像传感器获得的图像,要经过一系列的复杂的处理才能得到最终的图像,而且不同的cmos有不同的算法,作者这里的motivation是能不能有一个比较统一的框架来处理 ...
【论文翻译】Meta R-CNN : Towards General Solver for Instance-level Low-shot Learning
Meta R-CNN : Towards General Solver for Instance-level Low-shot Learning Meta R-CNN:面向实例级小样本学习的通用解算 ...
【论文笔记-NER综述】A Survey on Deep Learning for Named Entity Recognition
本笔记理出来综述中的点,并将大体的论文都列出,方便日后调研使用查找,详细可以看论文. 神经网络的解释: The forward pass com- putes a weighted sum of th ...

最新文章

热门文章