Abstract

少样本分类具有挑战性，因为训练集的数据分布可能与测试集大不相同，因为它们的类不相交。这种分布变化通常会导致泛化能力差。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形平滑度是半监督学习和转导学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为无监督的非参数正则化器，用于小样本分类中的流形平滑。嵌入传播利用基于相似图的神经网络提取特征之间的插值。我们凭经验表明嵌入传播会产生更平滑的嵌入流形。我们还表明，将嵌入传播应用于转导分类器在 miniImagenet、tieredImagenet、Imagenet-FS 和 CUB 中实现了新的最先进的结果。此外，我们表明嵌入传播在多个半监督学习场景中始终将模型的准确性提高了 16%。所提出的嵌入传播操作可以很容易地作为非参数层集成到神经网络中。

代码：

GitHub - ElementAI/embedding-propagation: Codebase for Embedding Propagation: Smoother Manifold for Few-Shot Classificationhttps://github.com/ElementAI/embedding-propagation

Contributions

以无监督的方式对流形进行正则化。

利用嵌入插值来捕获更高阶的特征交互。

为直推式和半监督学习设置实现最先进的少样本分类结果。

Method

1、嵌入传播

接下来我们计算邻接矩阵的拉普拉斯算子，

最后，使用标签传播公式，我们得到传播矩阵P为，

其中 α ∈ R 是比例因子，I 是单位矩阵。然后，嵌入可通过如下获得，

2、推理阶段

给定一个情节，我们通过提取输入图像的特征，在这些特征上应用嵌入传播，然后应用标签传播来执行推理。更正式地，这是如下执行的。

3、训练步骤

EPNet 分两个阶段进行训练：

首先，使用用于小样本分类的通用预训练程序 [41] 在 Db 上对模型进行训练，以学习一般特征表示。

其次，使用情节对模型进行微调，以便学习泛化到新类别。eposides来自同一数据集 Db。

在这两个阶段，EPNet 使用相同的特征提取器

【嵌入传播】Embedding Propagation: Smoother Manifold for Few-Shot Classification相关推荐

Embedding Propagation: Smoother Manifold for Few-Shot Classification ECCV 2020
论文题目 Embedding Propagation: Smoother Manifold for Few-Shot Classification ECCV 2020 1分钟思维导图(来源) Abst ...
传播时延(propagation delay)与发送时延(transmission delay)
原文: http://wzw19191.blog.sohu.com/135110823.html 传播时延(propagation delay)这个概念,是指电磁信号或者光信号在传输介质中传输的时延, ...
创建一列矩阵数字一样吗_吴恩达深度学习笔记(122) | NLP | 嵌入矩阵Embedding Matrix...
嵌入矩阵(Embedding Matrix) 接下来我们要将学习词嵌入这一问题具体化,当你应用算法来学习词嵌入时,实际上是学习一个嵌入矩阵,我们来看一下这是什么意思. 和之前一样,假设我们的词汇表含有 ...
【Spring源码】Spring Transactional事务：传播机制(Propagation) 介绍和源码剖析
[Spring源码]Spring Transactional事务:传播机制(Propagation) 源码剖析关键词 AMethod调用BMethod,转载BMethod的角度来考虑:站在被调用者的 ...
CLR 4.0 有哪些新东西? What's new in CLR 4.0--类型嵌入 Type embedding
前言 Foreword 自从2005年CLR 2.0发布之后, Microsoft有几年没有更新CLR了. 现在新的版本CLR 4.0即将发布. 本人看了几个英文博文. 综合起来, 摘录其要点. 用一 ...
网络传播时延(propagation delay)与传输时延(transmission delay)
传播时延(propagation delay) 数据(更确切地说是光电信号,因为数据在传输的时候,是隐藏在光电信号)从网络一端经过介质传播到另一端的时间. 决定因素这主要取决于光电信号在介质中传播的 ...
什么是词嵌入| Word Embedding
本文参考:词嵌入维基百科解释 In natural language processing (NLP), word embedding is a term used for the represen ...
中文短文本分类实例十四-LEAM（Joint Embedding of Words and Labels for Text Classification）
一.概述 LEAM(Joint Embedding of Words and Labels for Text Classification),是Guoyin Wang等提出的一种文本分类新方法,看论文 ...
词嵌入 word embedding
原文链接:https://blog.csdn.net/ch1209498273/article/details/78323478 词嵌入(word embedding)是一种词的类型表示,具有相似意义 ...

【嵌入传播】Embedding Propagation: Smoother Manifold for Few-Shot Classification