论文精读《Prototypical Networks for Few-shot Learning》

论文链接：https://arxiv.org/abs/1703.05175

时间：NIPS2016

最近在读小样本方向的相关论文，想和大家分享一下解决小样本方法之“原型网络”。

背景介绍：

当数据较少时，分类算法在拟合过程中产生过拟合现象，导致分类结构与实际结果存在较大的误差。为了避免出现过拟合现象，作者提出了基于度量学习的元学习---原型网络

例子引入：

对于分类任务，倘若现在有一个包含四个分类的支持集S，其中包含猫咪、小狗、老虎、兔子的图像。还需要一个查询集Q

每个图像通过一个嵌入函数f(x)将图像信息嵌入到一个度量空间中，对图像的信息进行编码。得到每个图像的编码后,对每个类别的所有样本进行均值操作，得到该类别的均值Ck。从查询集Q中选择一张图片x，测量x与C之间的距离，距离越近，就将x归为到哪一个类别。

通过以上的例子了解了原型网络的思想，简单概括为：将支持集的样本通过嵌入函数嵌入，对每个分类下的样本取均值得到该类别的原型 $c_k$ ,测量查询集中的样本与原型 $c_k$ 之间的距离，距离越近就将其归为哪一类。

对于zero-shot Learning而言，每个类别都带有元数据，该元数据包含对该类别的高级描述。zero-shot则是将每个类别的元数据 $v_k$ 通过嵌入函数嵌入到共享空间后，将该元数据 $v_k$ 作为类别的原型 $c_k=g\nu (v_k)$ 。

原理：

1.计算每个类别的原型 $c_k$

其中,嵌入函数 $f_\phi : R^D \rightarrow R^M$ ， $S_k$ 表示每个类别的样本数

2.通过利用欧几里得计算查询集中的样本与原型之间的距离后，并对其进行归一化操作，计算样本x属于某个类别的概率 $p_\phi \left ( y=k|x \right )$ ,这里通过softmax获得分类概率分布计算：

3. 目标损失函数 $J\left ( \phi \right )$ ：

$J(\phi)=-logP_\phi (y=k|x)$

通过梯度下降法使目标损失函数最小化，使其收敛后学习到一个好的 $\phi$ 值。训练结束后映射函数能够将同一类样本映射到很近的距离。

本文的测试场景伪代码如下：

实验结果：

1.Omniglot数据集的few shot Learning

Omniglot数据集参考 (三)Omniglot Dataset介绍_恒友成的博客-CSDN博客_omniglot数据集

上图：展示了在Omniglot数据集上对原型网络与其他的baseline、匹配网络的微调版本和非微调版本的匹配网络对比模型的分类精度。由以上数据显示，原型网络代表最先进的技术

2.miniImageNet数据集的few shot Learning

上图展示了基于欧几里得距离的原型网络、基于余弦距离的匹配网络和Baseline以及元学习LSTM在5-way下的分类精度，说明基于欧几里得距离的原型网络的分类精度高于其他方法

上图展示：对于基于余弦距离和欧几里得距离的网络在5-way和20-way的训练在1-shot和5-shot镜头下的精度。左图，当原型网络和匹配网络在1-shot的镜头下是等同的。右图，随着类别（n-way）的增加，20-way比5-way获得更高的精度，提高分类难度，使模型更好的泛化，使模型在嵌入空间中做出更细粒度的决策。与此同时，欧几里得距离提升了余弦距离的性能。在原型网络中这种差异表现更明显。

3.zero-shot使用原型网络也表现出好的效果

结论：

该文章展示了如何选择合适的距离度量以及如何修改episodic来提高性能，将原型网络应用到zero-shot学习中，在CUB-200取得了很好的效果。

论文精读《Prototypical Networks for Few-shot Learning》相关推荐

论文精读《OFT: Orthographic Feature Transform for Monocular 3D Object Detection》
OFT: Orthographic Feature Transform for Monocular 3D Object Detection 文章目录 OFT: Orthographic Feature ...
【论文翻译】Orthographic Feature Transform for Monocular 3D Object Detection
标题:<Orthographic Feature Transform for Monocular 3D Object Detection> 作者:Thomas Roddick, Alex ...
【论文翻译】FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection
文章目录 PaperInfo Abstract 1 Introduction 2 Related Work 2D Object Detection Monocular 3D Object Detect ...
论文阅读笔记：(2021.06, cvpr) Monocular 3D Object Detection: An Extrinsic Parameter Free Approach
这是一篇发表在了cvpr 2021上,能够在线估计外参的单目3D目标检测算法,借鉴了visual odometry和style transfer的方法,效果好, 速度快(~30ms), 意料之外,情理 ...
论文精读《CaDNN: Categorical Depth Distribution Network for Monocular 3D Object Detection》
CaDNN: Categorical Depth Distribution Network for Monocular 3D Object Detection 文章目录 CaDNN: Categori ...
论文阅读 [TPAMI-2022] Disentangling Monocular 3D Object Detection: From Single to Multi-Class Recognitio
论文阅读 [TPAMI-2022] Disentangling Monocular 3D Object Detection: From Single to Multi-Class Recognitio ...
Delving into Localization Errors for Monocular 3D Object Detection 论文学习
论文地址:Delving into Localization Errors for Monocular 3D Object Detection Github地址:Delving into Locali ...
MONODISTILL: LEARNING SPATIAL FEATURES FOR MONOCULAR 3D OBJECT DETECTION
Paper name MONODISTILL: LEARNING SPATIAL FEATURES FOR MONOCULAR 3D OBJECT DETECTION Paper Reading No ...
【论文阅读】Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
最近在看3d目标检测的文章,感觉看完东西还是要记一下自己的想法,尤其是有思考的文章. 论文题目:Point-GNN: Graph Neural Network for 3D Object Detect ...
复现 MonoEF：Monocular 3D Object Detection: An Extrinsic Parameter Free Approach
复现 MonoEF:Monocular 3D Object Detection: An Extrinsic Parameter Free Approach 时间:2022年7月13日代码连接: ht ...

论文精读《Prototypical Networks for Few-shot Learning》

论文精读《Prototypical Networks for Few-shot Learning》相关推荐

最新文章

热门文章