论文阅读笔记《Principal characteristic networks for few-shot learning》

小样本学习&元学习经典论文整理||持续更新

核心思想

本文提出一种基于度量学习的小样本分类算法（PC-Net），其中最重要的改进点是作者提出了本质特征（Principal Characteristic ）的概念。作者首先指出PN网络中使用取平均值的方法来计算原型（类别表征）的方式是不合适的，因为这样无法区分各个支持集样本的特征向量对于原型的贡献区别，这种做法其实是认为每个样本的贡献是均等的。作者认为在计算原型时应该为每个样本赋予相应的权重，再进行加权求和得到该类别对应的原型，这样得到的原型就是所谓的本质特征了。本文提出的网络处理过程如下图所示

首先，支持集图像和查询集图像都要经过一个特征提取网络（eResNet）进行特征提取，eResNet是在ResNet的基础上改进得到的简化网络，以更少的参数实现了更好的效果（具体结构下文介绍）。得到每个样本对应的特征向量fθ(xi)f_{\theta}(x_i)fθ(xi)后，就需要计算本质特征了，其中最重要的就是权重计算方式，本文先是计算了样本xix_ixi的特征向量fθ(xi)f_{\theta}(x_i)fθ(xi)与同个类别其他各个样本之间的差值绝对值之和（SAD）

然后对这个差值的负值做softmax处理转化为样本xix_ixi权重值，然后对各个样本的特征向量进行加权求和得到该类别对应的原型pkp_kpk

这种方法的动机是作者认为同一类别的样本在特征空间中应该是非常接近的，而偶尔有一两个特例远离其他样本，其不能反映该类别样本的本质特征，应该减少其对于原型计算的影响（降低权重），而对于距离较近的样本，应该增加其对于原型计算的影响（增加权重）。这样做的效果可以在图中看出，如果采用PN的平均值计算方法（上方的图），则各个类别的原型（星状图标）会受到个别特殊样本影响而偏离中心（如红色类别），而如果采用本文设计的方法（下方的图），计算得到的原型则更接近于大部分样本的中心位置。最后作者利用余弦距离度量查询集样本与各个类别原型之间的距离，并预测类别。

实现过程

网络结构

特征提取网络采用eResNet结构，其结构如下图所示

每个残差块由三个3 * 3的卷积组和一个2 * 2的最大池化层构成，整个网络由4个残差块和一个1 * 1的卷积层与平均池化层构成。与ResNet-18相比，主要是使用最大池化层取代了带有步长的卷积层，减少了网络的参数数量，其与ResNet-18和4-Conv网络的结构参数对比如下

损失函数

本文设计了一种混合损失函数，在交叉熵损失函数的基础上，增加了相关误差损失函数

式中当查询样本x^\hat{x}x^属于类别kkk，且标签yi=ky_i=kyi=k时，zi=1z_i=1zi=1，即损失函数的第二项为0；否则zi=0z_i=0zi=0，即损失函数的第三项为0。a(x^,pk)a(\hat{x},p_k)a(x^,pk)是经过softmax归一化处理后的x^\hat{x}x^与pkp_kpk之间的相似性。上式的目的是当查询样本类别和pkp_kpk样本相同时，尽可能地增加二者之间的相似程度，反过来当类别不同时就尽可能地降低二者之间的相似程度。

创新点

设计了eResNet特征提取网络，以更少的参数实现更好的效果
提出了本质特征的概念，以SAD作为权重计算的依据，为每个样本赋予相应权重
设计了混合损失函数

算法评价

本文提出地本质特征这一概念还是很有启示意义的，我一直认为PN那种平均值计算类别表征的方式过于简单粗暴了，而本文巧妙地利用了SAD作为权重计算依据，为同类样本中偏离中心较远的特殊样本赋予较低的权重，减少了其对于原型计算的影响。eResNet和混合损失函数的设计也很有想法，感觉这篇3区期刊文章的质量高于许多的顶会文章了。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。