小样本学习

前几天接触小样本学习 Few-Shot Learning，感觉很是有意思。看到Shusen Wang老师的讲解，感觉很棒~持续学习~

学会学习 Lean to learn

小朋友去动物园，见到未知的动物，他虽然不知道类别，但是给他看一些卡片，让他比比看哪个长得像，他们很快的判断出所见动物的类别，这就是人类的学习。

如果机器也可以学习呢？给一张图片(Query)，这张图训练集并没有出现啊，但是不要慌，有卡片(Support Set)来让模型做选择题，依次比较相似度。学会完成多选一的选择题就是元学习(Meta Learning)需要学到的模型，也就是让机器学会学习。

比较：大样本与小样本学习

传统监督学习

训练集样本大，机器根据训练集中的图片，并泛化到测试集，给出图片，识别出具体的类别。

小样本学习

小样本直接训练神经网络会产生过拟合。小样本学习是元学习(Meta Learning) 的一种，希望模型学会学习，并不是让模型区分训练集未出现的新样本，而是是让机器学会学习事物的异同，给定图片，判断是否为同一类别。

小样本学习基础

基本概念

(1)k-way n-shot Support Set

k-way: support set 中类别数n-shot: 每一类的样本数

• 

很明显，way越大，选择变多，准确率会下降，shot越大，样本数增多，准确率会增加。

(2)余弦相似度

衡量两个向量之间的的相似度，两个向量分别为x和w，他们的二范数(长度)为1，两向量的内积为余弦相似度，可以理解为x在w上投影的长度

如果两个向量长度不一致，需要将两向量归一化，取内积：

(3)softmax

softmax函数是常见激活函数，将向量映射为概率分布，常作为网络最后一层，输出的每个概率值表示对每个类别的Confidence(置信度)。让大的值变大，小的值变小，也就平和一点的max。

softmax 分类器，输入为特征值(全连接层输出的)，输出为k维(k是类别数)的概率，W和b维参数，反向传播会训练。

数据集

(1)Omniglot

• 手写数据集，50种不同语言的1632个类别，每个类别有20个样本，样本尺寸为105*105。
• 训练集：964类，19280个样本
• 测试集：659类，13180个样本

• 

(2)Mini-ImageNet

• Matching Networks for One Shot Learning(MAML)论文中提出，从ImageNet提取100类，每个类别600样本，样本尺寸为84*84
• 训练集：64类，38400个样本
• 验证集：16类，9600个样本
• 测试集：20类，1200个样本

网上只有从ImagNet上的原图和CSV文件，我按照MAML的方法生成的数据集，并上传到网盘：

链接：https://pan.baidu.com/s/1nt2WTIXM-bx3s0s51_v_eg 提取码：obg7

基本思想

1. 预训练：从大规模数据集中训练一个卷积神经网络f来提取图像特征。可以是分类网络去掉全连接层，也可以使用孪生网络(Siamese Network)。
2. 小样本预测 ：将query和support set 中每个样本映射到特征空间，得到特征，依次比较query和support set中每个特征的相似度( Similarity)，进行判定。但是更常用的方法是用support set训练一个分类器，再进行预测，称为Fine Tuning。

预训练：孪生网络

Siamese Network， Siamese意思是连体婴儿，也就是网络的头不一样，但是脚连在一起，Siamese Network为孪生网络/连体网络。该网络最主要目的：构建卷积神经网络来比较样本之间的异同，训练网络有两种方法：

成对相似度

Pairwise Similarity，数据集取两个样本

1.训练数据集

训练集来自很大样本数据集，训练数据分为正样本，同一类抽取两张不同图片，标签为1，两样本相同；负样本，不同类别抽取两张图片，标签为0，两样本不同。

2.孪生网络结构

(1)提取特征的CNN

输入是图片，输出是特征向量，有卷积池化层的卷积神经网络就是 f

(2)整体网络结构

训练集样本(两张图片)输入到CNN，分别提取出特征向量，两个特征向量相减的绝对值为Z，用来比较两个特征区别，再用全连接层处理 Z得到一个值，最后用sigmoid将其转换到[0,1]区间，这就是样本的sim。

3.训练网络

(1)前向传播

前向传播就是计算损失，有了样本的sim，结合正负样本标签Target，就可以计算损失。

(2)反向传播

反向传播更新卷积神经网络f和全连接层 Dense Layer的参数

4.直接预测

query 和 support set都是训练集中没出现的类别。query 和 support set每一张作为样本，输入网络，分别得到sim，最大的为 query的类别。

三重损失

Triplet Loss，数据集取三个样本

1.训练数据集

在大规模数据集中，某一类别取一个样本为 Anchor，同一类别再取一个样本为Positive，不同类别取一个样本为Negative，这样构成了一组数据。

2.孪生网络结构

同样有一个卷积神经网络作为特征提取，Positive和Negative分别与Anchor的特征向量求差的二范数的平方，记作距离d

3.训练网络

(1)前向传播

距离表现在特征空间上，希望同一类离得近，不同类离得远。

所以，引入一个超参数，使得负样本距离远大于正样本距离加一个超参数，这样损失定义为

(2)反向传播

由于并没有加入全连接层，所以在反向传播时只需要更新卷积神经网络f的参数

4.直接预测

query 和 support set都是训练集中没出现的类别。query 和 support set每一张作为样本，输入网络得到向量特征，计算两样本的距离(差的二范数的平方)，距离最小的为 query的类别。

分类器

希望用support set实现一个分类器，来预测query是哪一类别的概率。先看一下基本分类器(直接分类不训练)和使用Fine Tuning的分类器(需要用support set训练)

基本分类器

预训练生成的特征提取网络记为f，提取 support set每个样本特征，如果是few-shot 提取后每类取均值(这是最简单的方法)，然后归一化为[0,1]区间。

同理，提取query 的特征，将所有向量映射到特征空间

support set三个特征记做M,构建softmax分类器 p = softmax(W*x + b)，赋值W=M, b=0，x为query的特征q。这样就可以做预测，显示query属于每一类的概率 p，概率最大为所属的类别。

Fine Tuning

基本分类器中的W，b是固定的，如果使用support set训练W，b进行微调(Fine Tuning)，当然也可以训练特征提取的CNN。

前向传播

训练数据是来自support set中的有标签的样本，样本为x，标签为y：

计算每一个样本的损失：预测值和和真实标签求交叉熵。累加 support set所有样本的损失

反向传播

反向传播更新softmax分类器中的W和b，也可以更新特征提取网络f

细节

(1)初始化

按照基本分类器赋值W=M, b=0，作为softmax分类器的初始化

(2)正则化

增加正则化可以使训练效果更好，在损失计算后面增加正则化(Regularization)

使用熵正则化

很明显，如果各个类别概率很相近，那么他们的熵会很大，我们希望各个概率差距大，熵小一点。

(3)引入余弦相似度

分类器原先公式为

把内积替换成余弦相似度 ：

相关推荐

【程序喵读论文】分类网络进阶版

【程序喵读论文】图像分类网络

【程序喵笔记】Jupyter 实用篇

  扫码关注毛毛喵  

一只写程序的喵

科研&生活