Robust Classification with Convolutional Prototype Learning

2018 CVPR
URL：http://openaccess.thecvf.com/content_cvpr_2018/papers/Yang_Robust_Classification_With_CVPR_2018_paper.pdf
在图像分类方面，虽然现在正确率很高，CNN也会被很相似的图片欺骗，所以说明网络的鲁棒性还不够。这篇文章讨论了由于softmax层所以缺乏了鲁棒性。为了提高鲁棒性，这里提出了一个CPL（convolutional prototype learning——卷积原型学习）的操作，基于这个操作，作者制定了多个标准。同时，当数据基于高斯分布时，prototype可以用来增加类内紧密度。

综述：CNN对于未见类别的分类表现很差；分类的类间距离小，类内距离大。例如triplet loss 提高鲁棒性但是难收敛，center loss减少类内距离，但是center不是从数据中直接学习到的。在这里论文完全放弃了softmax，所有prototype都是从数据中学习到的。他首先可以看成一种正则化，另一方面可以减少类内，增大类间。同时他不是对于特征空间进行划分来完成分类，而是将样本投射到特征空间的某些特定区域(靠近原型)，这样就解决了新类别的样本的分类。

Architecture of the framework

设特征xxx为f(x;θ)f(x; θ)f(x;θ) miji∈[1,2,...,C]j∈[1,2,...,K]m_{ij} i ∈ [1, 2, ..., C] j ∈ [1, 2, ..., K]miji∈[1,2,...,C]j∈[1,2,...,K]代表有C个类，每个类别有K个prototype，这俩参数都是源于data的。给定一个输入模式x，我们首先用CNN feature extractor得到其特征，然后将特征与所有prototype进行比较，并将其分类为最近prototype所属的类别:

Minimum classification error loss (MCE)

这样∣∣f(x)−myi∣∣2||f(x)-m_{yi}||^2∣∣f(x)−myi∣∣2会减小，∣∣f(x)−mrj∣∣2||f(x)-m_{rj}||^2∣∣f(x)−mrj∣∣2会增大，关于F和M的反向传播为

Margin based classification loss (MCL)

类似为triplet loss，用的L2距离，为了归一化让值维持在(-1,1)

他的反向传播为：

Distance based cross entropy loss (DCE)

为了满足非负和归一化

Generalized CPL with prototype loss

加入正则化项 prototype loss (PL) 减少过拟合

以上这些操作有其他的作用。他可以拒绝类别或者新增类别，他可以通过算式21来计算一个类别的概率，从而舍弃类别，也可以通过将特征投射到特征空间的特定位置去，通过聚类来获取一个新的类别。

Experiments

MINIST和CIFAR10混淆之后，对于类的拒绝性表示

若新增了一个类，则特征的分布如下

K=1时是最好的，而且自己做的实验也证明这点。