Learning with Privileged Information for Efficient Image Super-Resolution，ECCV2020

作者信息：

Paper：

Learning with Privileged Information for Efficient Image Super-Resolution​arxiv.org

Code：

cvlab-yonsei/PISR​github.com

本文亮点：（1）提出了一个新的适用于SR的蒸馏结构，首次使用蒸馏方法来改进超分模型的效果而且work。（2）作者拿FSRCNN来蒸馏展示效果，蒸馏后的模型效果虽不如近几年的模型（FSRCNN有点老），但内存使用和推理速度要比近几年的模型好1-2个数量级（见下图）。

蒸馏架构

蒸馏架构上，可以看到有两个改动：

（1）将HR（GT）作为privileged knowledge，而不是只在最后跟老师、学生模型的输出进行监督。这个改动有效吗？如下图，相对于LR图(蓝线)，compact feature（橙线与绿线）含有更多高频信息，更能提升老师模型的效果。

同时，compact feature是HR经过encode得到的，分布肯定跟真的LR图有gap，所以用LR图引导它一下是比较自然的想法。如下下图，加了LR引导的这个loss后(橙色)会更趋近于LR分布(蓝色)。

（2）Teacher模型设计成了AE的结构，Encoder将HR图转为Compact Feature（即预测的LR图），这一步有LR的GT作为监督。Decoder将Compact feature（与LR shape一致）转为HR，注意老师的Decoder结构和学生模型结构是完全一样的，这是为了减少老师与学生模型之间的gap，能提升知识迁移的效果，而且训练好的老师Decoder可以直接作为学生model的初始化。

Loss

Loss上，Imitation loss和Reconstruction loss都是由GT引导的L1，新鲜的是Distillation loss，是用互信息（mutual information）来度量和优化老师->学生的知识损失的：如下式，fT和fS分别是师生的feature map，H指entropy。

具体怎么优化？作者使用了variational的极大化信息优化方法，使用拉普拉斯分布来建模条件概率

，实现上是用MLP计算这个分布的俩参数μ、b，μ和b分别是location和scale。

如下式，Distillation loss分两项，第二项中，

表征的就是老师feature map与location map的距离，b控制蒸馏的extent，假如蒸馏没有使得学生模型得到效果提升，b就会增大减弱蒸馏；而式子第一项就是约束b防止把它优化的太大的。

总结

原SR模型，也就是蒸馏的对象是选的是FSRCNN,ECCV (2016)，选这个较久远且效果差一些但是推理快、占内存少的模型的原因，个人认为是：通过增强这样一个对移动设备友好、对硬件友好的模型能进一步体现自己文章的实用价值。

文章的主要价值还是在于首次提出的这个蒸馏架构在超分任务上work，而且有通用性，可见下图，其他几个模型经蒸馏后效果都有提升。

经过蒸馏视觉效果也有提升。上图中第一列是GT，第三、四列分别是蒸馏前后的超分结果，可发现不同的模型蒸馏后视觉效果都有提升。

Reference：

部分想法受启发于@小小奥列夫的专栏 https://zhuanlan.zhihu.com/p/161103945