Fast Perceptual Image Enhancement

论文简介

这篇文章是ECCV-PRIM2018年挑战赛的，在图像增强任务上获得第二名，它是在DSLR论文的模型作为baseline，在它的基础上改进了生成器模型，判别器模型和loss函数的设计都跟baseline一样，但其速度大大提升，因此可以适用于移动设备上。
这篇文章通过在较低空间分辨率下完成大部分处理的网络架构，在CPU上实现了显著高于基准的平均意见得分(MOS)，同时将计算速度提高了6.3倍。

网络结构

DSLR网络结构

本文的生成器网络结构

本文使用新的跨越式方法。生成器结构如图所示。为了减少棋盘伪影，选择了3×3的核大小，但在跨步卷积层中，选择了4×4。卷积层的数量从16个开始，在网络中间增加到64个。我们使用ADAM优化器和50批大小训练网络进行40k次迭代。
通过对比可以发现，block的数量从4变成了2，第一层和最后几层的通道数都大大减少，降低模型的复杂度。此外，为了进一步减少计算时间，还做了一个改进就是空间分辨率的减少，多出来的4* 4* 32和4* 4* 64其实是一个下采样(strided convolutional layers)，每次卷积后feature map的大小就减半，在两个residual block后的两个卷积层相当于是两个上采样层(transposed convolution layers)，将特征恢复到原始分辨率。在每个分辨率下，通过skip connection将相同分辨率的feature map学习一个残差，便于网络学习。作者对比了不同的卷积核大小、通道数及block数对模型性能与速度的影响，结果如下：

可以看到，本文提出的模型在不影响性能的情况下，实现了baseline近6.3倍的加速。虽然该模型由于上采样过程会引入轻微的棋盘伪影，但它是一个不损失图像质量的更快的模型，本文采用的数据集也是DPED，测试结果如下：

作者对不同通道卷积核大小、通道数以及激活函数进行了实验，最终权衡了效果和速度，选择了第三行的参数作为网络结构。

总结

与baseline相比，本文的方法生成的图像在某些方面更加精细，在边缘处没有色彩伪影，且减少噪声，纹理更清晰。从整体上来说，这篇文章的创新的不是很大，在baseline基础上网络结构的没有特别大的改动，但它的计算速度明显提升，这就表明了基于卷积神经网络的图像增强已经可以产生适用于移动设备的高质量的结果。