GFP-GAN论文阅读笔记

题目：Towards Real-World Blind Face Restoration with Generative Facial Prior
翻译：《面向现实世界的生成性人脸先验盲复原》
解决的问题：
如何从低分辨率低质量的真实图像中获得较好的先验知识，复原人脸图像

提出：GFP-GAN。其包含了一个退化去除模块和预训练的人脸GAN作为人脸先验。通过直接的潜在代码映射和几个通道分割空间特征变换（CS-SFT）层以从粗到精方式连接。

贡献：
提出了一种新颖的GFP-GAN框架，该框架具有精巧的架构设计，并能融合人脸生成先验。带有CS-SFT层的GFP-GAN在一次正向传递中实现了保真度和纹理忠实度之间的良好平衡。

网络框架

第一步：退化去除模块。基于Unet网络。用于提取清晰潜在特征 F_latent 和不同分辨率空间特征F_spatial。

第二步：生成式人脸先验和潜在特征匹配。将潜在特征F_latent匹配到中间潜在编码W ,该编码W 用于从可学习的人脸GAN分布中检索最相近的人脸特征F_GAN；然后，能够用GAN特征获得生成式人脸先验 F_prior

第三步：通道分割的空间特征转换。利用第二步的先验特征 F_prior和第一步的不同分辨率空间特征F_spatial生成高清图像。

但是这种方法难以在真实性和保真度之间达到好的平衡；因此本文将先验特征分解为身份特征部分（用于保留）以及变换特征部分（用于特征调制），采用以下的形式进行求解：

损失函数：

1 重构损失：图像像素级重构以及VGG层次的感知loss重构

2 对抗损失

3 人脸成分损失鉴别损失+特征样式损失
（ 1）鉴别损失：首先使用ROI对齐裁剪感兴趣的区域，对于每个区域，我们训练单独的小型局部鉴别器来区分恢复成分是否真实，从而使生成的面部成分接近自然的面部成分分布
（2）特征样式损失：尝试匹配真实和恢复的面片的Gram矩阵统计

4 人脸身份loss：采用了预训练人脸识别ArcFace模型