SDD-FIQA基于人脸相似度分布距离的无监督质量评估方法

SDD-FIQA: Unsupervised Face Image Quality Assessment with Similarity Distribution Distance
CVPR2021
论文
code

1.摘要

该方法从人脸识别的效果影响因素出发，从理论上推导出人脸样本类间相似度分布与人脸图像质量高度相关，利用类内相似度分布和类间相似度分布之间的Wasserstein距离生成人脸图像质量伪标签。然后，利用这些质量伪标签进行无监督训练人脸质量回归网络，从而获得一个质量评估模型。大量实验表明，在各大人脸识别的基准数据集上，提出的SDD-FIQA方法在不同的人脸识别系统下，精度和泛化能力都达到目前最优水平。

2.背景介绍

目前人脸质量评估方法可分为两类，一类是通过人类视觉系统(HSV)定义质量指标（如KS-FQA），另一类是人脸识别效果直接决定质量分数（如FaceQnet）。为了保证非限制场景下人脸识别系统的稳定性和识别可靠性，大多数已有方法将样本embedding不确定性（如SER-FIQ）或样本对的相似度（如FaceQnet）作为质量分数。
作者认为大多数基于人脸识别特征的方法只考虑了部分的类内信息，却忽略了用于估计人脸图像可识别性的宝贵的类间信息。作者认为一张高质量的人脸图片应该与其同类样本相似而与类外样本不相似。因此提出一个新的无监督FIQA方法——融合相似性分布距离的人脸图像质量评价(SDD-FIQA, Similarity Distribution Distance for Face Image Quality Assessment)。

3.主体思路

针对目标样本，使用识别模型收集它的类内相似性分布以及类间相似性分布，计算两种分布之间的Wasserstein距离作为质量分数伪标签。最后，在Huber损失约束下训练一个质量回归网络，该方法可以在无真实质量分数标签的情况下准确预测人脸图像质量评分。

Step1：将训练数据遍历人脸识别模型，采集对应的类内分布和类间分布；
Step2：计算类内分布和类间分布的Wasserstein距离，并作为质量分数伪标签；
Step3：在Huber loss的约束下训练质量分数回归网络。

4.重难点

在基于人脸识别效果对人脸质量进行评价的方法中，最重要的是建立图像质量与识别模型的映射关系。

4.1人脸样本类内-类间相似度分布为何与人脸图像质量高度相关？

从人脸识别效果来看，一张高质量的人脸图像更容易被识别正确，这表示它与类内的相似性距离较近，与其它类间的相似性距离较远。换句话来说，它的类内相似性分布与类间相似性分布距离较远。图像质量与类内-类间相似度距离如下图所示，低质量人脸WD距离较近，高质量人脸WD距离较远。

另外，文中根据EVRC（Error Versus Reject Curve）曲线从理论上推导了质量分数与识别性能的关系。

4.2 如何生成质量分数伪标签？

SDD-FIQA综合考虑了目标样本的与类内样本和类间样本的相似性，类内样本与类间样本的分布距离结果作为质量伪标签，作者使用WD（Wasserstein Distance）计算类内与类间的分布距离。

图中红点表示目标样本，绿点表示类内样本，黄点表示类间样本。类内相似性分布（Pos-Sim）与类间相似性分布（Neg-Sim）的WD距离为质量分数伪标签，质量分数结果如图中右侧所示。
假设X，Y，F分别表示图片集、id标签集、识别特征集，构建一个三元组数据集(公式太麻烦直接贴图吧)：

4.3 质量回归网络

使用生成的质量分数标签训练质量回归网络。在训练过程中利用人脸识别模型进行知识迁移，提升质量回归模型的预测结果与识别的匹配度。去掉embedding和原来的分类层，添加一个FC层，采用dropout方式防止训练过程中过拟合，使用Huber loss回归损失函数训练质量回归网络。相比MSE，Huber损失对数据中异常值更具鲁棒性。

5. 实验结果

5.1 SDD-FIQA对人脸识别的有效性

上图结果为质量回归模型与人脸识别模型均采用ResNet50-MSIM的结果,表中结果显示使用SDD-FIQA质量评估后，在固定误识率（FMR）下，人脸识别结果在LFW、Adience、IJB-C三个数据集上均优于目前最好的质量评估方法。

5.2 SDD-FIQA对不同识别模型的泛化能力

文中测试了在MSIM和CASIA数据集上训练的3个不同模型（ResNet50-MS1M、ResNet101-MSIM、ResNet101-CASIA），为了验证所提出的SDD-FIQA的泛化性，进行了两种交叉识别模型实验：
（1）使用ResNet50-MSIM模型生成质量分数伪标签，以及训练质量分数回归网络, 但在测试的时候使用ResNet101-MSIM模型进行人脸识别效果测试；
（2）使用ResNet50-MSIM模型生成质量分数伪标签，以及训练质量分数回归网络，在人脸识别测试的时候使用ResNet101-CASIA模型。

使用质量评估ERC曲线评价人脸质量对人脸识别的实用性。

ERC,Error-versus-Reject-Curve,误差随拒绝变化曲线，是评价生物特征质量度量的性能最广泛和最普遍接受的度量，理想情况下FNMR是在丢弃质量最差的数据时降低的。

图中FNMR表示拒识率，FMR表示误实率。从上图中两个不同识别模型的结果来看，SDD-FIQA在三个测试集上均优于其它对比方法。

6.问题思考

（1）基于人脸识别生成的质量分数具有不可解释性，与人主观感知结果相差较大。
（2）为了使用人脸识别特征进行知识迁移，论文中质量分数回归网络与人脸识别网络结构基本相同，在实际应用中网络不够轻量化。
（3）不同评价标准，有不同的人脸质量分数结果，应该是以人的视觉系统作为依据进行人脸质量评估，还是以人脸图像在人脸识别中的可用性作为依据，两种方法都有各自的优缺点。