CVPR 2020 | 元学习人脸识别框架详解

2020-05-15 23:07:48

本文介绍的是CVPR2020 oral论文《Learning Meta FaceRecognition in Unseen Domains(MFG[1])》，作者来自明略科技集团明略科学院与中科院自动化研究所。

作者 | 明略科技编辑 | 丛末

论文地址：https://arxiv.org/abs/2003.07733

1 导语

人脸识别系统通常在现实应用中面临着未知域的挑战，由于泛化能力差而表现出不令人满意的性能。例如，在Webface数据集上训练有素的模型无法处理安防领域中人证比对的任务。在本文中，旨在学习一种通用模型，该模型可以直接处理新的未知域，无需对模型进行更新。

为此，作者团队提出了一种通过元学习的新型人脸识别方法，称为元人脸识别（MFR）。MFR使用一个元优化目标针对源/目标域的偏移量，这需要模型不仅可以很好的表征源域，而且还很好地表征目标域。具体而言，通过跨域采样策略构建多域组合的批次，并通过优化多域分布在源/目标域上获得反向传播的梯度/元梯度。将梯度和元梯度进一步结合以更新模型以提高泛化性。此外，我们提出了两个用于人脸识别的测试标准。在测试标准上，验证了与其他SOTA方法相比MFR具备很高的泛化能力。

2 简介

针对未知域（Unseen domain）的泛化人脸识别问题：在目标场景未知的条件下，如何设计一个有效的训练策略或方法，让模型不需要微调更新或者重新训练就能在未知场景下取得较好的泛化能力。作者团队提炼出了generalized face recognition问题。值得一提的是，作者团队在AAAI2020上发表的一篇关于人脸防伪的工作AIM-FAS[2] 上也验证了Meta-learning在解决该类问题上具有很好的效果，作者团队首次将元学习应用到人脸识别与人脸防伪这两个应用领域，很有意义。

本篇论文的主要贡献在于首先提出了generalized face recognition这一问题，这个问题在工业界中十分常见，不仅具备科研价值而且具备落地价值；其次，为了解决generalized face recognition问题，作者团队提出了基于元学习的MetaFace Recognition（MFR）框架，将元优化引入到训练过程中，使模型的泛化能力得到了很明显的提高；最后为了将generalized face recognition问题进行量化，并评估MFR与一些其他方法对解决这一问题的能力，作者团队提出了两个新的benchmark，提供了全新的测试标准。

3 方法

首先介绍一下generalized face recognition问题，因为人脸识别模型通常部署在未知情况下并且从未见过的数据，因此这种情况更为普遍，所以称为“广义人脸识别问题”。如下图所示，部署的模型应该能够推广到未知的域，并且无需任何做任何更新、微调或者重新训练。

Meta Face Recognition:

针对泛化人脸识别问题，我们提出了一种基于元学习的人脸识别框架MFG（Meta Face Recognition）。MFR主要包括三部分：（1）跨域采样；（2）多域分布优化；（3）元优化。整体的框架下图所示：

首先，跨域采样是为了模拟训练场景和测试场景的分布偏差，每次迭代时，根据训练集的域标签，将训练集分为元训练域和元测试域，并在两个域中分别采样一定人数。其次，在多域分布优化中，我们使用了三种损失函数，包括难样本损失、软分类损失和域对齐损失，来学习具有判别性和域不变性的人脸表征。最后，元优化通过三个步骤对模型进行优化，（1）元训练：对元训练域进行优化，并得到梯度更新后的模型参数；（2）元测试：在元测试域上，对元训练更新后的模型参数进行二次更新；（3）对元优化和元测试的损失进行加权，对原始模型的参数进行梯度反传更新。元优化的示意图如下图所示：

Domain Alignment Loss:

作者团队在实验中发现跨元训练域的负对往往比域内的对容易。通过添加域对齐正则化以使映射特征域不变，我们可以减少不同元训练域的域间隙。此外，使跨元训练域的负样本对变得更加困难，这对于学习更多区分性表示是有益的。为了执行域对齐，我们使多个元训练域的均值映射特征彼此接近。具体来说，我们首先计算元训练域的所有均值映射特征的中心，然后优化所有均值映射特征与该特征中心之间的差异。域对齐损失函数仅适用于元训练域，因为元测试域中仅包含一个域。损失函数的公式如下：

其中，是归一化特征，是从域中批量采样的平均特征，是元训练域中所有均值映射特征的的特征中心，n是元训练域的数量，s是缩放因子。在元优化中，我们将自适应地利用domain aligment loss与其他两种损失函数的反向传播信号来一起改善模型的通用性。

4 实验

为了验证模型的泛化性，我们提出了两个不同难度的测试协议，如下表所示。一个是跨种族（印度人、非洲人、亚洲人，高加索人）测试协议GFR-R；另一个是跨场景测试协议GFR-V，其更接近实际场景，也更具挑战性。在协议中，目标域的数据在训练中是未知的，用于模拟未知的应用场景。

表1. GFR-R跨人种测试协议和GFR-V跨域测试协议

通过表2可以看出，通过元学习，本方法在跨种族和跨场景的测试中均取得了最好的性能。可以看到MFR的模型泛化能力是很强的，这种训练框架很适用于跨域的应用场景。

表2. GFR-R跨人种测试协议和GFR-V跨域测试协议结果。

5 总结

Generalized face recognition问题还很值得挖掘，并且MFR也依然有可以提升性能的空间。在工业界中，使用MFR的方式去做人脸识别模型的训练，相比之前的方法，在面对新的场景上，表现会有所提升。

Reference:[1] JianzhuGuo et al., Learning Meta Face Recognition in Unseen Domains, CVPR2020 (Oral)[2]Yunxiao Qin et al., Learning Meta Model for Zero- and Few-shot FaceAnti-spoofing, AAAI2020 (Spotlight)

CVPR 2020 | 元学习人脸识别框架详解相关推荐

cvpr2020 人脸检测与识别_CVPR 2020 | 元学习人脸识别框架详解
本文介绍的是CVPR2020 oral论文<Learning Meta FaceRecognition in Unseen Domains(MFG[1])>,作者来自明略科技集团明略科学院 ...
python人脸识别opencv_Python基于Opencv来快速实现人脸识别过程详解（完整版）
前言随着人工智能的日益火热,计算机视觉领域发展迅速,尤其在人脸识别或物体检测方向更为广泛,今天就为大家带来最基础的人脸识别基础,从一个个函数开始走进这个奥妙的世界. 首先看一下本实验需要的数据集,为 ...
【迁移学习(Transfer L)全面指南】CVPR(2020)元学习、小样本、领域自适应、领域泛化和迁移学习概述
文章目录 1 元学习 2 小样本 3 领域自适应 3.1 基于差异的方法 3.2 基于对抗的方法 3.3 基于重构的方法 4 领域泛化 5 迁移学习 1 元学习元学习,meta-learning,又 ...
恩智浦NXP RT1062F 本地神经网络人脸识别接口 - [详解]
文章目录恩智浦NXP RT1062F 本地神经网络人脸识别接口使用详解一.芯片介绍二.摄像头图片获取 `CSI中断源码` 通过FLEXIO调取图片信息三.识别接口调用人脸识别接口初始化结构体 ...
opencv python考勤_Python基于Opencv来快速实现人脸识别过程详解（完整版）
前言随着人工智能的日益火热,计算机视觉领域发展迅速,尤其在人脸识别或物体检测方向更为广泛,今天就为大家带来最基础的人脸识别基础,从一个个函数开始走进这个奥妙的世界. 首先看一下本实验需要的数据集,为 ...
python模块cv2人脸识别_Python基于Opencv来快速实现人脸识别过程详解（完整版）
前言随着人工智能的日益火热,计算机视觉领域发展迅速,尤其在人脸识别或物体检测方向更为广泛,今天就为大家带来最基础的人脸识别基础,从一个个函数开始走进这个奥妙的世界. 首先看一下本实验需要的数据集,为 ...
Python+OpenCV人脸识别技术详解
总在科幻电影里看到人脸识别,现在我们也可以编程来实现啦.哈哈~~ OpenCV是Intel®开源计算机视觉库.它由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法. ...
ssm学习之ssm框架详解
此文章转载:https://blog.csdn.net/khxu666/article/details/79913151 Java Web常见的三层结构表现层:也就是Web层,常见的框架有Sprin ...
「每周CV论文推荐」初学深度学习人脸识别和验证必读文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸识别和验证是当前人脸图像在身份认证领域中 ...

CVPR 2020 | 元学习人脸识别框架详解

CVPR 2020 | 元学习人脸识别框架详解相关推荐

最新文章

热门文章