2020 ICASSP之人脸识别：Facial Feature Embedded CycleGAN for VIS-NIR Translation

Facial Feature Embedded CycleGAN for VIS-NIR Translation
当前的问题及概述：
由于两个模态的光谱成分的差异以及配对训练数据的不足，可见光-红外跨模态人脸识别仍然是一个具有挑战性的任务。
本文提出了一种将可见光人脸图像转换成伪近红外图像的方法，该方法通过嵌入CycleGAN的一种新的人脸特征来实现。
模型及loss：

嵌入CycleGAN的人脸特征流程图如图1所示，将人脸特征提取器(FFE)和反卷积模块(解码器)嵌入到原始CycleGAN的G和F两个生成器中，G映射试图将RGB图转换为近红外图像，F映射则近红外图像转换为RGB图像,从而有效地从人脸图像中提取特征。

网络架构如图2所示，详细分析了通用人脸特征提取器(FFE)。
其中FFE结构包括：1，FaceNet，使用对齐面部patch的三联深度网络训练，将人脸图像直接映射到一个紧凑的欧几里得空间来测量人脸相似性。它形成了大量的人脸特征提取网络，在LFW数据集上的识别精度达到99.63%。2，DeepID3，重建VGG16和googleNet的卷积层和inception layers，在训练阶段，在中间和最终的特征提取层中加入了联合人脸识别-验证监督信号，提高了人脸识别的性能，这两种方法在LFW数据集上实现了99.53%的人脸验证精度。3，MobileFaceNet，是一个非常高效的CNN，数据量远低于现有方法的数据量，使用全局深度卷积(GDConv)[26]作为全局算子，而不是平均池，目的是在训练后学习不同空间位置的重要性。在LFW数据集上的人脸验证精度可达99.55%。
在本文中，FFE模块选取了MobileFaceNet结构，得到了FV特征，输入给翻译模块，然后利用6个残差块对近红外图像特征FN进行FV变换。最后，在FN上进行反卷积(解码器)来恢复近红外图像(G(IV))(图1中的发生器F与G具有相同的结构)。但是由于红外图和RGB图像数量的不均衡问题，因此，本文利用数量更多的RGB图像对FFE模块进行预训练，使得模型可以精确地提取到人脸特征，学习两个模态的映射函数。生成更加真实的伪红外图像。
2.2Pixel Consistency Loss
判别器loss，其中iN是近红外图像，iV是RGB图像:

图1中G模块尽可能最小化目标，判别器DN尽可能最大化目标，F模块与G大致相似，cycle GAN loss：

由于数据库的人脸是配对的，所以对生成的图像进行像素一致性损失(pixel consistency loss)，计算真实图像与来自相同模态生成的图像之间的L1距离，见图3：

总loss：

实验：
数据集：
WHU VIS-NIR paired face database、Oulu-CASIA NIR-VIS face expression database
WHU VIS-NIR paired face database：整个数据集由12720张图像和160个视频组成，7中角度或表情，每个face ID有2个视频和80张visi - nir配对图像，即其中，80张来自VIS域，80张来自NIR域。
Oulu-CASIA NIR-VIS face expression database：数据库包括80个face ID的6个表情，每个face ID有48张可见光和48张近红外图像。因此在测试阶段总共有960张VIS图像和960张近红外探针图像。
WHU VIS-NIR数据集成对的face pair 展示：

实验结果比较（从左到右是真实RGB图像，真实NIR图像，FFE-cycleGAN生成图像，cycleGAN生成图像）：

消融实验：

和其他框架比较：

2020 ICASSP之人脸识别：Facial Feature Embedded CycleGAN for VIS-NIR Translation相关推荐

人脸识别 | Facial recognition详细介绍
人脸识别 | Facial recognition 人脸识别是身份识别的一种方式,目的就是要判断图片和视频中人脸的身份时什么. 本文将详细介绍人脸识别的4个特点.4个步骤.5个难点及算法的发展轨迹. ...
cvpr2020 人脸检测与识别_CVPR 2020 | 元学习人脸识别框架详解
本文介绍的是CVPR2020 oral论文<Learning Meta FaceRecognition in Unseen Domains(MFG[1])>,作者来自明略科技集团明略科学院 ...
CVPR 2020 | 元学习人脸识别框架详解
2020-05-15 23:07:48 本文介绍的是CVPR2020 oral论文<Learning Meta FaceRecognition in Unseen Domains(MFG[1]) ...
人脸识别最全知识图谱—清华大学出品（附全文下载）
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 来源 | 清华大学AMiner平台(公众号ID:SciTouTiao) 看点:全面解析人脸识别技术原理 ...
基于深度学习的人脸识别闸机开发（基于飞桨PaddlePaddle）
目录一.概述 1.1 人脸识别背景 1.2 实现 1.2.1 算法说明 1.2.2 环境设置 1.2.3 实现思路二.示例脚本 2.1 安装PaddlePaddle和PLSC 2.2 下载人脸检测 ...
人工智能 | 人脸识别研究报告（概念篇）
博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 ================= ...
基于深度学习的人脸识别考勤系统设计
写在前面:本文是本科阶段参加的第三次科创比赛项目,当时只有一个人做,能力精力有限,很多预期的功能都没有实现.最后的可展示程度不高,没有走得很远.本文是申报书部分,可以为除此参加科创的同学提供思路,可以 ...
人脸验证与人脸识别(Face verification and Face identification / recognition)
前言: 人脸验证与人脸识别在人脸识别过程中是不相同的.首先介绍下人脸识别的概念,其次对于人脸识别人脸验证进行区别对比分析,以及相关概念介绍.最后对于这两个过程的评测进行说明. 内容: 1.人脸识 ...
人脸识别（1：N）和人脸验证（1：1）
1.人脸识别的相关概念人脸识别(Facial Recognition),即通过视频采集设备获取用户的面部图像,再利用核心的算法对其脸部的五官位置.脸型和角度进行计算分析,进而和自身数据库里已有的范本 ...

2020 ICASSP之人脸识别：Facial Feature Embedded CycleGAN for VIS-NIR Translation

2020 ICASSP之人脸识别：Facial Feature Embedded CycleGAN for VIS-NIR Translation相关推荐

最新文章

热门文章