多模态生物特征识别文章略读

2021，SN Computer Science，A Contemporary Survey of Multimodal Presentation Attack Detection Techniques: Challenges and Opportunities

摘要：生物特征识别是一个广泛而动态的研究领域，但该领域的主要问题是欺骗攻击或表示攻击“用假的生物特征代替原始用户的真实生物特征样本”。活性检测是对抗欺骗攻击的主要手段，其原理是通过标准的验证系统获取一些附加信息来验证生成的数据是否真实。它利用了生命的解剖学特征，如面部表情、眨眼、头部移动等。本文综述了基于多模态生物识别系统的各种活体检测技术，其中生理和行为特征被用来区分真的和假的生物特征。在多模态生物识别系统中，利用生理和行为特征来区分真的和假的生物特征，本文对基于多模态生物识别系统的各种活体检测技术进行了全面的综述。多模态系统利用两个或多个生物特征，这使得它们比单模态系统更安全。这些系统克服了单模系统的局限性，如欺骗攻击、数据噪声、非通用性、独特性和类内变异等，因此，为了使生物特征识别系统更加安全和健壮，采用了多模态技术。本文对近十年来不同研究者提出的各种多模态生物识别技术进行了分类和讨论，并提出了一种新的分类方法。本文从理论、方法、评价数据集等几个方面对该领域的研究进行了综述，并对今后的研究工作进行了展望。

2021，中国图像图形学报，CCF A刊，生物特征识别学科发展报告

摘要：从手机解锁、小区门禁到餐厅吃饭、超市收银，再到高铁进站、机场安检以及医院看病，人脸、虹膜和指纹等生物特征已成为人们进入万物互联世界的数字身份证。生物特征识别赋予机器自动探测、捕获、处理、分析和识别数字化生理或行为信号的高级智能，是一个典型而又复杂的模式识别问题，一直处于人工智能技术发展前沿，在新一代人工智能规划、“互联网+””行动计划等国家战略中具有重要地位。由于生物特征识别涉及公众利益攸关的隐私、道德和法律等问题，近期也引起了广泛的社会关注。本文系统综述了生物特征识别学科发展现状、新兴方向、存在问题和可行思路，深入梳理了人脸、虹膜、指纹、掌纹、静脉、声纹、步态、行人重识别以及多模态融合识别的研究进展，以人脸为例重点介绍了生物特征识别领域近些年受到关注的新方向———对抗攻击和防御、深度伪造和反伪造，最后剖析总结了生物特征识别领域存在的3大挑战问题———“感知盲区”、“决策误区”和“安全红区”。本文认为必须变革和创新生物特征的传感、认知和安全机制，才有可能取得复杂场景生物识别学术研究和技术应用的根本性突破，破除现有生物识别技术的弊端，朝着“可感”、“可知”和“可信”的新一代生物特征识别总体目标发展。

关键有用之处：活体检测（face liveness detection）也被称为人脸防欺诈（face anti-spoofing）或呈现攻击检测（presentation attack detection，PAD），常见的呈现攻击方式包括打印人脸照片、屏显人脸和3D面具等。早期活体检测技术主要为主动配合式，即要求被识别人按照要求作出唇动、眨眼和转头等面部动作。后期技术则主要是被动检测方式即在被识别人无需刻意配合的情况下，通过对输入人脸照片或视频的分析进行假体人脸检测。

从活体检测所采用特征的角度，被动检测方法通常分为两类，即基于手工设计特征的方法和基于深度学习的方法。其中，前者通常根据专家知识或呈现攻击的特点设计描述子提取特征，然后使用传统的分类器( 如支持向量机SVM）进行分类，最为典型的方法是使用多尺度局部二值模式（LBP）提取人脸局部特征进行活体检测

目前，主流的方法大多使用深度卷积神经网络CNN来进行活体检测。

为提高活体检测技术对不同场景的适应能力，研究者开始关注未知类型攻击或未知场景下的活体检测能力。如 Liu 等人( 2019c) 设计了一种新型的树形网络以解决零样本活体检测问题( 即未知攻击类型问题) 。Qin 等人( 2020) 提出了自适应内部更新元学习算法来解决零样本或少样本活体检测难题。Wang 等人( 2020d) 则利用交叉解耦的方式提取更具有场景/域泛化能力的伪造特征。Jia 等人 ( 2020) 设计了一种单边域泛化网络，对正样本和负样本施加不同的约束以提升模型的泛化性能。

如何提升活体检测模型在跨场景或者未知攻击方式下的泛化性能，仍然是未来值得关注的研究方向。3D 打印技术的普及以及越来越逼真的仿真硅胶面具进一步加剧了活体检测技术的挑战。随着高分辨率摄像头、ＲGBD、近红外等新型传感器的普及，如何充分利用传感器技术以及多模态数据提升活体检测模型的精度和可靠性，是值得期待的研究方向之一。

多模态生物特征融合研究现状：常见的生物特征模态包括指纹、虹膜、人脸、掌纹、手形、静脉、笔迹、步态和语音等，已经广泛应用于社会生产、生活的各个领域。但各种生物特征，在普遍性、唯一性、永久性、可获取性、易用性和安全性等方面存在优劣，没有一种生物模态可以满足所有的应用需求，而多模态生物识别同时使用多种生物特征，可以取长补短，扩展整个身份识别系统的应用场景，并提高其精度和可靠性。

相较于单模态生物特征识别系统，使用多种生物特征具备许多优势( Jain 和Ｒoss，2004) ，如: 1) 更高的识别精度。通过精心设计融合算法，可以综合考虑各个模态对身份识别的贡献，从而显著提高身份的识别精度。2) 更广的适用范围。由于疾病或外界因素的影响，少部分用户不具有某种模态，例如外伤导致的某一模态损伤。多模态生物识别系统可以在单模态缺少的情况下正常工作，因而适用于更广的人群。3) 更强的防伪能力。同时使用多种生物特征可以弥补某些生物特征容易被伪造的弱点。同时对攻击者而言，伪造多个生物特征比伪造单个生物特征要困难很多。近年来，国内外研究人员提出了大量的多模态融合算法，有基于不同操作方式的融合、基于不同层面的融合以及最近比较热门的基于深度神经网络的融合。

基于不同层面的融合分为5种，图像层融合、特征层融合、分数层融合、排序层融合和决策层融合。

2021，International Journal of Computer Theory and Engineering，一般期刊不属于SCI和EI，Multimodal Biometric Recognition System Using Face and Finger Vein Biometric Traits with Feature and Decision Level Fusion Techniques

摘要：由于欺骗攻击的大量增加，许多关于生物特征安全系统的研究正在进行。为了利用生物识别应用提供增强的安全性，研究人员对多模式生物识别表现出了更大的兴趣。使用多模式生物特征识别应用程序，可以设计复杂的模型结构，从而提供较低的欺骗攻击风险。本文讨论了一种利用多模态生物特征的多层次融合设计的混合模型。该模型考虑了人脸和手指静脉两种生物特征模式，以及两个层次的融合特征层和决策层。本文使用了五种分类器：集成判别式、K-近邻分类器、线性判别分类器、集成子空间K-近邻分类器(ESKNN)和用于多数投票的支持向量机。本文利用双线性插值技术对图像进行上采样，生成信息量丰富的图像。该模型提高了单峰生物识别系统的识别率。

单模生物特征识别系统面临数据噪声、类内和类间差异等，多模态提供丰富的信息，，可以在不同的融合级别上组合。可以使用各种类型的生物特征。所有的生物特征都分为生理、行为和软生物特征。这项工作展示了使用多个生物特征来提高生物识别系统的识别性能。这项工作还集中在不同生物特征的多水平融合的使用上。