深度学习-活体检测发展之背景篇（一）

主要对最近看的活体检测相关技术做一个总结梳理；纯属个人理解，有不准确的地方希望大家留言讨论

文章目录

一、人脸识别的背景
二、活体检测跟人脸识别什么关系？
三、活体检测的任务是什么？
四、活体检测技术的分类
- 1. 动作活体
- 2. 静默活体
- - 2.1. 单目静默活体
  - 2.2 基于IR双目红外活体检测
  - 2.3. 基于深度信息的静默活体
  - 2.4 三种技术路线比较
五、活体检测算法关键指标有哪些？
六、小结

一、人脸识别的背景

我们知道近些年来，人脸识别的技术应用在多个领域下均基本做到了常态化。

安保领域：目前大量的企业、住宅、社区、学校等安全管理越来越普及，人脸门禁系统已经成为非常普及的一种安保方式。
出行领域：很多城市的火车站已经安装了人脸识别通行设备，进行人证对比过检，有些城市的地铁站也可以通过人脸识别的方式进行地铁进出站通行。
泛娱乐领域：现在市场上火爆的美颜相机，网络直播，短视频等都是建立在人脸识别的基础上对人脸进行美颜和特效处理。
公安，司法领域：公安系统在追捕逃犯时也会利用人脸识别系统对逃犯进行定位，监狱系统目前也会对服刑人员通过人脸识别系统进行报警和安防。
自助服务设备：如银行的自动提款机，无人超市，无人自动售卖机等。
考勤及会务：如工作考勤，会议出席人脸墙等。目前人脸识别市场上的巨头主要有商场，也有很多领域内巨头公司投资的小公司。
金融领域：人脸识别当前在金融领域的应用最为广泛，国内金融领域监管要求严格，金融相关产品都需要实名认证，并且具有较高的安全性要求，活体识别，银行卡ocr识别，身份证ocr识别，人证对比等在各大手机银行，金融app，保险app等都已经成为不可或缺的一个环节。

二、活体检测跟人脸识别什么关系？

人脸识别：利用实时抓拍的脸识别出你是谁，但不知道镜头前的脸是真人还是别人盗用你的照片
活体检测：判断镜头前的你是一个真人，还是他人盗用你的人脸信息伪造生成的

三、活体检测的任务是什么？

活体检测技术能够抵御各种假脸的攻击，为人脸识别保驾护航。在人脸识别的完整链路中，通常需要先确认目标为真实人脸，之后才会进入识别环节。

活体检测主要针对的攻击类型：包括打印的纸质照片、电子产品的显示屏幕（照片&视频）、纸质面具、硅胶（树脂）面具、立体3D人像等。

四、活体检测技术的分类

按照活体检测技术的实施方式可以粗略的把活体检测分为以下2类：

1. 动作活体

动作活体也称之为配合式活体，需要用户根据提示做出相应的动作，通过眨眼、张嘴、摇头、点头等配合式组合动作，使用人脸关键点及人脸追踪技术，通过连续的图片，计算变化距离与不变距离的比值，进行上一帧图像与下一帧图像的对比，从而验证用户是否为真实活体本人操作。

2. 静默活体

静默式活体无需用户进行额外动作，而是直接利用算法甄别纸张照片、屏幕成像、人脸面具等伪造人脸攻击。与配合式相比，静默式用户体验更好，速度更快，可在无感的情况下直接进行活体检测。
实际使用中，可根据具体场景选择方案。如闸机、门禁、验票等对检测速度要求更高的场景，一般推荐选用静默式活体。

随着科技不断发展，大量硬件厂商也加入到人脸识别基础设施的研发投入过程中。一些先进的硬件摄像头模组也随之诞生：

RGB摄像头、IR双目红外摄像头、深度（Depth）摄像头（TOF和3D结构光）等。

前沿的算法研究也按照摄像头类型的不同分为了三种不同的技术路线：

2.1. 单目静默活体

原理：通过分析RGB图像采集摩尔纹、成像畸形、反射率等人像破绽，从而获得活体检测所需要的识别信息，通过多维度的识别依据保证了识别的准确性。
特点：采用普通单目摄像头，所以成本较低，对屏幕成像和纸张照片类攻击有着良好防御性。

PS：鉴于市面上最广泛的应用还是手机普通的单目摄像头，腾讯也推出了变种活体检测解决方案-炫彩活体（噱头）

2.2 基于IR双目红外活体检测

原理：在RGB单目活体的算法能力基础上，加入了红外摄像头。由于红外图像滤除了特定波段的光线，天生抵御基于屏幕成像的假脸攻击。
特点：由于硬件的差异，红外活体相对RGB活体成本有所提高。但同时，对于屏幕成像和纸张照片类的防御力也更加优秀。

不管是可见光还是红外光，本质都是电磁波。物体成像与其表面材质的反射特性有关。真实人脸和纸片、屏幕、立体面具等攻击媒介的反射特性都是不同的，所以成像效果也不同。

这种表面材质差异在红外波反射方面会更加明显，当屏幕上的人脸出现在红外摄像头前，红外成像的画面里只有白花花一片，连人脸都无法显示，攻击也就无法得逞

2.3. 基于深度信息的静默活体

原理：基于深度信息活体检测采用结构光/TOF等深度摄像头，引入了"深度信息"概念，可以得到人脸区域的3D数据，并基于这些数据做进一步分析，能够很容易地辨别纸质照片、屏幕等2D媒介的假脸攻击。
特点：深度活体检测对屏幕、纸张和面具类攻击的防御能力最好，但是同时硬件成本也是最高的。

2.4 三种技术路线比较

五、活体检测算法关键指标有哪些？

在具体应用场景中，活体检测算法是否适用，可以采用"活体检测算法关键指标"进行判断。
目前业内主要将活体检测能力分为基础级和增强级两档

基础级可防范二维静态纸质图像攻击和二维静态电子图像攻击
增强级可防范二维动态图像攻击、三维面具攻击和三维头模攻击。

在衡量活体检测算法的时，我们通常会引入LDAFAR、LDANRR、LPFRR和LPNRR四个值作为衡量标准，它们的计算方式如下：
LDAFAR =（1 - 成功标记为活体检测攻击的次数 / 活体攻击总次数）×100%
LDANRR =（引起活体检测系统无响应的活体检测攻击次数 / 活体攻击总次数）×100%
LPFRR = （错误标记为活体检测攻击的次数 / 活体总次数）×100%
LPNRR =（引起活体检测系统无响应的活体呈现次数 / 活体总次数）×100%

六、小结

早期由于技术原因，动作活体基本是当时的主流活体检测方案。近几年，算法和硬件的迭代更新，更多的技术方案踊跃而出。
静默活体的市场应用份额在逐渐提升，对应的算法研究也在不断进步。前沿的研究对于2D的攻击方式已经基本能够做到有效拦截，3D攻击也能做到比较高的拦截（但还不能做到工业级别），3D攻击的拦截还大多需要依赖多级、多模态防控。
目前，基本大部分互联网厂商在逐渐进行动作活体->静默活体技术过渡。仍有部分国企、中小企业在使用动作活体作为唯一解决方案（实现简单、技术底蕴要求低）。

PS：后面会继续分享活体检测数据及前沿研究等方面，请大家积极探讨

深度学习-活体检测发展之背景篇（一）相关推荐

深度学习-活体检测发展之数据篇（二）
本文旨在对当下活体检测研究领域的公开数据集进行整理如有不全面的地方请留言补充文章目录公开数据集分类 1. 早期公开数据集 1.1 NUAA 1.2 YALE Recaptured(需联系作者获取 ...
卷积神经网络在深度学习中新发展的5篇论文推荐
转载自:Deephub Imba 1.Deformable CNN and Imbalance-Aware Feature Learning for Singing Technique Classif ...
「每周CV论文推荐」初学深度学习活体与伪造人脸检测必读的文章
活体检测在安防与金融等使用人脸识别技术的领域中是一项非常重要的技术,本次我们介绍初学深度学习活体检测与伪造检测领域需要读的文章. 作者&编辑 | 言有三 1 Learning CNN 这是最早 ...
keras faster物体检测_全网 | 深度学习目标检测算法（精选12篇）
太多的公众号每天的文章是否让你眼花缭乱?刷了好多文章,发现大都是转来转去?今天我在全网公众号里为大家精选主题为深度学习目标检测算法的文章12篇,其中包括综述,R-CNN,SPP-Net,Fast R- ...
【每周CV论文】深度学习文本检测与识别入门必读文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 文本检测和识别是计算机视觉的一个非常重要的应 ...
这就是神经网络 19：深度学习-人脸检测-S3FD
概述本文介绍1篇人脸检测方面的工作,这是2017年的工作.S3FD是SSD类的检测器,为人脸检测做了相应优化和修改.即使放在今年(2019),这个工作的结果也都是SOTA级的存在. 前段时间写了文章 ...
fasterrcnn深度学习口罩检测
fasterrcnn深度学习口罩检测前言 FasterRCNN原理详解训练我们自己的FasterRCNN 使用labelimg制作我们自己的VOC数据集 FasterRCNN训练详解源码地址与小 ...
（二十六）深度学习目标检测：Fast-RCNN
Fast-RCNN RCNN存在的问题: 1.一张图像上有大量的重叠框,所以这些候选框送入神经网络时候,提取特征会有冗余! 2.训练的空间需求大.因为RCNN中,独立的分类器和回归器需要很多的特征作为 ...
深度学习目标检测之RCNN、SPP-net、Fast RCNN、Faster RCNN
一.目标检测介绍目标检测(目标提取)是一种基于目标几何和统计特征的图像分割,将目标的分割和识别合二为一,主要是明确从图中看到了什么物体.它们分别在什么位置.传统的目标检测方法一般分为三个阶段:首先在 ...