人脸识别中的活体检测算法综述

SIGAI 2018.9.19

原创声明:本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。

1. 什么是活体检测？

--> 判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击(如：彩色纸张打印人脸图，电

子设备屏幕中的人脸数字图像 以及 面具 等)

2. 为什么需要活体检测？

--> 在金融支付，门禁等应用场景，活体检测一般是嵌套在人脸检测与人脸识别 or 验证中

的模块，用来验证是否用户真实本人

3. 活体检测对应的计算机视觉问题：

--> 就是分类问题，可看成二分类(真 or 假)；也可看成多分类(真人，纸张攻击，屏

幕攻击，面具攻击)

Anti-spoofing 1.0 时代

从早期 handcrafted 特征的传统方法说起，目标很明确，就是找到活体与非活体攻击的

difference ，然后根据这些差异来设计特征，最后送给分类器去决策。

那么问题来了，活体与非活体有哪些差异？

1. 颜色纹理

2. 非刚性运动变形

3. 材料 (皮肤，纸质，镜面)

4. 图像 or 视频质量

所以这段时期的文章都是很有针对性地设计特征，列举几篇比较重要的：

Image Distortion Analysis[1], 2015

如下图，单帧输入的方法，设计了 镜面反射+图像质量失真+颜色 等统计量特征，合并后

直接送 SVM 进行二分类。

Image Distortion Analysis[1]

Cons: 对于高清彩色打印的纸张 or 高清录制视频，质量失真不严重时，难区分开

Colour Texture[2], 2016

Oulu CMVS 组的产物，算是传统方法中的战斗机，特别简洁实用，Matlab 代码(课题组

官网有)，很适合搞成 C++部署到门禁系统。

原理：活体与非活体，在 RGB 空间里比较难区分，但在其他颜色空间里的纹理有明显差异

算法：HSV 空间人脸多级 LBP 特征 + YCbCr 空间人脸 LPQ 特征 (后在17 年的 paper

拓展成用 Color SURF 特征[12] ，性能提升了一点)

Colour Texture [2]

Pros: 算法简洁高效易部署；也证明了活体与非活体在 HSV 等其他空间也是

discriminative ，故后续深度学习方法有将HSV 等 channel 也作为输入来提升性能。

Motion mag.-HOOF + LBP-TOP[3], 2014

DMD + LBP[4], 2015

前面说的都是单帧方法，这两篇文章输入的是连续多帧人脸图；

主要通过捕获活体与非活体微动作之间的差异来设计特征。

一个是先通过运动放大来增强脸部微动作， 然后提取方向光流直方图 HOOF + 动态纹理

LBP-TOP 特征；一个是通过动态模式分解 DMD ，得到最大运动能量的子空间图，再分析

纹理。

PS ：这个motion magnification 的预处理很差劲，加入了很多其他频段噪声(18 年新出

了一篇用 Deep learning 来搞 Motion mag[13]. 看起来效果挺好，可以尝试用那个来做

运动增强，再来光流 or DMD )

Motion mag.-HOOF + LBP-TOP [3]

DMD + LBP [4]

Cons: 基于 Motion 的方法，对于 仿人脸 wrapped 纸张抖动 和 视频攻击，效果不好；

因为它假定了活体与非活体之间的非刚性运动有明显的区别，但其实这种微动作挺难描述与

学习~

Pulse + texture[5], 2016

第一个将 remote pluse 应用到活体检测中，多帧输入

(交代下背景：在CVPR2014 ，Xiaobai Li[14] 已经提出了从人脸视频里测量心率的方法)

算法流程：

1. 通过 pluse 在频域上分布不同先区分 活体 or 照片攻击 (因为