活体检测——多帧深度估计防作伪

2024-04-21 15:11:00

论文：《Exploiting temporal and depth information for multi-frame face anti-spoofing》

京东金融、华为云和中科院在2018年联合发表的利用时间和深度信息进行多帧人脸反欺骗算法

主要创新点和贡献点：

利用了多帧的时空信息来更精准地预测深度图，再而进行活体检测。

评测的基准数据集：

OULU-NPU, SiW, CASIA-MFSD,Replay-Attack.

动机：

作者画出下面的草图来描述活体与非活体多帧间的微变化，可见在左边(a)活体场景，明显侧脸时鼻子与耳朵的角度比正脸时大；而对于右侧(b)屏幕攻击，则反之。

基于此现象，作者认为利用多帧信息理论上会比单帧更好地重构深度图，同时更好的判断是真实人脸还是平面人脸攻击。

算法框架：

总框架主要分为两个部分（单帧深度估计和多帧信息融合），如下图所示：

1.单帧深度估计部分：

2.多帧信息融合部分：
主要由 optical flow guided features (OFF) Block 和 ConvGRU Unit 组成，因为OFF Blcok主要构建在相邻两帧间，而 ConvGRU 是构建在整个多帧的clips间，故前者用来获取short-term信息，后者则获得Long-term信息。

3.损失函数：
（1）每帧深度图的L2 loss

其中， $D_{single}$ 是估计的深度信息，D是PRNet模型输出的伪ground truth。

（2）作者提出的每帧深度图的 contrasive depth regression loss:

目的是更好学到每个 pixel 的拓扑关系，更强约束其与周边neighbor的对比度。对应的Kernel如下图所示：

总体的回归Loss为：

（3）二分类误差损失（活体or非活体）
sigmoid或softmax

实验结果：

在Oulu-NPU上的结果：

消融实验：

查看网络里各个模块及Loss的作用

可见 OFF-Block 和 Contrastive Depth loss 提升蛮多的。
最后来定性可视化下出来的深度图的可判别性如何：

可以发现： 对于多帧重构出来的深度图，Replay屏幕攻击有明显的改善；但对于Print打印攻击，图像上好像更糟糕了一点。

总结：

根据先验知识，真人脸与纸张或屏幕攻击载体的深度信息不同，利用PRNet估计真实人脸的伪深度，攻击载体无深度信息，来进行深度信息恢复，进一步根据恢复出来的深度信息使用二分类来区分是否为活体。

参考： https://zhuanlan.zhihu.com/p/50139673

活体检测——多帧深度估计防作伪相关推荐

单目多帧自监督深度估计(2021-2022)研究进展
自从17年MonoDepth系列论文问世, 单目自监督深度估计算法越来越受到研究者的重视.人们发现, 在自动驾驶场景中,原来单目自监督方法也能计算出不错的深度效果.但是单目深度估计方法的可解释性比较弱 ...
2022最新 | 室外单目深度估计研究综述
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨汽车人来源丨自动驾驶之心论文标题:Outdoor Monocular Depth Esti ...
Python | 人脸识别系统 — 活体检测
本博客为人脸识别系统的活体检测代码解释人脸识别系统博客汇总:人脸识别系统-博客索引项目GitHub地址:Su-Face-Recognition: A face recognition for us ...
活体检测新文by京东金融：利用多帧人脸来预测更精确的深度
其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造. 书的购买链接书的勘误,优化,源代码资源接着上次 ...
深度学习-活体检测发展之数据篇（二）
本文旨在对当下活体检测研究领域的公开数据集进行整理如有不全面的地方请留言补充文章目录公开数据集分类 1. 早期公开数据集 1.1 NUAA 1.2 YALE Recaptured(需联系作者获取 ...
深度学习-活体检测发展之背景篇（一）
主要对最近看的活体检测相关技术做一个总结梳理:纯属个人理解,有不准确的地方希望大家留言讨论文章目录一.人脸识别的背景二.活体检测跟人脸识别什么关系? 三.活体检测的任务是什么? 四.活体检测技术 ...
纯视觉3D目标检测新SOTA！STS：基于Camera的深度估计新方法
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心技术交流群后台回复[领域综述]获取自动驾驶全栈近80篇综述论文! 论文链接:https ...
最全的整理：毫米波雷达在检测、分割、深度估计等多个方向的近期工作及简要介绍
前情回顾在之前,我已经有介绍过毫米波雷达在2D视觉任务上的一些经典网络[自动驾驶中雷达与相机融合的目标检测工作(多模态目标检测)整理 - Naca yu的文章 - 知乎],总结概括而言,其本质上都是 ...
DepthInSpace：多帧影像信息在单目结构光深度估计中的应用（ICCV2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者| flow,3D视觉开发者社区签约作者,毕业于中国科学院大学,人工智能领域优质创作者. 编辑| ...

最新文章

热门文章