CASIA-SURF

介绍

本文开源了一个包含大量不同年龄段人的多形式(RGB,Depth，IR)的数据集，称之为CASIA-SURF，它也是当时不管从目标数还是形式数来看都是最大的开源活体检测数据集。它包含了1000个不同的目标，拥有21000个视频。其次，还提供了广泛的验证指标，不同的验证方式，训练/测试/验证子集，测量工具，进一步提升了活体检测的基准。

内容

文中也简述了现有的活体检测数据集的缺点：
1> 目标数太少，之前数据集的目标数不到170个，视频不足6000。
2> 形式太少，多数都是只有RGB一种形式的图片。
3> 验证标准不够广泛。
4> 验证方式不够多样性。

方法

活体检测也研究了很长时间。一些之前的研究试着通过眨眼等来检测是否是活体，还有的一些研究基于内容和移动的信息。为了提升对光照变化的鲁棒性，一些研究采用了HSV和YCbCr彩色空间和傅里叶变换。所有这些方法都使用了手动得到的特征，比如说LBP，HOG和GLCM。最近也提出了很多融合的方法来获得更泛化的检测性能，不够由于缺少多形式的数据集，这些方法多融合的是分值和特征层级，而不是各形式的数据。最近随着CNN的发展，将活体检测作为一个二分类问题来解决取得了不错的效果。

数据采集

数据集的采集是通过采用 Intel RealSense SR300相机在不同的室内背景下采集得到的，同时采集得到 RGB, Depth和InfraRed (IR)视频。采集的RGB图片分辨率为1280X720，Depth和IR的分辨率为640X480.采集过程如下：

攻击方式

通过A4纸彩印志愿者的人脸并扣去不同的部位得到了6种不同的攻击方式,如下图所示，分别为：
1> 将抠除了眼睛的A4纸平铺在脸上
2> 将抠除了眼睛的A4纸弯曲的放在脸上
3> 将抠除了眼睛和鼻子的A4纸平铺在脸上
4> 将抠除了眼睛和鼻子的A4纸弯曲的放在脸上
5> 将抠除了眼睛和鼻子和嘴巴的A4纸平铺在脸上
6> 将抠除了眼睛和鼻子和嘴巴的A4纸弯曲的放在脸上

数据预处理

在制作数据集时，移除了背景区域。具体步骤如下，如下图所示：
1：使用Dlib检测人脸区域并对齐。
2：采用PRNet进行3D重构和对齐。
3：基于之前的是否为人脸区域建立一个面具。
4：基于第三部的面具区域在原图上获取人脸，其他区域置空即可。

数据统计信息

在录制的视频上每10祯采样1帧作为样本。详细如下：

融合方法

本文也是将活体检测作为一个二分类问题，然后在ResNet18/34上进行了实验。然后这里存在的一个关键的问题就是如何融合这三种形式的数据，我们采用了三个分支子网络来分别学习对应的RGB/Depth/IR的数据，并提出了Squeeze and Excitation Fusion (SEF)模块来对不同层级的特征进行融合。就是对res3/4/5各个形式的图片特征通过SEF进行融合，然后再通过GAP之后连接在一起，然后再s送往预测真假。
SEF的组成及原理，如图1所示：
图1是SENet的Block单元，图中的Ftr是传统的卷积结构，X和U是Ftr的输入（C’xH’xW’）和输出（CxHxW），这些都是以往结构中已存在的。SENet增加的部分是U后的结构：对U先做一个Global Average Pooling（图中的Fsq(.)，作者称为Squeeze过程），输出的1x1xC数据再经过两级全连接（图中的Fex(.)，作者称为Excitation过程），最后用sigmoid（论文中的self-gating mechanism）限制到[0，1]的范围，把这个值作为scale乘到U的C个通道上，作为下一级的输入数据。这种结构的原理是想通过控制scale的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强。

本文的融合过程如下图(a)所示，SEF如图(b)所示：

消融实验

从表格中第一列可以看到各f方法的具体作用及效果。

不同形式图片的效果

文中通过实验证实了融合三种形式的图片得到的效果是最好的，而只使用RGB形式的图片的效果最差，具体如下：

跨形式验证

在一种形式的图片上训练，然后在另外一种形式的图片上验证，结果如下：

CASIA-SURF相关推荐

SURF算法与SIFT算法的性能比较——图像特征点检测与提取算法分析
图像特征点提取算法的算法研究(SURF和SIFT算法) 1. 摘要计算机视觉中,很大一部分研究集中在图像特征提取和特征生成算法上.对图像的优化,不同于一般数学问题的优化方法,图像的优化是对像素点,在 ...
OpenCV中的SURF（Speeded-Up Robust Features 加速鲁棒特征）
OpenCV中的SURF(加速健壮功能) 1. 效果图 2. 原理 2.1 为什么SURF比SIFT快? 2.3 怎样获取SIFT与SURF? 3. 源码参考上一篇博客介绍了用于关键点检测和描述的 ...
SIFT和SURF的替换算法——ORB (Oriented FAST and Rotated BRIEF 快速定向和旋转)
SIFT和SURF的替代算法--ORB (Oriented FAST and Rotated BRIEF 快速定向和旋转 1. 效果图 2. 源码参考 1. 用于关键点检测和描述的SIFT(Scal ...
物体识别算法——SIFT/SURF、haar特征、广义hough变换的对比分析
著作权归作者所有. 商业转载请联系作者获得授权,非商业转载请注明出处. 作者:cvvision 链接:http://www.cvvision.cn/7780.html 来源:CV视觉网识别算法概述: ...
SURF与SIFT比较分析
opencv3.2 SURF实现特征点匹配 opencv3.2中SurfFeatureDetector.SurfDescriptorExtractor.BruteForceMatcher这三个的使用方 ...
SLAM前端 ---------特征提取之ORB（ORB与SIFT与SURF）
ORB 论文翻译: 一种特征匹配替代方法:对比SIFT或SURF 1.ORB特征简介 ORB是Oriented FAST and Rotated BRIEF(oFAST and rBRIEF)的简称 ...
SURF 特征检测及匹配
#include <opencv2/opencv.hpp> #include <opencv2/xfeatures2d.hpp> #include <opencv2/xf ...
详解计算机视觉中的特征点检测：Harris / SIFT / SURF / ORB
作者丨Encoder@知乎来源丨https://zhuanlan.zhihu.com/p/36382429 编辑丨极市平台本文仅用于学术分享,若侵权,联系后台作删文处理.极市导读 Harris角点 ...
在SIFT和SURF之后，有哪些比较新的且具有一定影响力的自然图像配准算法？
链接:https://www.zhihu.com/question/32066833/answer/2041516754 编辑:深度学习与计算机视觉声明:仅做学术分享,侵删作者:Vinjn张静 h ...
解决: AttributeError: module 'cv2' has no attribute 'SURF'
AttributeError: module 'cv2' has no attribute 'SURF' 遇到该问题时,网友多是建议补个包,即pip install opencv-contrib-py ...