人脸检测——MTCNN学习笔记

论文：Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
论文地址：https://kpzhang93.github.io/MTCNN_face_detection_alignment/

这篇论文在人脸检测与特征点定位任务上，精度较之前的state-of-art的算法有明显的提升，而且具有实时处理的性能。文中主要两点：
（1）通过三阶的级联卷积神经网络对任务进行从粗到细的处理
（2）提出一种新的在线硬生成采样策略可以进一步提升性能，即在一个batch中只选择loss占前70%的样本进行BP。
在线硬生成采样的策略，是指不同于以往离线生成采样的方式，本文的处理方式是在每个mini-batch中选出70%大loss的样本作为硬样本，并且在BP阶段只利用这部分计算梯度。也就是说抛弃了一些对强化分类没有多大作用的简单样本。文中表示，通过实验表明这样做能够进一步提升精度。

其中三阶级联卷积神经网络是最主要的，每个阶段处理三个任务：人脸/非人脸判定、人脸框回归和特征点定位。
人脸/非人脸的判定采用cross-entropy损失函数，人脸框回归和特征点定位采用欧式距离损失函数。
其中a表示三个任务在当前阶段的网络中损失所占比重。B是采样类型指示，取值为{0,1}，当人脸/非人脸判定为非人脸时，box和landmark的B取值0，而det取值1；判定为人脸时，全部取值为1。

各阶段详述：
1、数据与处理：为应对目标多尺度问题，将原始图像resize到不同尺寸，构建图像金字塔，作为三阶级联架构的输入。

2、第一阶段：通过一个浅层的CNN快速生成候选窗口。
该阶段是一个全部由卷积层组成的CNN，取名P-Net，获取候选人脸窗口以及人脸框回归向量。基于人脸框回归向量对候选窗口进行校正。之后采用NMS合并高重叠率的候选窗口。
该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,0.5}.该阶段模型图如下图所示：

3、第二阶段，通过一个更复杂的CNN否决大量非人脸窗口从而精化人脸窗口。
第一阶段输出的候选窗口作为R-Net的输入，R-Net能够进一步筛除大量错误的候选窗口，再利用人脸框回归向量对候选窗口做校正，并执行NMS（非极大值抑制）。
该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,1.0}。该阶段模型图如下图所示：

4、第三阶段，使用更复杂的CNN进一步精化结果并输出5个人脸特征点。
与stage2相似，但这一阶段用更多的监督来识别人脸区域，而且网络能够输出五个人脸特征点位置坐标。
该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,1.0}。该阶段模型图如下图所示：

人脸检测——MTCNN学习笔记相关推荐

深度学习自学（二）：人脸检测MTCNN学习总结
一.MTCNN关键参数 nms_threshold:非极大值抑制nms筛选人脸框时的IOU阈值,三个网络可单独设定阈值,值设置的过小,nms合并的少,会产生较多冗余计算.示例nms_threshold ...
人脸检测MTCNN和人脸识别Facenet(附源码)
原文链接:人脸检测MTCNN和人脸识别Facenet(附源码) 在说到人脸检测我们首先会想到利用Harr特征提取和Adaboost分类器进行人脸检测(有兴趣的可以去一看这篇博客第九节.人脸检测之Haa ...
Keras框架：人脸检测-mtcnn思想及代码
人脸检测-mtcnn 概念: MTCNN,英文全称是Multi-task convolutional neural network,中文全称是多任务卷积神经网络, 该神经网络将人脸区域检测与人脸关键点 ...
目标检测SSD学习笔记
目标检测SSD学习笔记 SSD: Single Shot MultiBox Detector Abstract. 我们提出了一种使用单一深度神经网络来检测图像中的对象的方法.我们的方法,命名为SSD, ...
Task 06 数据增强；模型微调；目标检测基础学习笔记
Task 06 数据增强:模型微调:目标检测基础学习笔记数据增强图像增广在5.6节(深度卷积神经网络)里我们提到过,大规模数据集是成功应用深度神经网络的前提.图像增广(image augmen ...
深入目标检测原理学习笔记1
目标检测(object detection)学习笔记文章目录目标检测(object detection)学习笔记一.目标检测任务概述 1.图像识别的任务 2.图像识别的两种模式 3.目标检测的定 ...
（转）第三十七节、人脸检测MTCNN和人脸识别Facenet(附源码)
http://www.cnblogs.com/zyly/p/9703614.html 在说到人脸检测我们首先会想到利用Harr特征提取和Adaboost分类器进行人脸检测(有兴趣的可以去一看这篇博客第 ...
万字长文：人脸识别综述(学习笔记)
人脸的检测与识别是一个历史悠久的方向,之前没做过相关的工作,所以对人脸检测的相关流程没有很清晰的概念.工作原因,近期对人脸识别的来龙去脉做一个笔记和知识梳理,从上到下的一个pipeline,文章部分内 ...
【OpenCV-Python】——Haar人脸检测深度学习人脸检测EigenFaces/FisherFaces/LBPH人脸识别
目录前言: 1.人脸检测 1.1 基于Haar的人脸检测 1.2 基于深度学习的人脸检测 2.人脸识别 2.1 EigenFaces人脸识别 2.2 FisherFaces人脸识别 2.3 LBPH ...

人脸检测——MTCNN学习笔记

人脸检测——MTCNN学习笔记相关推荐

最新文章

热门文章