人脸实战之关键点检测

这篇应用是我的同事做的一些工作，感谢@张翼翔

一、人脸关键点检测的目标

人脸关键点检测目标就是自动定位人脸关键区域，之后对人脸进行对齐校正，本质属于人脸识别前的预处理过程

二、人脸关键点检测的应用

美颜/美妆
换脸
表情识别

三、落地方案

3.1 reference

PFLD:A Practical Facial Landmark Detector

3.2 关键点面临的挑战

遮挡，姿态
分辨率，亮度
表情变化
精度与模型大小
数据不平衡

PFLD是一个多任务的模型同时解决了角度检测和关键点定位，在实际测试中角度回归的准确度也很准确

3.3 pipeline

3.4 改进措施

a. 模型层面

b. 数据层面

融合多个数据集WLFW、LAPA、300W，其中包含许多大角度的侧脸，闭眼，遮挡等情况，同时使用bounding-box随机扰动，随机旋转，随机水平翻转，随机亮度做数据增强

c. loss

关键点损失：WingLoss
姿态损失：smoothL1
L=关键点损失+姿态损失

3.5 结果对比

四、评价指标

评价指标一：ION
ei=∣∣xi−xi∗∣∣2de_i= {||x_i-x^*_i||_2\over d} ei=d∣∣xi−xi∗∣∣2
d=两个外眼角的距离d=两个外眼角的距离d=两个外眼角的距离
评价指标二：NME
ei=∑i=1N∣∣xi−xi∗∣∣2N∗de_i={\sum^N_{i=1}||x_i-x_i^*||_2 \over N*d}ei=N∗d∑i=1N∣∣xi−xi∗∣∣2
N∗d=两个瞳孔的距离∗关键点数N*d=两个瞳孔的距离*关键点数N∗d=两个瞳孔的距离∗关键点数

人脸实战之关键点检测相关推荐

Demo : 人脸5个关键点检测
Demo : 人脸5个关键点检测资料代码:gitee 数据集:百度云盘密码:jc6w 算法构建人脸关键点检测,需要使用回归算法,因此一开始的想法就是前面使用多层卷积,适当添加残差网络作为基础模 ...
人脸定点：关键点检测方法汇总
相关博客: http://blog.csdn.net/yang_xian521/article/details/7468571 http://blog.sina.com.cn/s/blog_6d8 ...
HyperLandmark-开源人脸106点关键点检测SDK，北京智云视图科技
原 HyperLandmark-开源人脸106点关键点检测SDK 2018年07月19日 15:25:44 lsy17096535 阅读数:3260 </div><div class ...
dilb人脸识别+68关键点检测
**简单的人脸识别记个笔记 ** # 导入库 import cv2.cv2 as cv2 import numpy as np import dlib import matplotlib.pyplo ...
人脸对齐及关键点检测
严格定义上的人脸识别分为四个步骤: ①人脸检测:从图片中准确定位到人脸 ②人脸对齐: 自动定位出面部关键特征点, ③进行特征提取 ④对两张人脸图像的特征向量进行对比,计算相似度. 当今的人脸识别系统如 ...
python+OpenCv+dlib实现人脸68个关键点检测
pip install dlib==19.7.0 下载地址: http://dlib.net/files/ dlib中为我们提供了关于人脸检测标注训练好的文件可在http://dlib.net/fil ...
人脸数据库大全（包括人脸识别、关键点检测、表情识别，人脸姿态等等）
搞计算机视觉的人,对人脸技术并不陌生.在做实验的时候需要各种数据集进行训练,却往往苦于找不到合适的数据集,这篇文章将给大家带来一点福音. 目前为止最全的是人脸数据库总结: The Color FERE ...
dlib库包的介绍与使用，opencv+dlib检测人脸框、opencv+dlib进行人脸68关键点检测，opencv+dlib实现人脸识别，dlib进行人脸特征聚类、dlib视频目标跟踪
文章目录: 1 dlib库介绍 2 dlib人脸检测:绘制出人脸检测框 2.1 dlib人脸检测源码 2.2 opencv + dlib 人脸检测 2.3 dlib人脸检测总结 3 dlib人脸关键点 ...
只讲关键点之兼容100+种关键点检测数据增强方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨DefTruth 编辑丨极市平台本文介绍了已有的几种关键点检测数据增强的方法,将其的优缺点进行 ...
OpenCV手部关键点检测（手势识别）代码示例
点击我爱计算机视觉标星,更快获取CVML新技术前几日分享了learnopencv.com博主Satya Mallick发表的关于OpenCV Mask RCNN实例分割的博文(详见:OpenCV4. ...