人脸对齐--Pose-Invariant Face Alignment with a Single CNN

Pose-Invariant Face Alignment with a Single CNN
ICCV2017
http://cvlab.cse.msu.edu/project-pifa.html
4.3 FPS on a Titan X GPU

本文是解决 large-pose face alignment (LPFA)的，所谓的 large face poses 如 profile views with ±90 度 yaw angles
针对大姿态的人脸对齐问题，目前主流的方法是采用 a cascade of CNN regressors 结合不同类型的回归设计和特征提取方法。
目前 the cascade of CNNs 在大姿态的人脸对齐问题上主要存在以下三个问题：
1） Lack of end-to-end training 目前存在的方法， at each cascade stage CNN网络通常是独立训练的。有的甚至是每个阶段使用多个独立的CNN网络，例如不同的特征点的定位使用不同的 CNN网络，然后再综合起来。 these CNNs can not be jointly optimized and might lead to a sub-optimal solution
2） Hand-crafted feature extraction 因为后一个阶段的CNN的输入依赖于前一个阶段的 CNN输出，导致每个CNN只能是 shallow CNNs，所以 this framework can not extract deep features
3） Slow training speed 每个CNN独立训练，导致整个网络的训练很慢

为了解决上述问题，我们提出了一个 visualization layer

proposed CNN architecture

3.1. 3 D and 2 D Face Shapes
这里基本的思路是人脸实际上是一个3D 物体，图像中的人脸是一个 2D shape，这个 2D shape 对应着一个 3D shape ，我们希望通过特征点的对应来得到 2D shape 和 3D shape 的对应关系中的参数，最终我们是通过 CNN网络来学习这些对应参数的

3D face model

visualization block

3.3. Visualization Layer
我们这里使用 Z-Buffering 中的 z coordinate of surface normals of each vertex, transformed with the pose. It is an indicator of “frontability” of a vertex, i.e., the amount that the surface normalispointingtowardsthecamera. Thisquantityisused to assign an intensity value at its projected 2D location to construct the visualization image

Experimental Results

The testing speed of proposed method is 4.3 FPS on a Titan X GPU. It is much faster than the 0.6 FPS speed of [18] and is similar to the 4 FPS speed of [40]

人脸对齐--Pose-Invariant Face Alignment with a Single CNN相关推荐

人脸对齐--One Millisecond Face Alignment with an Ensemble of Regression Trees
One Millisecond Face Alignment with an Ensemble of Regression Trees CVPR2014 http://www.csc.kth.se/~ ...
【世界最大人脸对齐数据集】ICCV 2017：距离解决人脸对齐已不远
在一篇已经被ICCV 2017接收的论文中,诺丁汉大学的研究人员提出了他们号称是迄今最大3D人脸对齐数据集,以及精准实现2D.3D以及2D到3D人脸对齐的网络.研究人员用<我们距离解决2D&am ...
人脸对齐（十五）--PIFA with a Single CNN
Pose-Invariant Face Alignment with a Single CNN 4.3 FPS on a Titan X GPU 本文是解决 large-pose face align ...
机器学习--详解人脸对齐算法SDM-LBF
https://www.cnblogs.com/Anita9002/p/7095380.html 引自:http://blog.csdn.net/taily_duan/article/details/ ...
人脸对齐之SDM / 人脸对齐之LBF / 人脸实时替换
人脸对齐之SDM(Supervised Descent Method) 人脸对齐之LBF(Local Binary Features) 人脸识别技术大总结(1):Face Detection & ...
人脸对齐及关键点检测
严格定义上的人脸识别分为四个步骤: ①人脸检测:从图片中准确定位到人脸 ②人脸对齐: 自动定位出面部关键特征点, ③进行特征提取 ④对两张人脸图像的特征向量进行对比,计算相似度. 当今的人脸识别系统如 ...
人脸对齐（八）--LBF算法
整体来看,其实 ,ESR是基础版本的形状回归,ERT将回归树修改为GBDT,由原始的直接回归形状,改进为回归形状残差,而LBF,是加速特征提取,由原来的像素差分特征池,改为随机选择点. 转自:http ...
人脸对齐之LBF(Local Binary Features)
基于LBF方法的人脸对齐,出自Face Alignment at3000 FPS via Regressing Local Binary Features,由于该方法提取的是局部二值特征(LBF),所 ...
人脸识别之人脸对齐（八）--LBF算法
整体来看,其实 ,ESR是基础版本的形状回归,ERT将回归树修改为GBDT,由原始的直接回归形状,改进为回归形状残差,而LBF,是加速特征提取,由原来的像素差分特征池,改为随机选择点. 转自:http ...

人脸对齐--Pose-Invariant Face Alignment with a Single CNN

人脸对齐--Pose-Invariant Face Alignment with a Single CNN相关推荐

最新文章

热门文章