人脸对齐（十四）--LPFA

Large-Pose Face Alignment via CNN-Based Dense 3D Model Fitting（LPFA）

作者试图使用3D人脸建模解决大姿态下面部特征点定位问题。其实跟PIFA2017差不多，双回归架构，3DMM模型，唯一不同的是级联CNN的细节上，以及设计的特征上。
2D的人脸形状U可以看成是3D人脸形状A通过投影变化m得到，如下图所示： 3D人脸形状模型可以表示为平均3D人脸形状 A 0 与若干表征身份、表情的基向量 A id 和 A exp 通过p参数组合而成

这里参数的定义，跟PIFA2017类似，都是3DMM模型。另外，级联双回归架构也类似。每级CNN的设计如下：

完整的级联架构如下：

面部特征点定位问题（预测U）可以转变为同时预测投影矩阵m和3D人脸形状模型参数p

算法的整体框架通过级联6个卷积神经网络来完成这一任务：
(1) 首先以整张人脸图像作为输入，来预测投影矩阵的更新
(2) 使用更新后的投影矩阵计算当前的2D人脸形状，基于当前的2D人脸形状抽取块特征作为下一级卷积神经网络的输入，下一级卷积神经网络用于更新3D人脸形状
(3) 基于更新后的3D人脸形状，计算可得当前2D人脸形状的预测
(4) 根据新的2D人脸形状预测，抽取块特征输入到卷积神经网络中来更新投影矩阵，交替迭代优化求解投影矩阵m和3D人脸形状模型参数p，直到在训练集收敛

值得一提的是，该方法在预测3D人脸形状和投影矩阵的同时也考虑到计算每一个特征点是否可见。如果特征点不可见，则不使用该特征点上的块特征作为输入，这是普通2D人脸对齐方法难以实现的
此外，作者提出两种pose-invariant的特征Piecewise Affine-Warpped Feature (PAWF)和Direct 3D Projected Feature (D3PF)，可以进一步提升特征点定位的精度。

后面的文章里提到，LPFA在Titan X GPU上，只有0.6FPS，看看就行了。

人脸对齐（十四）--LPFA相关推荐

人脸对齐（四）--CLM算法及概率图模型改进
原文: http://blog.csdn.net/marvin521/article/details/11489453 04.概率图模型应用实例最近一篇文章<Deformable ...
人脸对齐LBF(四)
随机森林的训练过程: 1:随机的选择一部分样本,按照一定的比例选择样本: 2:训练一棵树的时候,随机的选择一部分特征,训练一个节点,之后把样本分为左右两颗子树: 3:继续在左子树训练样本,随机的选择特 ...
全球与中国人脸语音生物识别市场”十四“五规模状况与前景趋势分析报告2021-2027年版
全球与中国人脸语音生物识别市场"十四"五规模状况与前景趋势分析报告2021-2027年版本文研究全球及中国市场人脸语音生物识别现状及未来发展趋势,侧重分析全球及中国市场的主 ...
人脸对齐（十五）--PIFA with a Single CNN
Pose-Invariant Face Alignment with a Single CNN 4.3 FPS on a Titan X GPU 本文是解决 large-pose face align ...
tensorflow精进之路(二十八)——人脸识别(下)（MTCNN人脸检查和人脸对齐+CASIA-WebFace数据集模型）
1.概述这一讲,我们来训练自己的人脸识别模型. 2.下载CASIA-WebFace人脸数据集 CASIA-WebFace人脸数据集包含了10575个人的494414张人脸图片,需要在 http:// ...
人脸方向学习（十四）：Face Anti-Spoofing-人脸活体检测－双目红外活体检测解读
整理的人脸系列学习经验:包括人脸检测.人脸关键点检测.人脸优选.人脸对齐.人脸特征提取.人脸跟踪.人脸活体检测等学习过程总结,有需要的可以参考,仅供学习,请勿盗用.https://blog.csdn. ...
人脸对齐（二十）--PRN
Joint3D Face Reconstruction and Dense Alignment with Position Map Regression(PRN2018) 我们从之前的论文可以看出,基 ...
人脸对齐（十八）--Joint Face Alignment and 3D Face Reconstruction
Joint Face Alignment and 3D Face Reconstruction(2016) 本文主要提出了一种新的方法来解决任意姿态和表情的2D人脸图片的特征点定位和3D人脸重构.该方 ...
人脸对齐（十六）--DenseFA
Dense Face Alignment ICCVW2017 http://cvlab.cse.msu.edu/project-pifa.html MatConvNet code model can ...

人脸对齐（十四）--LPFA

Large-Pose Face Alignment via CNN-Based Dense 3D Model Fitting（LPFA）

人脸对齐（十四）--LPFA相关推荐

最新文章

热门文章