【论文笔记】Recover Canonical-View Faces in the Wild with Deep Neural Network

2024-04-20 15:32:42

文章来源：CVPR2014

作者：Zhenyao Zhu，Ping Luo，Xiaogang Wang，Xiaoou Tang

（香港中文大学果然牛）

主要内容：

提出了利用深度学习（还是CNN）来进行人脸图像重构正面人脸，然后利用重构的正面人脸图像来进行人脸的verification，当然能够取得更高的准确率（比没有用正脸去verification），文章提出利用DL来学习从任意脸到canonical 脸的转换，可以认为是一个回归问题（也不一定非得用DL方法来做）。

现有的方法有两种：1. 考虑生成3D脸模型；2. 直接在2D图像空间上进行（这篇文章采用的方法）。

主要步骤：

1. 正面人脸的选择依据，2.人脸正面脸重构。

1. 关于正面人脸的选择准则：1. 左右对称性，2. 图像的秩Rank，3，结合1和2（文章采用的方法）。

所以采用的度量公式如下：

其中Yi是人脸图像，P,Q 矩阵是参数，第一项表示对称性，第二项表示图像的秩，lamda 则表示这两个准则的tradeoff。

在文章中，作者只是采用M值最小的。（可能会有问题，或者说有改进的空间，文章中作者也说了，可以采用线性组合等来计算正面人脸）

2. 正面人脸重构：

正面人脸选择之后，就可以进行训练是深度学习网络了，其准则是：

其中W是深度神经网络的参数，Yi是选择的正面脸。

网络的结构如下所示：

其包含3个卷积层，其中头两个采用max pooling ，最后一个采用全连接，不共享权值，具体的网络结构跟经典的没有太大的改进。

verification的过程：

1. 对于每一个训练图像对，重构正面脸，然后提取5个特征点Landmark，然后基于这些Landmark提取Patch。

2. 利用每个patch对来训练网络，多个特征最后被级联在一起形成最后的特征。

3. 使用PCA降维和利用SVM分类（二分类问题）。

实验细节：不是采用LFW中的图像来训练DL模型，而是采用其它的人脸图像库CelebFaces来进行训练，在LFW中能够取得96.45%的准确率。

最后看下他们的重构效果

版权声明：本文为博主原创文章，未经博主允许不得转载。

【论文笔记】Recover Canonical-View Faces in the Wild with Deep Neural Network相关推荐

论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications 论文搜索 ...
行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition
行为识别论文笔记|TSN|Temporal Segment Networks: Towards Good Practices for Deep Action Recognition Temporal ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
小样本论文笔记5：Model Based - [6] One-shot learning with memory-augmented neural networks.
小样本论文笔记5:Model Based - [6] One-shot learning with memory-augmented neural networks 文章目录小样本论文笔记5:Mod ...
论文笔记：Identifying Lung Cancer Risk Factors in the Elderly Using Deep Neural Network - Chen, Wu
论文笔记:Identifying Lung Cancer Risk Factors in the Elderly Using Deep Neural Network - Chen, Wu 原文链接 I ...
《TextBoxes: A Fast Text Detector with a Single Deep Neural Network》论文笔记
参考博文: 日常阅读论文,这是在谷歌学术上搜索其引用CRNN的相关文献中被引数量比较高的一篇OCR方向的文章,这里拿来读一读. 文章目录 make decision step1:读摘要 step2:读 ...
论文阅读（XiangBai——【AAAI2017】TextBoxes_A Fast Text Detector with a Single Deep Neural Network）...
XiangBai--[AAAI2017]TextBoxes:A Fast Text Detector with a Single Deep Neural Network 目录作者和相关链接方法概括 ...
论文翻译：2022_PACDNN: A phase-aware composite deep neural network for speech enhancement
论文地址:PACDNN:一种用于语音增强的相位感知复合深度神经网络相似代码:https://github.com/phpstorm1/SE-FCN 引用格式:Hasannezhad M,Yu H,Z ...
【读论文】A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time...
目录 1. 这篇文章的主要研究内容 2. MSCRED Framework 1. Problem Statement 2. Overview (1)Characterizing Status with ...
【读论文】Loop Closure Detection for Visual SLAM Systems Using Convolutional Neural Network
[读论文]Loop Closure Detection for Visual SLAM Systems Using Convolutional Neural Network 发表于2017年,作者是南 ...

最新文章

热门文章