摘要

在本文中，我们采用了一种完全不同的方法，利用生成对抗网络（GANs）和DCNNs的能力，从单幅图像中重建面部纹理和形状。即利用GANS从一个大规模的三维纹理数据集中训练出一个非常强大的人脸纹理先验。在此基础上，我们利用非线性优化方法对原有的三维可变形模型(3DMMS)拟合进行了研究，找到了能够在新的视角下重建测试图像的最优潜在参数。为了对初始化具有鲁棒性和加速拟合过程，我们提出了一种新的基于自监督回归的方法。

涉及的知识：

progressive growing GAN：传统上，GAN一直在努力输出低分辨率和中等分辨率的图像，例如32²（CIFAR-10）和128²（ImageNet），但是这种GAN模型能够生成1024²的高分辨率面部图像。模型如下：

Deferred shading(延迟渲染)：将光照/渲染计算推迟到第二步进行计算。我们这样做的目的是为了避免多次（超过1次）渲染同一个像素。Deferred shading技术的应用使得我们避免了应用反射模型于最终不可见的片断上。例如，考虑这样的像素，它位于两个多边形重叠的区域。通常的片断着色器会读对每个多边形分别计算那个像素一次；然而，两次执行的结果最终只有一个成为该像素的最终颜色（这里基于的一个假设是：混合已被禁用）。这样，其中的一次计算就是无用的。有了Deferred shading技术，反射模型的计算会推迟到所有几何体被处理之后，那时候每个像素位置几何体的可见性也是已知的。这样，对于屏幕上的每个像素，反射模型的计算只会发生一次。

贡献

本文的创新之处在于我们首次证明了在未包裹的UV空间上对完整面部表面的大规模高分辨率统计重建可以成功地用于任意面部纹理的重建，即使在无约束记录条件下也是如此。提出了一种新的基于GANs和可微渲染器的3DMM拟合策略。我们设计了一个新的代价函数，它结合了人脸识别网络中深度身份特征的各种内容损失。在任意记录条件下，我们证明了良好的面部形状和纹理重建，并在定性和定量实验中显示出既具有真实感又保持身份。

方法

这里的Ps，Pe，Pt和GAN(渐进增长GAN)都是训练得到的。在我们所有的实验中，给定的人脸图像与我们的固定模板对准，使用2D地标检测所检测的68个地标位置。对于身份特征，我们采用ArcFace[12]网络的预训练模型。对于生成网络G，我们在512×512的分辨率下训练了一个大约10,000个紫外图的渐进生长GAN。大致流程如下：首先渲染Ps绘制出一个3D三人网格，其次加入Pe绘制出一个带有表情参数的人脸网格(注意：在GANFIT中，并没有第一个人脸网格，在此的解释是本文采用延迟渲染的方法)。Pt通过一个渐进生长的GAN模型来得到一个UV图，我们的可微渲染器只支持颜色向量，我们从生成的UV图中采样，以获得向量化的颜色表示。此外，我们渲染一个随机的表情、姿态和光照的二次图像，以便在这些变化下更好地推广身份相关参数。我们从正态分布中抽取表达式参数,从300W-3D数据集的高斯分布中抽取摄像机参数和光照参数为p，这个与IR具有相同身份的渲染图像(即，具有相同的Ps和Pt参数)。

优化

为了对初始化具有鲁棒性并加快拟合过程，我们提出了一种新颖的基于自监督的回归方法。其中Face Recognition CNN和Landmark Detection是训练好的。为了使GANFIT优化参数更接近全局/良好极小值，我们提出用相同的图像形成和损失函数训练编码器网络，这些函数从输入图像中回归潜在参数。通过该结构的输出来初始化GANFit模型的参数，加速了网络的训练。

CVPR_2021_Fast-GANFIT: Generative Adversarial Networkfor High Fidelity 3D Face Reconstruction相关推荐

Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images
论文链接:https://arxiv.org/pdf/2003.05653.pdf Abstract 首先肯定了3DMM 从单视图图片重建人脸的巨大成功,然后点出了存在的不足--面部纹理失真,然后介绍 ...
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
摘要卷积神经网络的最新进展已显示出有希望的3D形状完成结果. 由于GPU内存的限制,这些方法只能产生低分辨率的输出. 为了用语义上的合理性和上下文详细信息修补3D模型,我们引入了一个混合框架,该框架 ...
从《西部世界》到GAIL（Generative Adversarial Imitation Learning）算法
原文链接:https://blog.csdn.net/jinzhuojun/article/details/85220327 一.背景看过美剧<西部世界>肯定对里边的真实性(fideli ...
Generative Adversarial Registration for Improved Conditional Deformable Templates 论文
Generative Adversarial Registration for Improved Conditional Deformable Templates 论文这是一篇21年5月份的配准论文 ...
生成对抗网络学习笔记4----GAN（Generative Adversarial Nets）的实现
首先是各种参考博客.链接等,表示感谢. 1.参考博客1:地址 2.参考博客2:地址 --以下,开始正文. 1.GAN的简单总结见上一篇博客. 2.利用GAN生成1维正态分布首先,我们创建&quo ...
Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy（计算机视觉中的GANs:综述与分类）
Abstract: 生成对抗网络(GANs)在过去几年得到了广泛的研究.可以说,他们最重要的影响是在计算机视觉领域,在挑战方面取得了巨大的进步,如可信的图像生成,图像之间的翻译,面部属性操纵和类似领域 ...
ESRGAN - Enhanced Super-Resolution Generative Adversarial Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
生成对抗网络 – Generative Adversarial Networks | GAN
生成对抗网络 – Generative Adversarial Networks | GAN 生成对抗网络 – GAN 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频.我们手 ...

CVPR_2021_Fast-GANFIT: Generative Adversarial Networkfor High Fidelity 3D Face Reconstruction

摘要

涉及的知识：

贡献

方法

优化

CVPR_2021_Fast-GANFIT: Generative Adversarial Networkfor High Fidelity 3D Face Reconstruction相关推荐

最新文章

热门文章