[2022]Facial Geometric Detail Recovery via Implicit Representation

标题：Facial Geometric Detail Recovery via Implicit Representation

链接：https://arxiv.org/pdf/2203.09692

本文处理的问题是单图的3D人脸重建。特色是（1）使用了style gan对遮挡和由于角度原因的自遮挡部分做了补全，（2）用implicit representation创建了3D图像的隐式表达，用于优化基于3DMM预测出的形状。

文章分为两个大部分：1.纹理生成，2.基于纹理的形状优化

纹理生成

如上图左边所示，作者先用语义分割模型将图像中的遮挡部分扣掉，然后用styleGANv2做了图像补全，最后和原图融合从而获得最终的人脸纹理（2D图像中可见的部分）。

由于2D图像中只展示了部分纹理，不足以填满整个纹理uv图，因此作者使用GANFIT（迭代式3DMM参数预测模型）进行3D人脸生成，然后将获得的纹理贴合到3D模型上。之后旋转这个3D模型，对无纹理部分使用stuleGANv2进行进一步补全，最终获得整张纹理UV图。

基于纹理的形状优化

这里主要用到了两个工具：基于SDF（signed distance function）的隐式3D表示和PBIDR（Physically-Based Implicit Differentiable Renderer）渲染器。

SDF简单来说就是一个可以描述空间中每个点距离表面距离的公式，因此理论上可以表示任何3D物体，但由于面部形状太过复杂，几乎不可能写出对应的SDF函数式。所以解决方案就是直接使用神经网络对这个SDF函数式进行拟合。这个神经网络的输入是一个坐标，输出就是这个点到表面的距离，而这里由于我们只关心人脸表面的形状，因此直接另SDF的方程值为0（距离表面的距离为0），那这时候所有可以另SDF方程为0的点就构成了3D人脸了。

这里作者用的是ray marching来获得光线与表面的交点，因此模型的最终形式是输入光线的属性（发射点，方向），输出交点坐标。可以看到这输入和输出与上述网络的输入输出不同，因此需要在上述网络的前后都各加一层网络。

PBIDR是neural rendering的其中一种，使用神经网络来模拟渲染过程。先前的neural rendering大都直接用一个网络来模拟整个过程，但往往并不真实。因此作者这里就提出了PBIDR。

PBIDR从字面上翻译就是基于物理的隐式可微渲染器。与以往渲染器不同点主要在于过往渲染器大都使用朗博着色模型，即物体表面只有漫反射，但这里作者使用的是Blinn-Phong着色模型，其中不仅有漫反射，还有镜面反射。

由于既有镜面反射又有漫反射，因此要预测的参数也就多了：漫反射率（点位置和颜色），漫反射着色（漫反射法向量），镜面反射率（恒定），镜面反射着色（镜面反射法向量和视角，因为镜面反射受视角影响）

为了训练上述的模型（SDF+PBIDR），作者使用了photometric loss（颜色损失），mask loss（剪影损失），Eikonal regularization（光程函数，用于训练SDF），registration loss（使用3DMM预测出的3D形状对SDF表示的形状做一下约束，从而帮助SDF拟合），法线损失（镜面法线（SDF法线）和漫反射法线（3dmm coarse mesh法线）相似性约束）

SDF和PBIDR训练完后就可以直接将基于3DMM的网格中的每个点输入网络中，预测出一个位移图，移动顶点即可优化形状。

专有名词解释：

signed distance function（SDF）：符号距离场，是一种图形表示形式，通过公式描述空间中每个点距离距离表面的距离。

参考链接：https://www.sardinefish.com/blog/296

ray marching：从摄像机位置向屏幕每一个像素点发射一条光线，光线按照一定步长前进，直到抵达物体表面。可以用于获取摄像机到表面的距离。