【3d face reconstruction】DECA论文阅读

题目：Learning an Animatable Detailed 3D Face Model from In-The-Wild Images（ACM Trans. Graph. 2021）

单位：Max Planck Institution

一、摘要

•提出了一种方法能够回归3D人脸形状并且有特定于个体的随表情变化的细节。

•提出的模型DECA（detailed expression capture and animation）能够从由特定于人的细节参数和通用表情参数组成的低维潜在表示中稳健地生成UV位移map，而回归器经过训练，能够从单张图片中预测细节、形状、反照率、表情，姿势和照明参数。

•提出了一种新的细节一致性损失，它将个人特定的细节与表情依赖性皱纹分离开来。这种分离允许我们通过控制表达参数合成真实的特定于人的皱纹，同时保持特定于人的细节不变。

•在NoW上的实验取得了SOTA的效果。

二、网络结构

首先在训练阶段，输入一张图片I，进行进行粗糙的回归（蓝线）和细节回归（红线）两部分。

在粗糙回归阶段，I首先进入Ec，回归出一个低维的latent code，它包含相机，反射，光线，形状，姿势以及表情编码，通过FLAME得到一个coarseshape，通过DA（BFM的线性反射子空间作为FLAME的UV生成）得到一个纹理的map，再根据相机和光照参数，渲染出一个2D图片Ir，然后最小化Ir和I之间的差异。

在细节回归阶段，我们通过一个细节的UV位移map增强了粗糙的FLAME几何，输入一张图片I，通过一个训练好的encoder Ed（Ed和Ec有相同的结构）得到一个128维的latent code（控制了一个人特定的静态细节），将这个code和从Ec中得到的表情和下颌姿势参数拼接起来（获取这个人的动态表情皱纹细节），得到一个新的code，由decoder Fd解码成D。将D转化为法线map用于渲染。

细节渲染：细节位移模型可以生成带有中等频率的表面细节图片。为了得到有细节的几何M’，需要将粗糙的几何加上细节，即：

然后就可以通过M’，计算出它的法向N’用于渲染出带有细节的图片Ir’：

三、结果

【3d face reconstruction】DECA论文阅读相关推荐

Learning Multiview 3D point Cloud Registration论文阅读笔记
Learning multiview 3D point cloud registration Abstract 提出了一种全新的,端到端的,可学习的多视角三维点云配准算法. 多视角配准往往需要两个阶段 ...
【3d face reconstruction】综述阅读
paper:State-of-the-art in 3D face reconstruction from a single RGB image 一.methods 第一步就是要选择一个face mo ...
Face Swapping under Large Pose Variations: a 3D Model Based Approach论文阅读笔记
题目:Face Swapping under Large Pose Variations: a 3D Model Based Approach 翻译:大姿态变化下的人脸交换:一种基于三维模型的方法摘 ...
Stratified Transformer for 3D Point Cloud Segmentation论文阅读笔记
任务概述通过注意力机制提取点云中点的特征,通过这个特征预测点云中点的类别. 论文创新点 1.Transformer结合U-net,融合不同尺度的点云特征. 2.提出一种分层注意力机制,较密集的近程点 ...
Orientation-boosted Voxel Nets for 3D Object Recognition--ORION论文阅读
Orientation-boosted Voxel Nets for 3D Object Recognition–ORION论文阅读三维物体识别的定向增强体素网络–Orion orientation ...
论文阅读（3）:Image-Based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era
论文标题:Image-Based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era 论文类型: ...
论文阅读（2）3D Human Body Reconstruction from a Single Image via Volumetric Regression
3D Human Body Reconstruction from a Single Image via Volumetric Regression 论文阅读 Abstract 1 Introduct ...
【论文阅读】Occupancy Networks: Learning 3D Reconstruction in Function Space
论文题目:Occupancy Networks: Learning 3D Reconstruction in Function Space(占据网络:在函数空间内学习三维重建,简称ONet) 论文作者 ...
【论文阅读】A Point Set Generation Network for 3D Object Reconstruction from a Single Image
论文题目: A Point Set Generation Network for 3D Object Reconstruction from a Single Image (由单张图像进行三维物体重建 ...

【3d face reconstruction】DECA论文阅读

【3d face reconstruction】DECA论文阅读相关推荐

最新文章

热门文章