[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

标题：Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

链接：https://www.researchgate.net/profile/Jianzhu-Guo/publication/346771019_Beyond_3DMM_Space_Towards_Fine-Grained_3D_Face_Reconstruction/links/5fd601cb299bf1408806ba10/Beyond-3DMM-Space-Towards-Fine-Grained-3D-Face-Reconstruction.pdf

本文的目标是解决现如今人脸重建数据集不够的问题，作者认为未来随着深度相机的普及，我们将会有无穷多的RGBD图像用于训练，因此他试图寻找一种从RGBD图像中做人脸重建的方式。主要有两大贡献：

1.构建了一个新的3D人脸数据集FG3D

2.提出了一个细粒度重建网络FGNet

首先，为了构建FG3D这个数据集，作者收集了一些RGBD数据集，然后使用ICP的配准方法将3DMM模型拟合到RGBD图上，从而补齐面部的所有网格信息。

但是RGBD图的一个特性是很多地方都有空缺，因此作者就直接做了平滑处理，将有深度信息的点连接，从而补全全图的空间信息。

然后就是FGNet，这个网络的目标是在现有3DMM模型的基础上增加形状细节，从而让形状更贴合真实的图像。而增加细节的方式你就是直接预测一个UV map，最后将UV map加到3D模型上就完事。

作者提出了两个方式来预测这个UV map：

1. 相机视角：就是直接给CNN输入原始图像和PNCC图像（PNCC就是用色彩来表示坐标的空间信息的2D图像）来直接预测UV map，这个的好处就是保证信息绝对没有遗漏，但问题是模型可能需要从一些很小的细节来预测某些部位，例如耳朵等被遮挡的部分，这会让模型比较难以收敛。

2.模型视角：这里作者将3DMM模型先配准到面部，然后将图像中的人脸纹理投射到UV map中，之后做个attention来提取出重要的部分（应该是没被挡住的部分），之后与形状的UV map做拼接，输入CNN，来预测最终的形变UV map。这样的好处就是输入图像的结构永远是一致的，因为都是UV map嘛，所以模型可能会比较好学。

最后证明两个方式都有效，但是模型视角更好一些。

[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction相关推荐

[ECCV2020]Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry
标题:Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consisten ...
[读论文]弱监督学习的精确 3D 人脸重建：从单个图像到图像集-Accurate 3D Face Reconstruction with Weakly-Supervised Learning:From
论文地址:Accurate 3D Face Reconstruction with Weakly-Supervised Learning:From Single Image to Image Set ...
论文阅读（3）:Image-Based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era
论文标题:Image-Based 3D Object Reconstruction:State-of-the-Art and Trends in the Deep Learning Era 论文类型: ...
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images
论文链接:https://arxiv.org/pdf/2003.05653.pdf Abstract 首先肯定了3DMM 从单视图图片重建人脸的巨大成功,然后点出了存在的不足--面部纹理失真,然后介绍 ...
《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》论文学习笔记
<Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network>–<基于 ...
[ICCV2019]DF2Net: A Dense-Fine-Finer Network for Detailed 3D Face Reconstruction
标题:DF2Net: A Dense-Fine-Finer Network for Detailed 3D Face Reconstruction 链接:https://openaccess.thec ...
【3d face reconstruction】综述阅读
paper:State-of-the-art in 3D face reconstruction from a single RGB image 一.methods 第一步就是要选择一个face mo ...
Image-based 3D Object Reconstruction: State-of-the-Art and Trends in the Deep Learning Era
Image-based 3D Object Reconstruction: State-of-the-Art and Trends in the Deep Learning Era 深度学习领域基于图 ...
ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction
ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction 创新点: 1.针对3D人脸重建渲染成图片的约束只有2d ima ...
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using GCN
目录 1. 简介 1.1 motivation 1.2 本文关键点 1.3 本文参考使用的相关技术 2. 本文方法 2.1 流程 2.2 损失函数 1. 简介文章全称<Towards High ...

[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction相关推荐

最新文章

热门文章