[CVPR2020]FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face
标题：FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction
链接：https://arxiv.org/pdf/2003.13989
本文主要是两大贡献，一是提供了一个高精度多表情的人脸3D扫描数据集，另一个是提出了一套人脸3D重构算法来拟合面部细节。
首先，他提供的这个数据集叫FaceScape，是用了68个相机阵列拍摄的，有938个人，年龄从16-70岁，每个人拍摄了20种表情，并且数据集中还有个人信息的记录（性别，年龄之类的）。
文中提出的模型如图所示，分为三个部分。
第一个部分就是拟合3DMM模型，作者使用的是双线性的表达方式。一般3DMM参数表达都是“最终人脸=表情参数*表情基底+身份参数*身份基底”这样的线性模型，而本文用的是“最终人脸=总基底*表情参数*身份参数”这样的双线性方程，作者展示了最终效果，说是挺不错的。
第二个部分就是预测置换贴图，置换贴图(displacement map)就是为了给基础的3DMM模型增加一些细节的。作者这里用了pix2pixHD这个GAN模型 ，输入是人脸的纹理图和deforming map，输出就是对应的displacement map了。这个deforming map就是计算了不同表情之间人脸网格对应点的位移向量，其实也就是替代了表情标签而已（个人理解）。
第三个部分就是动态细节生成，其实也就是给每个表情的置换贴图都加上一个attention matrix，最后将所有20中表情的置换贴图通过加权求和的方式得到最终适合目标表情的那个displacement map（因为人类不仅仅只有这20种表情，使用了加权求和就可以表示更多不同的表情了）。最后再将最终的displacement map放到拟合完的3DMM模型上生成最终人脸即可。
[CVPR2020]FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face相关推荐
- FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction
目录 1. 简介 1.1 本文贡献 1.2 方法概述 2. 相关研究介绍 2.1 三维人脸数据集 2.2 关于3DMM的研究 2.3 关于单视图人脸形状重建 3. 本文数据集--FaceScape 3 ...
- 【读】seq2seq—（4）LCSTS: A Large Scale Chinese Short Text Summarization Dataset
本文转载自: 自动文摘(九) 目录 Abstract Introduction Data Collection Data Properties Experiment Conclusion and Fu ...
- Paper之BigGAN：《Large Scale Gan Training For High Fidelity Natural Image Synthesis》翻译与解读
Paper之BigGAN:<Large Scale Gan Training For High Fidelity Natural Image Synthesis>翻译与解读 目录 效果 1 ...
- 【多标签文本分类】Large Scale Multi-label Text Classification with Semantic Word Vectors
·阅读摘要: 本文提出了利用词向量+CNN/词向量+GRU来解决大规模数据下的多标签文本分类问题. [1] Large Scale Multi-label Text Classificatio ...
- Machine Learning week 10 quiz: Large Scale Machine Learning
Large Scale Machine Learning 5 试题 1. Suppose you are training a logistic regression classifier using ...
- Paper之BigGAN：ICLR 2019最新论文《LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS》(未完待续)
Paper之BigGAN:ICLR 2019最新论文<LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS> ...
- 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 17—Large Scale Machine Learning 大规模机器学习...
Lecture17 Large Scale Machine Learning大规模机器学习 17.1 大型数据集的学习 Learning With Large Datasets 如果有一个低方差的模型 ...
- Introducing DataFrames in Apache Spark for Large Scale Data Science（中英双语）
文章标题 Introducing DataFrames in Apache Spark for Large Scale Data Science 一个用于大规模数据科学的API--DataFrame ...
- Large scale GAN training for high fidelity natural image synthesis解读
<Large scale GANtraining for high fidelity natural image synthesis>这篇文章对训练大规模生成对抗网络进行了实验和理论分析, ...
最新文章
- 【工具软件】webstorm如何使用快捷键生成固定代码
- Java全角、半角字符的关系以及转换
- ps2020的antlib文件在哪_ant design pro 新增页面
- JavaScript垃圾回收机制理解
- 泽泽计算机科技,《计算机与信息技术》大学技能学习丛书.pdf
- linux fdisk 磁盘空间使用率,linux查看磁盘剩余空间以及cpu使用情况
- a recordset php,UsingCOMwithPHP(我就不翻译了)_PHP
- linux sshd 开机自启动
- 有爱无碍，科技为他们点亮漫天星光
- 画三线格子的高效方法，不用再一个格子一个格子的选中啦
- 自学编程到底有多难?
- 双线性插值实现图像放大算法 matlab,FPGA/verilog实现双线性插值图像放大
- linux 升级php 5.3,Linux PHP5.3升级PHP5.5.33 (CentOS)
- 很全很强大国内值得关注的官方API集合（太幸福啦）
- No module named ‘frontend‘
- nginx配置文件的基本参数略解
- 为什么那么多人吐槽华为员工35岁就会被辞退？HR告诉你真实情况
- 使用QGIS制作点密度专题图
- 如何对自己的Unity项目代码进行加密混淆？
- 深入浅出matplotlib(10)：构造圆弧示意图