背景

PRCV2021大会上，虞老师演讲了关于人体重建的最新的一些工作，会议链接，在第2时20分，看完不禁感叹一句，大佬就是大佬，帅气逼人~

演讲内容

虞老师由热题元宇宙中的Meta Human引入话题，这个talk依次讲了Meta Human的应用、传统三维重建方法、用深度学习重建人的身体、人脸、人手、毛发的方法。

应用

Meta Human现在和未来将被应用于电影制作，游戏制作、VR、AR，运动，我觉得未来元宇宙的教育场景也是一种容易应用的趋势。

传统三维重建方法

虞老师主要介绍了两种常用的传统三维重建方法，分别是SFM，photometric Stereo, 关于三维重建方法的分类可以看我以前的一篇博客。

stereo SFM 这种方法的重要思想是拍摄很多图片，计算每张图像拍摄的相机的位姿，提取特征，求得每个相机之间得变换，最后求得每个点的三维位置，最后得到物体的三维几何。这种方法需要大量的图片，但不一定图片越多重建效果越好，原因是每个相机的一小点的误差都会影响整体的重建效果，系统会认为这种误差是重建的细节，最后导致误差累计，反应在重建效果上。
Photometric Stereo 这种重建方法不需要大量的相机，用一个固定的相机，利用多个光源，求得法线信息，要求对材质有要求，漫反射。重建一个人的脸给这个人搭建一个系统，实用性不高。缺点：人的皮肤是油的、半透明的，会带来很多误差。

重建人的身体

与其重建，不如渲染：论文链接Multi-view Neural Human Rendering
目的：利用高质量的图片，进行自监督的训练，即使点云质量很差，也能恢复出好的三维模型。
原理：1、从点云提取特征；2、把点云投影到拍摄的图像下；3、U_Net学习，把点云图像质量的变得更好，把抠像的mask学习好4、通过学mask重建一个新的几何 5、融合老的几何，得到一个好的几何。

扩展：用六个相机（RGBD）的到稀疏点云，用神经网络的方法重建。论文链接Few-shot neural human performance rendering from sparse rgbd videos——》用六个GRB相机做同样的事；论文链接NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras
——》用单个相机做同样的事，论文链接ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References;人在动作过程中做一个多视角的融合。

重建人脸

人脸和手指一样，是一个非刚体的重建，在重建立是比较困难的。
用单张图片学习出三维脸模型的方法，DFDN：Photo-Realistic Facial Details Synthesis From Single Image ；原理：输入有三维结构的数据作为groundtruth 和单张人脸的数据训练

除此之外，虞老师又介绍了动态的3D扫描，多相机多光源的采集系统采集重建超高清数据。用相片的材质和光源去猜测法向，渲染图片。（其实没听懂）
然后分享了一个单张图片的多视角的渲染paper，SofGAN: A Portrait Image Generator with Dynamic Styling.

三维光线relighting的应用，Neural Video Portrait Relighting in Real-time via Consistency Modeling

人手重建

现有的一些重建手的模型都不是很逼真，例如，SMPL、MANO、HTML。
手的骨头，肌肉的三维结构很难重建，虞老师他们利用MRI（核磁共振） Scans，把手放在模具里固定再重建。有了骨骼之后可以做一些绑定形变的工作。分享一项用单张图片重建手的几何（骨头）工作，PIANO: A Parametric Hand Bone Model from Magnetic Resonance Imaging

重建头发

头发是三维重建最难作的，没有一个固定的几何结构，所以很难。其中一个工作用一个隐式表达来表达头发–神经网络，先把头发当成一个几何投影RGB，用RGB图像训练几何。Neural Opacity Point Cloud

最后介绍了非常厉害了一个表达，Neural Radiance Field，他的思想是：不管有没有几何，我拍很多照片放到神经网络里，输入是每一个光线（位置和方向），输出是沿着这个光线的RGB和距离。和传统几何表示不一样，没有一个显式的几何。NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

最近的一项工作使用Nerf产生毛发，Convolutional Neural Opacity Radiance Fields

最后思考

虞老师认为很有可能未来神经网络的表达是一个三维主流的表达。神经网络还可以在同一个场景里叠加,下面最近的一项工作Editable Free-Viewpoint Video using a Layered Neural Representation

发展趋势

虞老师最后引用了CMU（美国卡内基梅隆大学）的教授Yaser Sheikh的一个发展趋势的分析，现有的重建工作，有两个发展，一个是用复杂的相机系统，大量的数据重建高质量模型。另一个是用廉价的数据中间不太好的重建。虞老师认为未来发展趋势用神经网络使得廉价的数据重建出好的模型。

文档链接

最后整理一下talk里提到的12篇论文，百度网盘链接~链接：https://pan.baidu.com/s/11BEfki4sJqMCHoVH-n3hCQ
提取码：60zq

虞老师在PRCV2021的Talk-Neural Human Reconstruction：From Rendering to Modeling相关推荐

3D Human Body Reshaping with Anthropometric Modeling 阅读翻译
3D Human Body Reshaping with Anthropometric Modeling 阅读翻译最近着手做3D人体编辑相关内容,先从文章开始学习一下文章github地址:http ...
人体三维重构论文集合：awesome 3d human reconstruction
A curated list of related resources for 3d human reconstruction. Your contributions are welcome! Con ...
58、NeuMan: Neural Human Radiance Field from a Single Video
简介主页:https://machinelearning.apple.com/research/neural-human-radiance-field 给定一个移动摄像机捕捉的视频,给定一个由移动摄 ...
【点云系列】Multi-view Neural Human Rendering （NHR）
文章目录 1. 概要 2. 动机 3. 方法流程图整体框架模块1:特征提取(FE) 模块2:投影与光栅化(PR) 模块3: 渲染(RE) 训练损失几何改进 4. 实验数据集实验效果: 5. ...
Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction
ECCV 2020的内容,属于几何深度学习,同时隶属于当下火热的方法隐式函数,下文是本篇论文的读书笔记. 文献一开始提出了隐式函数在进行生成的时候的缺点: (1)生成的物体表面是静态的 (2)模型的表 ...
PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction
3D人体重建从单张图中-DeepHuman: 3D Human Reconstruction from a Single Image
论文链接:http://www.liuyebin.com/deephuman/assets/DeepHuman.pdf 摘要我们提出深度人体,一个图像导向立体到立体的转换CNN对3D人体重建从一个单 ...
38、Neural 3D Reconstruction in the Wild
简介主页:https://zju3dv.github.io/neuralrecon-w 给定大量捕捉热门旅游景点的互联网照片(左),学习产生高质量的3D表面重建,有效地建模整个3D场景与新的混合神经 ...
【论文学习】《A Survey on Neural Speech Synthesis》
<A Survey on Neural Speech Synthesis>论文学习文章目录 <A Survey on Neural Speech Synthesis>论文学习 ...
(zhuan) Recurrent Neural Network
Recurrent Neural Network 2016年07月01日 Deep learning Deep learning 字数:24235 this blog from: http://jxg ...

虞老师在PRCV2021的Talk-Neural Human Reconstruction：From Rendering to Modeling

Neural Human Reconstruction：From Rendering to Modeling

背景