Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction

ECCV 2020的内容，属于几何深度学习，同时隶属于当下火热的方法隐式函数,下文是本篇论文的读书笔记。

文献一开始提出了隐式函数在进行生成的时候的缺点:

（1）生成的物体表面是静态的

（2）模型的表面不能进行编辑

作者提出的方法结合了隐式函数对模型细节的表达能力+对模型参数化的表达从而去重建人体的三维模型。（让surface与相应的语义对应）

本篇paper的核心目标: In this paper, we focus on the reconstruction of human models from sparse or incomplete point clouds, as captured by body scanners or depth cameras. In particular, we focus on extracting detailed 3D representations, including models of the underlying body shape and clothing, in order to make it possible to seamlessly re-pose and re-shape (control ) the resulting dressed human models.（贴了一段原文的话）

总的来说就是对人体模型的重建，包括人物的衣服也会一同的重建。接下来，作者自定义了两个词语，将一般利用隐式函数进行物体表面重建的称为重建(reconstruction)，将自己的方法称为匹配或者配准(registration)。作者特别申明，配准工作包括了重建和配准。

本篇论文的key idea: 利用参数化的表达方法结合隐式函数的细节表达能力去重建人体的三维模型，包括衣服，头发等细节内容。其中，参数化的方法是三维人体建模的一种经典方法，允许通过参数的变化去控制模型的变化，但是当和点云表达方式相结合的时候，有一个很大的难点就是点云模型回归的参数不够准确。

contribution:

1) 提出了一种结合隐式场和参数化建模的方法去建立高质量的人物模型

2) 第一个联合分析人物和衣服进行建模的方法

3）测试里人物模型和手模型，证明了这种方法可以被广泛应用

图1. 论文中提到的pipeline

如上述图1所示，输入的是 $p$ ，即稀疏的点云模型。经过IP-NET的encoder产生了 $p$ 的隐式表达方式，之后经过IP-NET的分类器，产生属于该 $p^{j}$ 的类别。之后使用occupancy的分类器去评判这个属于body, body和clothe直之间，或者out of clothe三种情况，之后去预测一个完整的模型。

Andrew Wu说过读完一篇论文之后要总结出对自己有用的地方，这里我也总结一下，虽然和我做的方向有一丝偏差。

1.从可视化的效果上来看，隐式函数是一种非常好的方法，对于深度几何学习的提升非常的好。

2.对一个模型的特征进行细化可以提升效果。

3.作者提供了一个传统几何方法和现在的深度学习的几何方法结合的一种方式，利用两者的优势去构建精细的模型。

Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction相关推荐

CLIP论文翻译、Learning Transferable Visual Models From Natural Language Supervision翻译
CLIP论文翻译.Learning Transferable Visual Models From Natural Language Supervision翻译文章目录 CLIP论文翻译.Learn ...
【读点论文】DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learn
DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning Abs ...
【论文视频】Clip：Learning Transferable Visual Models From Natural Language Supervision【多模态，对比学习，迁移学习】
CLIP:Contrast Language Image Pre-training 文章目录 1. 四个问题 2. 论文介绍研究动机:zero-shot Clip的预训练 Clip伪代码 Clip的 ...
Learning Transferable Visual Models From Natural Language Supervision
目前开始了解多模态相关的知识,欢迎大家批评指正! 这篇论文来自2021年的International Conference on Machine Learning,整理改论文的主要内容,参考[论文阅读 ...
重读经典（CLIP下）：《Learning Transferable Visual Models From Natural Language Supervision》
上文链接:重读经典(CLIP上):<Learning Transferable Visual Models From Natural Language Supervision> 5. 实验 ...
CLIP Learning Transferable Visual Models From Natural Language Supervision (文本和图像的对比学习)--文献翻译和笔记
论文链接:[2103.00020] Learning Transferable Visual Models From Natural Language Supervision (arxiv.org) ...
CLIP学习笔记：Learning Transferable Visual Models From Natural Language Supervision
多模态预训练模型CLIP:Learning Transferable Visual Models From Natural Language Supervision 从自然语言监督中学习可迁移的视觉模 ...
CLIP 论文学习笔记《Learning Transferable Visual Models From Natural Language Supervision》
论文标题:Learning Transferable Visual Models From Natural Language Supervision 论文地址:https://arxiv.org/a ...
CLIP论文笔记--《Learning Transferable Visual Models From Natural Language Supervision》
CLIP论文笔记--<Learning Transferable Visual Models From Natural Language Supervision> 1.Introducti ...

Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction

Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction相关推荐

最新文章

热门文章