[CVPR2020-best](unsup3d)Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Image

标题：Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild
链接：https://arxiv.org/pdf/1911.11130

亮点：目的是为了在不使用模板且没有ground truth的情况下从单张图片重构3D模型。

Photogeometric autoencoding：模型整体结构就是一个auto encoder，中间的encoded vector就是深度图，反射率(纹理)图，光照方向和视点。文中提到光照+反射率有可能被误解为图像的固有纹理，但是反射率图一般来说都是左右对称的，所以可以利用对称性用来解决这个问题。另外，文中还提到，脸上的阴影事实上是可以提供一定的3D信息的，所以作者也尝试使用深度图来预测阴影（shape from shading）。
整体流程就是先通过反射率图，深度图，光照方向生成标准姿态下的3D重建图像，然后再结合视点和深度图来生成原始图片方向上的2D重建。

主要分为两个部分：
1.重建损失
将重建损失建模为拉普拉斯分布（为啥用这个分布？高斯分布不行吗？或者如果不用分布的话不行吗？），然后引入了一个可学习的confidence map，用于判断图像中哪些部分是对称的，哪些部分是不对称的，从而对每个像素施加不同的weight
2.感知损失
计算原始图片和生成图片通过VGG16中间层输出的特征的差别。

参考文章：
https://blog.csdn.net/huitailangyz/article/details/107827485
https://blog.csdn.net/g11d111/article/details/106975135

[CVPR2020-best](unsup3d)Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Image相关推荐

Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild
Abstract 提出了一种从原始单视图像中学习三维可变形物体的方法,该方法无需外部监督.该方法基于自动编码器,将输入图像分解为深度.反照率.视角和光照.为了在没有监督的情况下解耦(分解)这些组成部分 ...
[CVPR2020最佳论文详细解读] Unsupervised Learning of Probably Symmetric Deformable 3D Object
本文是基于CVPR2020最佳论文,来自牛津VGG组的吴尚哲同学Unsup3D.除了中文的详细解析外,我在作者的代码基础上,将可微分渲染模块由原来的Neural Renderer替代为Soft Ras ...
ICCV 2017 《Unsupervised Learning from Video to Detect Foreground Objects in Single Images》论文笔记
本学弱喜欢在本子上记笔记,但字迹又丑. 望看不懂我的字的大佬不要喷我,看得懂的大佬批评指正.
facebook新无监督论文-Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
最近比较关注无监督论文,因此只要发现有新的文章都会读一遍,facebook近期刚出了一篇Unsupervised Learning of Visual Features by Contrasting ...
Machine Learning week 7 quiz: Unsupervised Learning
Unsupervised Learning 5 试题 1. For which of the following tasks might K-means clustering be a suitabl ...
ML之UL：无监督学习Unsupervised Learning的概念、应用、经典案例之详细攻略
ML之UL:无监督学习Unsupervised Learning的概念.应用.经典案例之详细攻略目录无监督学习Unsupervised Learning的概念无监督学习Unsupervised ...
文献学习(part13)--A Sober Look at the Unsupervised Learning of Disentangled...
学习笔记,仅供参考,有错必纠文章目录 A Sober Look at the Unsupervised Learning of Disentangled Representations and th ...
【李宏毅机器学习】Unsupervised Learning - Word Embedding 无监督学习 - 词嵌入（p22）学习笔记
文章目录 Unsupervised Learning Word Embedding 用一个vector来表示一个word的几种方法 1-of-N Encoding Word Class Word Em ...
【李宏毅2020 ML/DL】P59 Unsupervised Learning - Auto-encoder
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...

[CVPR2020-best](unsup3d)Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Image

[CVPR2020-best](unsup3d)Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Image相关推荐

最新文章

热门文章