人像3D重建,原来长这样
量子位 | 明敏
如果让GAN生成的逼真人像变成3D版,会怎样?
仿佛有摄像机对着人像直拍,正面、侧面、仰视、俯视不同角度都能展现。
真的有种人要从画中走出来那味儿了。
而且,这些效果都是由静态单视角图片生成的!
甚至能让卡通人像立体起来。
这就是上海交通大学和华为的最新研究:CIPS-3D。
它是一种基于GAN的3D感知生成器,只用原始单视角图像,无需任何上采样,就能生成分辨率256×256的清晰图像。
并且创下3D感知图像合成的新记录,FID仅为6.97。
现在,这个项目在GitHub上已有200+星,作者已将源代码开源,训练配置文件将在后续发布。
搞定镜像对称
在高清人脸数据集FFHQ上,CIPS-3D的表现可以说非常nice,连古典画都能变成立体版。
当然也能搞定不同动物的face。
看到图像从2D直接变成3D,可能有人已经想到了谷歌大名鼎鼎的NeRF。
它只需要输入少量静态图片,就能做到多视角的逼真3D效果。
而这次的CIPS-3D,也是基于NeRF开发。
它主要用到了两个网络:NeRF和INR(隐式神经表示法,Implicit Neural Representations)。
浅层是NeRF,它主要负责把人像从2D变为3D。
它将场景的体积表示优化为向量函数,输入为3D位置坐标和视图方向。
具体而言,就是沿相机射线采样信息,来合成图像。
然后,将这样的场景表示参数化为一个完全连接深度网络(MLP),输出对应的颜色和体积密度值。
为了获得更为准确的3D图像,往往需要对每条光线上多点采样,这也就造成NeRF所需的内存非常大。
因此,如果神经网络中只用NeRF,就会限制网络的深度,导致生成图像模糊、缺乏细节。
△第一列为NeRF生成,第二列为INR生成
所以在CIFS-3D中,研究人员将深层网络设置为INR,让它负责合成高保真的图像。
这种方法也能将各种信号参数化,输出RGB值。
而且由于不再与空间分辨率耦合,它可以对任意空间分辨率进行采样。
论文中也提到,该方法也没有任何上采样。
但是受限于CPU内存,如果直接训练高分辨率图像会有一定难度,为此研究人员提出了一种部分梯度反向传播的方法。
在训练时,该方法进对随机采样中的绿色光线进行梯度反向传播计算,其余光线则不计算。
解决了3D化问题,还能保证高保真,你以为这就结束了?
NO、NO、NO
在研究过程中,工作人员发现CIPS-3D还存在镜像对称问题。
这种现象其实在许多3D GAN中都存在,比如GIRAFFE、StyleNeRF。
比如在下面这个案例中,初始单角度图像的刘海是偏左的,但是生成的不同角度图像中,刘海会随着视角的变化而变化,就像是镜像一样。
出现这样的问题,是因为NeRF网络输入的坐标就有存在镜像对称。
比如图中a、c两点的坐标就是完全镜像对称的关系。
这对于生成完全对称的物体而言没什么问题。
但是放在只给侧面角度的人像上来说,可能就是一场灾难。
为此,研究人员在神经网络中添加了一个鉴别器(discriminator),让它来辅助鉴别这种问题。
最后结果表明,与其他可生成3D人像的方法相比,FID、KID值明显降低,这两个值越低意味着生成图像质量越好。
论文地址:
https://arxiv.org/abs/2110.09788
GitHub地址:
https://github.com/PeterouZh/CIPS-3D
人像3D重建,原来长这样相关推荐
- 腾讯优图提出LAP无监督多视角人脸3D重建算法,高清还原面部细节
编辑丨腾讯优图AI开放平台 近日,腾讯优图实验室提出无监督多视角人脸3D重建算法LAP(Learning to Aggregate and Personalize),摆脱人脸3D训练样本真值依赖,高清 ...
- 从零搭建一套结构光3D重建系统[理论+源码+实践]
01 背景介绍 图1 典型3D结构光系统 尽管结构光作为一种已经相当成熟,并且广泛应用的三维重建技术,不同于深度学习,依旧缺乏相关的课程,网上的开源资料寥寥无几,即使有,也是晦涩难懂,许多刚入门的研究 ...
- Mobile3DRecon:手机上的实时单眼3D重建
今天为大家带来的文章是Mobile3DRecon: Real-time Monocular 3D Reconstruction on a Mobile Phone.在手机上实现实时的单眼3D重建. 此 ...
- 仅需一部摄像机即可实现基于AI的3D重建
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 Magic Leap研究人员提出了一种基于AI的方法,只需一个RGB相机即可捕获3D场景. 该方法称为 ...
- opencv三维重建_使用iPhone相机和OpenCV来完成3D重建(第一部分)
正文字数:1497 阅读时长:2分钟 这个教程将带你使用自己的手机摄像头和图片实现从零开始到点云. Posted by Omar Padiernaurl : https://becominghuma ...
- 使用iPhone相机和OpenCV来完成3D重建(第三部分)
正文字数:4509 阅读时长:2分钟 欢迎来到本教程的第三部分,也是最后一部分关于立体重建的教程. Posted by Omar Padierna url : https://medium.com/ ...
- 使用iPhone相机和OpenCV来完成3D重建(第一部分)
正文字数:1497 阅读时长:2分钟 这个教程将带你使用自己的手机摄像头和图片实现从零开始到点云. Posted by Omar Padierna url : https://becominghum ...
- 3D重建传统算法对比深度学习,SFU谭平:更需要的是二者的融合
点击我爱计算机视觉标星,更快获取CVML新技术 机器之心原创 作者:一鸣 近年来,深度学习在计算机视觉的重要领域--三维重建中取得了一系列成果.然而,最近有论文指出,深度学习的 3D 重建表现甚至不如 ...
- 3D重建:硬派几何求解vs深度学习打天下?
点击我爱计算机视觉标星,更快获取CVML新技术 本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 机器之心原创 作者:Yuanyuan Li 编辑:Hao Wang ...
最新文章
- python画折线图代码-Python绘制折线图和散点图的详细方法介绍(代码示例)
- 启用vsftpd服务
- 练习:利用函数实现一个登陆系统
- HDU - 1027 全排列
- linux命令界面下载kettle,kettle在linux环境中打开图形界面-Go语言中文社区
- VC内存泄露检查工具:VisualLeakDetector
- 【数据结构与算法】哈希算法
- 每首歌都保存着一份记忆
- 苹果7微信提醒服务器,苹果7plus微信有消息时候怎么不提醒
- numpy矢量化运算
- 良品铺子的2021:营收创新高后的“战术调整”
- 360全景虚拟现实图片拍摄的注意细节
- QQ群发消息c语言编程,简单写一个实现QQ群发功能的软件
- 买房税费大攻略!哪些费用必须交?
- 实例分割最全综述(上):二阶段实例分割和一阶段实例分割
- 魔百盒CM201-1,YS代工-免拆-线刷固件及教程
- 百面机器学习:支持向量机
- html1 初入html
- 小米10s哈曼卡顿设置方法分享
- cesium加载自定义的mapbox底图