生成逼真3D人偶,居然不用3D形状建模,还能学会你的舞步 | 三星CVPR Oral
3D栗子 发自 凹非寺
量子位 出品 | 公众号 QbitAI
当你站在空旷的屋子里,眼神坚定地望向远方。
有只AI已经获得了你的影像,并合成了一座3D全身像。
后来,你开始解放天性,自在舞动,却惊讶地发现:
那个虚拟的自己,也在用同样的姿势起舞,并且几乎和你同步。
一切仿佛与生俱来,像是你的灵魂注入了它的身体。
这是一项中选了CVPR 2019 Oral的研究,但不止是因为效果逼真:
更重要的是,它没有用到3D形状建模 (Explicit 3D Shape Modeling) ,而是依靠2D纹理映射 (2D Texture Map) ,来完成渲染的。
而在这样的情况下,渲染依然逼真。就算是渲染没见过的新姿势,也不在话下。
到底是怎么做到的?
优秀的脑回路
论文写到,这是介于经典图形学方法与深度学习方法之间的一条路。
其中,图形学的思路就是,把几何 (Geometry) 跟纹理 (Texture) 分开处理。
几何是3D的,好比白色的人体雕塑,纹理是2D的,好比外面的皮肤。
而神经网络的任务,只限于预测从纹理到输出图之间,需要怎样的图像形变/扭曲 (Warping) 。换句话说,把2D“皮肤”贴到3D人类的身上。
具体来讲,那是一个全卷积网络,角色是生成器 (上图黄色部分) 。它要根据输入的人类姿态,以及摄像头参数,为人体的各个特征点,生成2D纹理坐标。
用这些纹理坐标,可以预测出2D的RGB图像。
反正,最终显现的效果,也是一帧接一帧的2D图。每一帧的角度有所不同,看去便是3D人像了:
就这样,完美避开了3D形状建模。
而训练过程中,网络会把每一次预测出的2D图,和Ground Truth做对比,再把损失 (Losses) 反向传播回到生成器里,增强预测能力。模型是用多视角视频数据来训练的。
训练完成后,就算你摆出AI没见过的新姿势,它也能做出成功的渲染。
团队说那是因为,保留显式的纹理表征 (Explicit Texture Representation) ,有助于提升泛化能力。
当然,没做3D形状建模,也不代表全程都在2D中度过。
别忘了,和2D纹理搭配食用的,是3D人体几何。也就是说,人类的姿态估计,是3D姿态估计。
这一部分,团队从大前辈DensePose那里,借用了精髓:把摄像头拍下的2D图中,人类的每个像素点,都映射到3D人体表面的特定位置上。
于是就有了3D姿态。还记得么,上面的2D纹理预测网络,输入就是姿态。
不用3D形状建模的3D人像合成方法,达成。
引用一句俗语:意料之外,情理之中。
来自俄罗斯
这个思路清新流畅的研究,来自莫斯科的三星AI中心,以及斯科尔科沃科技研究院。团队成员有12人之多。
如果你想要更深刻地感受这个模型的魅力,请从传送门前往观赏。
论文传送门:
https://arxiv.org/abs/1905.08776
主页传送门:
https://saic-violet.github.io/texturedavatar/
前辈DensePose传送门:
http://densepose.org/
— 完 —
小程序|全类别AI学习教程
AI社群|与优秀的人交流
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
生成逼真3D人偶,居然不用3D形状建模,还能学会你的舞步 | 三星CVPR Oral相关推荐
- html 自动生产,HTML5 Three.js 3D人偶玩具自动化生产车间动画
JavaScript 语言: JaveScriptBabelCoffeeScript 确定 "use strict"; console.clear(); TweenMax.lagS ...
- 2D变3D,视角随意换,神还原高清立体感,还是不用3D建模的那种 | 代码数据开源...
十三 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 看到这张恐龙化石的动态图片,你肯定会认为是用视频截出来的吧? 然而真相却是--完全由静态图片生成! 没错,而且还是不用3D建模的那种. ...
- python 3d图如何改变视角_2D变3D,视角随意换,神还原高清立体感,还是不用3D建模的那种 | 代码数据开源...
原标题:2D变3D,视角随意换,神还原高清立体感,还是不用3D建模的那种 | 代码数据开源 原标题:2D变3D,视角随意换,神还原高清立体感,还是不用3D建模的那种 | 代码数据开源 来源:量子位 O ...
- NeurIPS 2022 | 一句话让3D模型生成逼真外观风格!精细到照片级细节!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入-> CV 微信技术交流群 转载自:机器之心 来自华南理工大学.香港理工大学.跨维智能.鹏城实 ...
- 3D卷积GAN飞起!微软“可缩放”新框架只需2D数据即可生成逼真3D模型
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自新智元. 新智元报道 来源:VB 编辑:元子 [新智元导读]Microsoft Research近日发表论文介绍了一种通过2D数据生成 ...
- 单张人像生成视频!中国团队提出最新3D人脸视频生成模型,实现SOTA
来源:IEEE 编辑:新智元 [导读]稀疏人脸特征点生成的人脸图像视频通常会遇到图像质量损失.图像失真.身份改变,以及表情不匹配等问题.为此作者使用重建出的三维人脸动态信息来指导人脸视频的生成.结果显 ...
- 1000人证明过的3D视觉系统学习教程
写在前面 我们在「3D视觉从入门到精通」星球里已经为大家梳理了以下一些内容: (一) 3D视觉学习路线 (二)线上视频课程 (三)3D视觉顶会|期刊 (四)精华github资源 (五)往期帖子与问答汇 ...
- 几张图片生成3D模型?距离真正的AI建模还有多远?
时间溯回,早在2017年,美图秀秀就曾引入人工智能美化人像而被谷歌誉为"最佳娱乐App".智能技术奔腾发展,今年的AIGC技术可谓在各行各业大放异彩,从AI绘画.AI写作到AI配音 ...
- 2D和3D的对比,不用犹豫,三维设计是行业未来必然趋势!
1.二维设计概念 辅助设计的广义概念,含二维软件,而二维软件很难被认为是真正的辅助设计软件. 二维软件以工程图为主要辅助目标,多在设计方案形成,用作设计方案表达输出用. 设计人员尽管会使用二维软件,但 ...
最新文章
- 全球计算机视觉顶会CVPR 2020论文出炉:腾讯优图17篇论文入选
- 《数学之美》第17章 由电视剧《暗算》所想到的—谈谈密码学的数学原理
- Python 3.2 beta 2 发布
- ExternalDocumentationLinkImpl(url=https://developer.android.com/reference/, packageListUrl=https://d
- C++(STL):07---vector之使用方式和常规用法
- Google Map API学习1
- python rarfile不支持unicode_python – zipfile提取时的unicode错误
- python print输出字符串报错
- PCL—低层次视觉—点云滤波(基于点云频率)
- Impala SQL 语言参考
- git常用使用命令个人总结
- FitStar Yoga-健身类App原型分享
- 在linaro中安装opencv
- Windows视频桌面壁纸实现(libvlc)(类似于wall paper engine效果)
- MacBook Pro出现kernel_task占用CPU非常高问题
- 不同局域网下共享打印机的解决思路(保证可用)
- 移动App专项性能测试(Android and iOS)
- arp broadcast enable命令
- 华为计算机apk,华为手机助手安卓版apk
- 英国五大基金公司正在探索区块链
热门文章
- 新鲜出炉,Python 告诉你程序员最关注的技术竟然是……
- 为什么我们要升级到 iOS 12.1.3?
- Windows Notepad 迎来重大更新!
- 面向对象编程已死,OOP 永存!
- BAT 面试中,遇到知识盲点如何巧妙圆场?
- 苹果发布 iOS、macOS 更新,系统修复英特尔重大漏洞
- 服务器link系统命令,可以使用命令(7)来查看网络接口的运行情况。输入该命令后,系统的输出信息如下。...
- 为啥连接mysql失败_为什么连接数据库后插入老是失败?
- java商城项目_javaweb实战之商城项目开发(一)
- 开源阅读书源_安卓神器 | 开源小说软件阅读3.0,附赠大量书源