照片上的人出来了!云从3D人体重建登顶三项榜单,一张照片就能生成3D形象
郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
跳起来的妹子被定格在半空中,成为一张平面的照片。
现在,输入这张照片到特定的程序里,就变成了这样:
不只360°,全角度可见的3D立体形象,就好像妹子要从照片里跳出来一样。
以往的3D人体重建,往往需要多个摄像头,或者连续的多帧影像,才能重建出人体的3D模型。
不过现在,云从科技在3D重建领域刷新了榜单,而且只需要一个普通摄像头,拍摄一张照片就可以。
而且,既然一张照片就可以生成3D图像,那么连续的一段视频,就可以生成一个动画电影片段啊。
比如这样的动态场景,像是陈佩斯老师的《吃面》:
我们把它3D化,从正面看:
从侧面看:
从背面看:
从头顶看,上帝视角吃面:
只要上个色,就可以变成动画版《吃面》。
三个数据集皆取得第一
云从的基于单帧图像的3D人体重建技术同时在Human3.6M、Surreal和UP-3D三个数据集上排到了第一名,将原有最低误差记录大幅降低30%。
△ Human3.6M数据集
△ Surreal数据集
△ UP-3D数据集
每个数据集上的每项的error都要比此前的研究低,意味着生成的3D模型相对更为准确,更接近人体的真实状况。
云从科技3D人体重建技术全身精度误差(Surface Error)在Surreal上从75.4毫米降低到52.7毫米,关节精度误差(3D Joint Error)从55.8毫米降低到40.1毫米,Human3.6M上的关节精度误差(3D Joint Error)从59.9毫米降低到46.7毫米,技术的执行速度从之前的上百毫秒降低到仅需5毫秒。
部署在手机上,无需3D结构光
云从的这项技术通过对RGB图像的分析,推理出人体或人脸的3D形态,并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,从而得到人体的姿态或表情信息。
除了预测人体的3D形态和姿势,这项技术还可以实现用6万多个点完整描绘人体,帧率达到200fps。
另外,在部署上的一个优点是,可以利用普通光学摄像头作为感知设备,不需要连续图像或者多视角拍摄。
也即是说,如果将这项技术部署在手机上,那么不需要3D结构光也可以实现3D人脸识别,或者制作3D表情。
相比传统的人体关键点检测,基于单帧图像的3D重建技术不仅能输出骨骼关节点信息,更能同时预测大量的人体表面关键点信息,预测结果更加丰富,而且每个点的坐标都是3D的,能够体现不同躯干的纵深信息。
多样的应用
除了在手机上实现各种3D卡通表情,3D人体重建技术还可以用在许多不同的场景。
商场购物就是一大应用场景,只需要一个角度的一张照片,就可以重建出顾客的身体3D模型,模拟穿上衣服的效果,节约了落地成本和部署难度。
另外,这一技术也可以优化自拍、直播、短视频软件里的美颜、瘦身功能,在3D模型上美颜,效果会相对自然,不会出现角度极端的“蛇精脸”,加上虚拟的妆容打扮也可以更自然。
而当技术成熟之后,在影视特效制作方面,这项技术也可以更方便的制作出阿丽塔这类3D角色,而不必使用复杂的设备。
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
订阅AI内参,获取AI行业资讯
加入社群
量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;
欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
照片上的人出来了!云从3D人体重建登顶三项榜单,一张照片就能生成3D形象相关推荐
- 云从科技3D人体重建技术刷新3项纪录!仅凭照片即可生成精细模型
3 月 19 日,根据官方消息,云从科技基于单帧图像的 3D 人体重建技术同时在 Human3.6M.Surreal 和 UP-3D 三大数据集上创造了最新的世界纪录,将原有最低误差记录大幅降低 30 ...
- DeepHuman:从单一图像中3D人体重建
摘要:我们提出DeepHuman,一种图像引导的体到体转换CNN,用于从单一的RGB图像进行3D人体重建.为了减少与表面几何重建相关的模糊性,甚至对于不可见区域的重建,我们提出并利用从SMPL模型生成 ...
- 3D人体重建从单张图中-DeepHuman: 3D Human Reconstruction from a Single Image
论文链接:http://www.liuyebin.com/deephuman/assets/DeepHuman.pdf 摘要 我们提出深度人体,一个图像导向立体到立体的转换CNN对3D人体重建从一个单 ...
- 绝!OpenAI 年底上新,单卡 1 分钟生成 3D 点云,text-to 3D 告别高算力消耗时代
内容一览:继 DALL-E.ChatGPT 之后,OpenAI 再发力,于近日发布 Point·E,可以依据文本提示直接生成 3D 点云. 关键词:OpenAI 3D 点云 Point·E O ...
- CVPR2020 | PV-RCNN: 3D目标检测 Waymo挑战赛+KITTI榜 单模态第一算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨Shaoshuai Shi@知乎 来源丨https://zhuanlan.zhihu.com/p ...
- CVPR2020 | PV-RCNN: 3D目标检测Waymo挑战赛+KITTI榜单模态第一算法
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:知乎Shaoshuai Shi,https://zhuanl ...
- 有你认识的么?新鲜出炉!云+社区2020年度优秀讲师TOP作者榜单!
回首不平凡的2020年,技术力量越来越受到重视,技术从业者的责任也越来越重大.突发事件.流量洪峰.协同开源--一轮又一轮的挑战背后,是技术从业者们默默的努力.然而,技术的发展,不仅需要默默努力,更需要 ...
- 凸显强劲实力!智领云入选2022德勤“光谷明日之星”榜单
近日,2022年"光谷高科技高成长20强"(以下简称"光谷20强")及"光谷明日之星"评选结果在光谷揭晓.智领云科技凭借强劲的创新实力和发展 ...
- 一张照片就能生成3D模型,GAN和自动编码器碰撞出奇迹,苏黎世联邦理工学院出品...
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 2D图片"脑补"3D模型,这次真的只用一张图就行了-- 只需要给AI随便喂一张照片,它就能从不一样的角度给你生成"新 ...
最新文章
- vue项目打包丢入服务器,浅谈vue项目如何打包扔向服务器
- 多线程编程之线程同步主要函数一览
- “真三”中的人生哲理
- OpenJudge/Poj 1915 Knight Moves
- bit java实验2_2018-2019-2 20175120 实验五《Java网络编程》实验报告
- 关于C++全局变量和静态变量初始化的一些总结
- 安卓学习笔记08:常用布局 - 线性布局
- 关于dlopen函数分析
- python123测验答案测验3_知到app数学分析3-3测验答案查询服务
- Java 杨辉三角形
- 背景色及色彩搭配方案推荐
- sharepoint FAST serach 设置
- 大数据入门的五大核心技术
- [软件工具][原创]pcl引用库一键配置到VisualStudio中支持vs2015-v2022使用教程
- 已设置过微信号怎么改?新版微信已经支持这个功能!
- 英语语法篇 - 各类词性和句子成分的作用
- 进入centos命令行的方式
- Android TextView详解(一)
- 企业邮箱托管选哪家好,163企业邮箱如何购买?
- Secure Code Warrlor学习记录
热门文章
- 年后跳槽 BAT 必看,10 种干货帮你 Offer 拿到手软!
- 华为小米 OPPO 们联合起来才不是为了打倒微信!
- php _get invalid,PHP 错误: ZipArchive::getFromName(): Invalid or unitialized Zip object in 解决方法...
- mysql事务的好处_什么是事务(transaction)?它有什么好处
- 一线互联网架构师筑基必备技能之Java篇,工作感悟
- python天天向上的力量三天打鱼两天晒网_天天向上的力量
- er图用什么软件_太牛逼!一款软件几乎可以操作所有的数据库!
- with open as f用法_UE4精品教程 | C++Tuple元组的详细用法
- w ndows10怎么联网,windows10所有uwp应用都无法联网的两种解决方法
- php 飞鹅云打印机_ThinkPHP飞鹅云打印接口