纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒
安妮 郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
今天要介绍的新技术,可能会让不少人有个大胆的想法。
因为2D形象变成3D“活物”,不再是魔法。
你可能还记得《哈利·波特》里的神奇世界,报纸上的照片会动,墙壁上的名人画像能说话,甚至开门入户都要与“门神”胖夫人暗号问答一番。
但,是,现,在,AI就是我辈麻瓜的神奇魔法。
无论你想“复活”的是梅西.jpg、库里.png,还是詹姆斯.jpeg,抑或希望新垣结衣.tiff、波多野结衣.Raw“动起来”……
这项名为照片唤醒(Photo Wake-Up)的新技术,都能让你得偿所望。
不信?先牛刀小试亮亮相~
它可以让你最爱的体育明星,詹姆斯、梅西、库里从照片里跑出来:
相信我,走出来的库里真的是3D的:
它还能赋予二次元角色以力量:
把钢铁侠带到你身边:
甚至抽象画都能搞的定,毕加索《玛雅和玩具船》中的主角可以走出来,像人类那样活动四肢:
你还可以借此把角色们AR/VR化,只要动动手指,它们就能出现在你身边的世界:
不管是照片、卡通还是抽象角色,但凡有个人样,照片唤醒技术都能唤醒它们体内沉睡的灵魂,让它们从二维化世界中苏醒过来。
有了这项技术,或许游戏、动画制作行业的设计师们可能要开心坏了,只要画个2D的角色,自动就能变成3D。
看到这些效果展示,有网友表示可能这就是和女神距离最近的一次了。
恭喜恭喜~
原理揭秘
这些心水的动漫人物和体育明星,是怎么一下子从画里走出来,而且还会动、变立体了?
在论文Photo Wake-Up: 3D Character Animation from a Single Photo中,研究人员来了一次完完整整的大、揭、秘。
研究人员表示,让主角从平面静态图像里走出来,最难的地方就是要在系统中重建一个“虚拟人”。虚拟人必须能透过厚重的衣物,精确对应到画中人物的身体轮廓。
头对头,肩并肩,手腕对手腕……当虚拟人的骨骼架构完全匹配到画中人,也就意味着你的男神/女神离动起来就不远了。
整个操作过程,其实只用了三步:
我们一步一步看,研究人员的第一步就是:分割纸片人。
研究人员利用现成的图像分割算法,将画中人的躯干、四肢分割,再用人体姿态估计,提取画中人的2D骨骼关键点,忽略厚重的衣服,拟合出一种半裸的可塑3D模型,称为SMPL模型(Skinned Multi-Person Linear Model)。
此时,无论是男神还是女神,现在都已经简化成看不出年龄和样貌的“石膏人”了。重要的第二波操作马上开始。
第二步:细化纸片人3D模型
纸片人跑不跑,全看3D模型好不好。这一步,研究人员开始细化纸片人的3D模型了。
若纸片人运动,身体各部分间难免产生轮廓的重合。完美的模型能够匹配到纸片人的身体轮廓,还能识别这种自我遮蔽(self-occlusion)现象的出现。
△ 比如这样
怎样在自我遮蔽出现时保证模型的准确性?研究人员想了个主意:先将SMPL模型映射到2D世界对准轮廓,调好再次转换成3D模型确保精确度。
在映射到2D世界时,研究人员将SMPL模型转换成了两种不同的映射形式,一种是肌肉隐约可见的普通图(Normal Map),一种是五颜六色区分了身体不同部位的皮肤图(Skinning Map)。
二者合一,转换成3D模型后,姿态可动的3D人来了!
最后,研究人员用CMU的Mo-cap人体动作数据集喂给模型,数据集中的人物动作,现在可以迁移到你的纸片人身上了。
△ 6幅图中主角“出走”效果;每幅图左为原图,右为结果
此时,如果有一个AR眼镜,戴上,手指比个心,心爱的“纸片人”就被点活,从画中出走了。
随后,研究人员对103名志愿者进行了调查,86%的被调查志愿者认为Photo Wake-Up的效果超越了前人所做。
艾伦学院三人组
这项研究的三位作者,都来自华盛顿大学保罗·艾伦计算机科学与工程学院。
一作翁仲毅,一位台湾小哥哥,现在是华盛顿大学保罗·艾伦计算机科学与工程学院图形图像实验室(GRAIL)的博士,他本硕毕业于台大计算机与信息工程系,读博士前曾在台湾讯连科技做技术主管,最近还在Facebook实习。
二作Brian Curless,华盛顿大学保罗·艾伦计算机科学与工程学院教授,斯坦福电气工程博士。
三作Ira Kemelmacher-Shlizerman小姐姐,以色列魏茨曼科学研究所计算机科学与应用数学博士,华盛顿大学保罗·艾伦计算机科学与工程学院助理教授。
同时,因为自己创立的公司Dreambit LLC被Facebook收购了,所以自从2016年起她还是Facebook的AR/VR研究科学家,并且长期担任CVPR和SIGGRAPH的区域主席和技术委员会成员。
这个研究团队,从一作到三作,那是一个比一个厉害。
量子位此前介绍过的桌面足球,就是二三作两位教授的作品;
还有假装拉小提琴的Facebook AI,也是三作小姐姐参与的研究。
感谢作者们的研究,从此地球人再也不怕被《三体》中的二向箔攻击了,就算被压成纸片片,我们也可以把自己复原回3D。
传送门
项目网页
https://grail.cs.washington.edu/projects/wakeup/
论文
https://arxiv.org/abs/1812.02246
— 完 —
年度评选报名
加入社群
量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒相关推荐
- Cocos Creator 微信创意小游戏《甜蜜糖果屋》团队专访:让纸片人活起来
在 1 月 9 日的 2019 微信公开课 Pro 上,有一款创意十足的互动式游戏出现在小游戏宣讲环节,它便是今日 Cocos 的专访对象<甜蜜糖果屋>. <甜蜜糖果屋之花恋奇妙物语 ...
- 适合大部分人做的线上兼职,在家也能有个两三千的收入
想要赚钱,兼职,副业成为了现代人的首要追求.人们繁忙的工作中往往会感到空虚和无趣,但现在有一个好消息:可以在家中轻松地做一份适合大部分人的线上兼职,轻松赚取两三千的收入! 现代人的兴趣和需求非常多样化 ...
- 自己造个真正意义上的AI纸片人离我们还有多远?
自己造个真正意义上的AI纸片人离我们还有多远? 我一直想自己"造"个可以像个人一样跟我聊天,当我想操作电脑或手机或玩游戏时,只要跟ta说,ta都能为我操作,还帮我玩游戏挂机--的纸 ...
- 纸片人「活」了。Meta AI新作:只需几分钟,手绘小人有了灵魂
想让画中的「纸片人」有生命,Meta AI来搞定!昨日,Meta AI宣布了一种独创性方法,只需几分钟,就能动画化儿童手绘的角色,效果拔群. 快看,「纸片人」居然自己跳出来了! 小猫学会了hiphop ...
- 人活着的三种境界[转帖]
http://blog.tianya.cn/blogger/post_show.asp?BlogID=687238&PostID=17069884 人活着的三种境界 力瑾 王国维在<人间 ...
- 人活系列Streetlights (秩)
人活着系列之Streetlights Time Limit: 1000MS Memory limit: 65536K 题目描写叙述 人活着假设是为了家庭,亲情----能够说是在这个世界上最温暖人心的, ...
- 一篇男人必看的创业文章。(人活着不能没有钱,但是活着却不能只为了钱)...
早就看过这篇文章,早就有所感悟,此时此刻,再次读来,感触更为深刻!经济基础决定上层建筑,想要得到幸福的爱情,先要让自己是个幸福的人,男人是在给予中收获的,要想得到幸福,必须是个可以给予别人幸福和美好的 ...
- 是vans_Vans 的旧海报上原来有这么多学问…
事情是这样的,某天,当我们编辑部翻开一张 Vans 70 年代的海报,发现开头上面写着:GO "JAMIN" IN VANS.这段话引起了在场的所有人的好奇. (图片来源:Vans ...
- 我们活在世界上,不是为了求人们原谅。
别人要误会,让他误会好了,何必在乎?凡有人看不清楚事实,那纯粹是该人的损失,与我无关. 别人看轻我,不要紧.一个人只需看重自己即可.接吻可以选错对象,发脾气则不可. 世上总有些人跟一些人是谈不来的,何 ...
最新文章
- 宏基因组实战8. 分箱宏基因组binning, MqaxBin, MetaBin, VizBin
- iOS 可能用到的三方框架
- 087_改变html
- CADisplayLink的简单使用
- C++中void和void*指针的含义 (指针类型的含义)
- sqlite3移植到arm linux
- 隐马尔科夫模型及Viterbi算法的应用
- 杂志订阅管理系统c语言实训报告,C语言程序设计报告—杂志订阅管理软件、、.doc...
- Dubbo -- 系统学习 笔记 -- 示例 -- 只订阅
- 读取文件内容返回ListString类型
- HBase shell 示例
- java孢子进化_孢子进化论游戏
- 射极跟随器实验报告数据处理_电压跟随器秘笈:运放构成电压跟随器的稳定性问题探讨...
- 如何做 ASO 优化?
- 全国各省份结婚离婚面板数据(2000-2019年)
- 《诗经·邶风·击鼓》
- 学习编程是否真的有用?
- 一次Ajax报错:“存储空间不足,无法完成此操作”的解决经验
- HDU 6441 Find Integer(费马大定理)
- java判断或_Java判断用户名和密码是否符合要求过程详解
热门文章
- 2018 终了,是时候秀出我的 Git 进化日志了!
- C++新经典——C++从入门到精通
- 帝国php数据库备份,解决帝国cms帝国数据库备份王php5.3下500错误
- java网站开发模式有哪些_第7章JavaWeb常用开发模式.ppt
- 第 26 章 职责链模式
- 第 11 章 直接内存
- python 会计师事务所_Selenium爬取会计师事务所新闻信息——以中准会计师事务所为例...
- Java集合查找Map,Java集合框架中Map接口的使用
- HTML5的应用缓存
- 理解JavaScript中的多态