CMU黑科技,手机录视频,实现人脸3D建模的高度逼真
来源:techxplore
编辑:梦佳
转载自:新智元
【导读】3D人脸建模技术一般成本高昂。而现在,卡内基梅隆大学的研究人员通过在智能手机上录一段视频,就能轻松完成!而且效果逼真又不吓人。
拿手机拍一段视频就能实现人脸3D建模,高度逼真!
还记得阿凡达里的3D人脸数字建模吗?阿凡达的人物3D建模是利用通行已久的 LightStage 技术将目标对象360 度拍出各角度完整影像之后经过标记与微调后让程式自动建模与贴图。南加大团队打造了拥有球体外型的“LightStage”硬件设施,剧组演员进入球体拍摄不同光线来源与亮度的照片,再运用计算机程序,打造逼真的人脸模型,进而做出电影中的虚拟角色。
而这种3D人脸建模技术一般需要非常昂贵的设备和专业技术才行。而现在,卡内基梅隆大学的研究人员通过在普通的智能手机上录一段视频,就能轻松完成!而且效果逼真又不吓人。
轻轻松松实现人脸3D建模
用智能手机连续拍摄包含面部正面和侧面图像的视频会产生大量的数据。卡内基梅隆大学机器人学院研究中心开发了一个两步过程,在深度学习算法的帮助下,进行了人脸模型的数字重建。该团队表示,他们的实验方法精度可以达到亚毫米级别,比其他基于摄像机的建模过程效果更佳。
人脸数字技术的应用非常广泛,可以用来制作游戏,VR或者AR,也可以用于动画、生物识别甚至医疗领域。一个精确的面部3D渲染也有助于打造定制的外科口罩或呼吸器。
动画片中的应用
VR虚拟现实应用
机器人学院的副研究教授 Simon Lucey 说: “人脸的3D重建一直是计算机视觉和图形学领域的一个悬而未决的问题,因为人脸面部特征非常细致入微。如果重建过程中出现轻微异常,也会让最终结果看起来和实际的面部特征差很多。”
激光扫描仪、结构光和配备多个相机设备的工作室可以产生高精度的面部扫描结果,但是这些专业的传感器对于大多数应用场景来说昂贵得让人望而却步。然而,卡内基梅隆大学新开发的方法只需要一部智能手机。
这个方法由Lucey 与硕士生 Shubham Agrawal 和 Anuj Pahuja 共同研发,于3月初举行的 IEEE 计算机视觉应用冬季会议上展示。首先要拍摄15到20秒的一个视频。研究人员使用iPhone x 的慢动作功能进行了拍摄。
“高帧率的慢动作是我们设计方法的关键之一,因为它生成了一个密集的点云,”Lucey 说。
深度学习算法助力建模
然后,研究人员采用了一种常用的技术,叫做视觉即时定位与地图构建(SLAM)。可视 SLAM 将表面上的点进行三角测量以计算其精确的形状,同时利用这些信息来确定摄像机的位置。这种技术可以创建人脸的初始几何图形,但缺少的数据会在模型中留下空白。
第二步,研究人员运用深度学习算法来填补这些空白。然而,深度学习只能在有限的范围内使用: 它可以识别人的整体外观和一些标记点,比如耳朵、眼睛和鼻子。然后使用经典的计算机视觉技术来填补SLAM的空白。
“深度学习是我们每天都在使用的一个强有力的工具,” Lucey 说。“但是深度学习会倾向于记忆解决方案” ,但是面部细节千差万别,记忆功能并不利于区分这些差别。
这种方法比较耗时,需要30-40分钟的处理时间。但是整个过程都可以在智能手机上完成。
除了面部重建,卡内基梅隆大学研究小组的方法也可以用来捕捉几乎任何物体的几何形状。然后,这些物体的数字重建可以被整合到动画中,或者通过网络传输到可以复制物体的3D 打印网站。
参考链接:
https://techxplore.com/news/2020-04-smartphone-videos-highly-realistic-d.html
END
备注:3D
三维视觉与三维重建交流群
3D计算机视觉技术、3D重建等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到
CMU黑科技,手机录视频,实现人脸3D建模的高度逼真相关推荐
- 5个不为人知的黑科技手机APP,绝对让你大开眼见!
曾经,有句话这么说:人与人之间的差距,全体现在每天玩手机的8个小时上.我现在觉得这话真的一点毛病都没有,如今智能手机非常普及,大多数人都爱玩手机,其实主要不是手机好玩,而是手机上的APP好玩,今天来给 ...
- 5款黑科技手机APP,每一款都是百里挑一!
今天给大家整理了5款黑科技手机APP,可以满足生活.学习.办公等各方面的需求,总有一款适合你哦! 5款黑科技手机APP,每一款都是百里挑一! 袋鼠下载 现在很多人会用手机在网上搜索各种各样的资源,但是 ...
- 10款黑科技手机APP,每一款都是百里挑一!
今天给大家整理了10款黑科技手机APP,可以满足生活.学习.办公等各方面的需求,总有一款适合你哦! 10款黑科技手机APP,每一款都是百里挑一! 1. 浏览器加 一个简洁.省流量的软件 通常我们会用百 ...
- 这5款黑科技手机APP,瞬间提高手机逼格!
用了这么久的手机,相信大家手机里都有一些自己喜欢的APP,其实还有一些不为人知却很实用的APP. 今天就给大家分享6款黑科技手机APP,瞬间提高你的逼格. 1.Ai Search 一款超强大的搜索工具 ...
- 聊聊旷厂黑科技 | 手机多摄的终极奥义是“多”吗?
今日份黑科技, 是五彩斑斓的.层次鲜明的.有氛围美的. 假期出游.落日晚霞.秋意捕捉.霓虹人像,朋友圈"摄影大赛内卷"从来都没停歇.在人人都能成为影像创作者的时代,如今,手机的拍 ...
- 黑科技手机计算机,轻量又好用的黑科技APP,绝对能让你的手机能量满满!
轻量又好用的黑科技APP,绝对能让你的手机能量满满! 2019-01-15 17:20:28 1点赞 15收藏 0评论 一个个界面简单.功能使用.轻量级的APP躺在我们的手机中 让我们的生活更便捷,工 ...
- 最实用的黑科技手机APP合集
我们一般拿手机,要么是看电影,或者玩游戏,听音乐.但是在手机上PS,或者制作PPT,做CAD,都想不到吧.这里小编推荐这几款极具黑科技的手机APP给大家,希望能帮助到大家. UZER.ME 这是一款免 ...
- 五个安卓黑科技手机app,看看不如用用!心动不如行动哦
安卓手机用户群体在今天看来应该也是个数量非常可观的群体,那有多少人知道下面几个黑科技app呢,都是安卓手机里可以使用的哦,功能非常的强悍, 看剧看书工作办公,都集结在了这几个app里,希望大家喜欢. ...
- 预览速度提升30倍,这是什么黑科技?(天猫618之3D渲染篇)
简介: 天猫618宣布的 3D 购物时代,相信有很多小伙伴好奇,这背后有哪些"黑科技"?橙子从以下三点为你揭秘--3D实景复刻.3D渲染.3D算法,上周讲了<天猫618宣布开 ...
最新文章
- mysql表名查询sql
- JAVA语言中的反射机制
- Angular Table test
- 1. ReactJS基础(开发环境搭建)
- accept和select的区别
- @程序员,不会 Debug 还做什么开发?
- 辽宁职称计算机和英语考试,2018年辽宁职称计算机报考有哪些要求?
- javascript语言扩展:可迭代对象(3)
- android 多图片优化工具,总结Android App内存优化之图片优化
- Openstack api 学习文档 restclient使用文档
- Bootstrap网格系统(Grid System)
- CNN LeNet-5 AlexNet VGG简介
- 行业方案|“机场”行业智能运维解决方案介绍
- 奈奎斯特判据的个人理解
- springboot集成钉钉_SpringBoot集成钉钉报警sdk(解决Failed to introspect Class异常)
- 贝叶斯自举法(BayesianBootstrap)简介
- 太阳系行星运转示意图
- playbook_黑莓PlayBook的第一波Union游戏揭晓!
- MFC中Combo控件的使用
- oracle 存储过程中使用select 列 into 变量
热门文章
- 深拷贝与浅拷贝的区别
- MySQL之EXPLAIN(索引优化)
- 动态规划——物品无限的背包问题
- mcrypt拓展_【PHP】Mcrypt 扩展模块安装及使用
- mysql子查询查询子字段_MySQL知识整理7.4—子查询
- php字符串以符号截取,PHP按符号截取字符串的指定部分的实现方法
- weex android app例子,weex中修改android app图标和欢迎页
- php 替换 超链接,PHP移除字符串超链接文本的正则表达式
- c99什么意思_C语言中%c,%s分别代表什么意思?
- oracle拓展磁盘空间,Oracle磁盘空间使用统计