谷歌体三维捕捉新突破：实现后期任意照明修改
随着市场对AR体三维视频的需求开始逐渐增长，谷歌研究人员正在探索如何优化相关的实现过程。作为研究努力的一个成果，团队开发了包含330可编程LED灯泡和约100个摄像头的球形设施：“The Relightables”。名为《The relightables: volumetric performance capture of humans with realistic relighting》的论文已经发布在ACM期刊 。
据介绍，Relightables系统实现了三项创新。首先，包含的摄像头是用作深度传感器，能够捕获对象的12.4MP深度图；然后，团队创建了几何和机器学习重建管道，后者能够从捕获的数据中合成视频。最后，系统能够捕获与深度图时间同步的反射比图，从而允许操作员在AR或VR场景中操纵对象的照明，不再是原始工作室的照明条件。这种信息是通过交替闪烁两种不同的颜色渐变图案所获得，而系统会在视频重建期间将其用于推断对象的反射特性。
〔映维网〕谷歌体三维捕捉
自动播放
01:26
团队在论文中写道：“尽管行业已经在体三维捕获系统方面取得了重大进展，但其主要是集中在具有高分辨率纹理的3D几何重建，而在恢复重新照明所需的光度特性方面则少有涉猎。相比之下，大量的研究工作探索了基于图像的可重照明获取问题，亦即在一组基本照明条件下拍摄对象，然后重新组合图像，以仿佛是出现在目标照明环境中时的样式来显示对象。但这种方法一直都不适合在高分辨率的体三维捕获系统中使用。我们的方法整合了这种能力，可允许系列在任意环境下真实地重照明人类，并且包含自由视点体三维捕获的优势，以及在动态表现的几何精确度实现了提升。”
体三维视频领域在过去两年间一直在稳步增长。除了微软的Mixed Reality Capture Studios外，英特尔、索尼同样构建了自己的捕获工作室，而Verizon则通过收购Jaunt涉足体三维捕获技术。体三维视频在增强现实体验中的用例十分广泛。与此同时，Magic Leap收购Mimesys及其实时全息视频通讯技术表明，体三维捕获有望在未来改变人们的通讯方式。
另外，谷歌创意实验室和Opera Queensland的合作揭示了另一个用例：虚拟剧院。在SIGGRAPH大会亮相的原型体验包含通过Relightables系统捕获的三位演员表演。在谷歌的大力支持下，基于Relightables体三维捕获系统的3D内容将能为沉浸式体验带来更多的真实感，令我们愈加难以区分虚拟与现实。
谷歌体三维捕捉新突破：实现后期任意照明修改相关推荐
- OPPO Find X3通过网站推广正式官宣，打破常规探索高端旗舰新突破！
早在三月初OPPO就已经开始针对OPPO Find X3新系列产品做出预热,从选择姜文作为新系列高端旗舰产品的代言人就可以看出,此次OPPO有着全新的考量.借用姜文经典电影中的台词"什么TM ...
- 【虚拟仿真技术】给医疗行业带来新突破
随着信息技术的发展,虚拟仿真技术已经从一种新兴科技发展成我们生活.生产中随处可见的应用技术,虚拟仿真已经大规模应用到娱乐.工业.医疗等各个领域,对这些行业进行着一场前所未有的革命. 虚拟仿真是什么 虚 ...
- CVPR2021(Oral) 商汤、港中文实现单目人脸重建新突破： 基于生成网络的渲染器！几何形状更精准！渲染效果更真实！...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 近日,商汤-港中文联合实验室提出基于风格化对抗生成器的人脸渲染器,用于取代传统图形学基于栅格化的渲染器 ...
- CVPR2021(Oral) 商汤、港中文实现单目人脸重建新突破： 基于生成网络的渲染器！几何形状更精准！渲染效果更真实！
近日,商汤-港中文联合实验室提出基于风格化对抗生成器的人脸渲染器,用于取代传统图形学基于栅格化的渲染器来进行3D模型的重建.该方法构建了一种从输入3D模型到生成图像的平滑梯度,同时可以以低精度建模获得 ...
- 百度语音系统Deep Voice新突破 可在几秒内克隆你的声音
文章来源:ATYUN AI平台 百度的AI研究部门近日宣布,其文本到语音(TTS)系统"Deep Voice"已经学会了如何使用仅三秒钟的语音样本数据来模仿人类的声音. 这项技术被 ...
- OpenJS宣布第一个孵化项目； PostgreSQL 12 正式发布；目标检测新突破
行 业 要 闻 Industry News ▲▲▲ 0 1 OpenJS 基金会宣布第一个孵化项目:Node Version Manager OpenJS Foundation宣布,Node Ve ...
- 研制量子计算机相关的公式,量子计算新突破，量子计算机离我们还有多远？
原标题:量子计算新突破,量子计算机离我们还有多远? 投稿来源:陈根 量子计算机伴随着量子技术而出现,不论是美国还是我们国家,都在不断地探索量子计算机的新发展.可以预见,量子计算机是未来的主流,但目前还 ...
- Alphabet联网气球项目取得新突破；苹果全球开发者大会6月5日召开│ IoT黑板报...
百度宣布全资收购渡鸦科技 加码人工智能 @一财网 据百度官微消息,百度宣布全资收购渡鸦科技有限责任公司,创始人吕骋携团队正式加盟百度,并出任百度智能家居硬件总经理,向百度集团总裁和首席运营官陆奇汇报. ...
- COSSIM小组新突破：为网络物理系统提供支持的开源模拟器
内容来源:ATYUN AI平台 由于物联网(IoT)的快速发展,以及它与人工智能(AI).机器学习和云技术的结合,网络物理系统(CPS)正受到越来越多的关注.这些物理和计算组件的交互网络将为关键基础设 ...
最新文章
- 京东到家甩包袱给达达 路走错了合并也没
- 批量导入LYNC 2010用户的联系人
- python中的reduce、lambda函数
- JZOJ 5907. 【NOIP2018模拟10.16】轻功（qinggong）
- PingingLab传世经典系列《CCNA完全配置宝典》-5.8 静态NAT
- 入坑-DM导论-第一章绪论笔记
- 使用C#获取IP地址方法
- Python中的进程间通信
- IO虚拟化——virtio 原理
- C语言中数组做函数参数的问题
- SQL DATEADD (Transact-SQL)根据需要返回时间，
- mysql mysqldump触发器备份_MySQL常用的备份工具之mysqldump
- 朋友借我10万并把房产证交给我，写了借条，并在借条上写明了用此房产做抵押，有效吗？
- 浅谈从一维空间到十一维空间
- ubuntu 14.04安装flash播放器
- win10卸载预装软件
- 宇宙物演进程——外星人去哪了游戏代码（Python实现）
- 基于Autojs的66联盟快手版辅助
- Python concurrent.future 使用教程及源码初剖
- IP融合网络引领通信变革