Alphabet子公司DeepMind近日已发展一人工智能型系统，只要观察2D影像就能建立其3D场景。DeepMind的研究人员说明，人们理解视觉场景时并不只光靠眼睛，还必须仰赖脑袋里的知识进行推理，例如在一个房间里看到一张桌子的三只脚时，人们会推论还有一只同样形状与颜色的脚藏在看不见的地方，就算是无法看到整个房子的场景，也能想象或画出它的布局。

这样的视觉与认知对人类来说似乎毫不费力，但对人工智能（AI）系统而言却是重大挑战，目前最先进的视觉辨识系统是利用由人类建立并批注的大量数据集进行训练，只是建立这些数据集的工程非常耗大，这使得DeepMind开发了生成查询网络（Generative Query Network，GQN）框架，让AI得以藉由它们在场景中移动时所获得的数据进行训练，学习如何感知周遭的环境。

换句话说，GQN是个自主学习系统。GQN是由表现网络（ representation network）与生成网络（generation network）所组成，前者基于代理人的观察输入了数据，以产生场景的描述，后者则是自未观察到的视点预测场景的样貌。

表现网络必须尽可能精确地描述场景，包括对象的位置、颜色与房间的布局，生成器在训练中学到了环境中的对象、功能、关系与规律性，于是，表现网络是以高度压缩及抽象的方式描述场境，而生成网络则是负责填补详细的信息。

在DeepMind的实验中，他们部署了一个3D的世界，内有随机摆设的各种对象、颜色、形状、纹理及光源等，在利用这些环境进行训练后，由表现网络来形成一个新的场景，显示出生成网络能够从全新的视野来想象从未被观察到的场景，产生一个不管是光线或形状都正确的3D场景。生成网络还能从表现网络所观察到的积木平面图，画出完整的3D积木配置。或者是在视野受阻的迷宫中来回地观察，结合众多有限的资源描绘出正确的3D场景。

研究人员表示，与传统的计算机视觉技术相较，此一方法仍有诸多限制，而且目前只能于合成场景中训练，但随着新数据的出现与硬件能力的提升，GQN框架将能应用至实体场景与更高分辨率的影像，DeepMind也会探索GQN在场景理解上的更多应用，例如查询空间与时间来学习物理与运动的常织，或是应用在虚拟与扩增实境上。 文章转自：惠仲工业科学站 http://hertzhon.com.tw/

转载于:https://juejin.im/post/5b3b4436f265da0f4734f886

AI更加进化 可将2D影像转为3D场景相关推荐

  1. (附源码连接)利用AI将2D照片合成3D场景

    利用AI将2D照片合成3D场景 新的 NVIDIA NGP Instant NeRF 很好地介绍了神经辐射场的入门. 在短短一个小时内,您就可以编译代码库.准备图像并训练您的第一个 NeRF. 与其他 ...

  2. 用单张2D图像重构3D场景

    用单张2D图像重构3D场景 zouxy09@qq.com http://blog.csdn.net/zouxy09 之前看到Stanford大学的机器学习公开课程的lecture01中,Andrew ...

  3. 苹果的「AI 建筑师」GAUDI：根据文本生成 3D 场景

    作者:李梅  |  编辑:陈彩娴  |  转载自:AI科技评论(aitechtalk) 如今,每隔一段时间就有新的文本生成图像模型释出,个个效果都很强大,每每惊艳众人,这个领域已经是卷上天了. 不过, ...

  4. 神奇的AI：将静态图片转为3D动图

    近日我们从外媒获得消息,位于莫斯科的三星AI中心和Skolkovo科学技术研究所的研究人员发表了一篇新论文,详细介绍了从单个静止人像照片生成3D动画人像的创建.与此前能够生成照片般逼真肖像的人工智能A ...

  5. 泰坦尼克号是怎么从2D转成3D的？

    并不是所有人都喜欢 3D 电影,很多人认为传统电影转换为 3D 电影的效果,却经常粗制滥造令人失望.詹姆斯·卡梅隆也是这么认为的,但是他决心打破这个偏见,花费了 1800 万美元将原本已是登峰造极的泰 ...

  6. 苹果发布 AI 生成模型 GAUDI，文字生成 3D 场景

    整理 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 前有DALL.E文本生成图像,现有将文字变成 3D场景.近日,苹果 AI 团队发布最新 AI 模型 GAUDI,它是基于 3D ...

  7. #今日论文推荐# 文字秒变3D？苹果发布最新AI生成模型GAUDI，根据文字提示创建3D场景

    #今日论文推荐# 文字秒变3D?苹果发布最新AI生成模型GAUDI,根据文字提示创建3D场景 继 AI 将文字变成图片后,又有 AI 可以将文字变成 3D 场景了. 苹果发布新 AI 系统 GAUDI ...

  8. 能通过一张照片(2D)得到3D的模型吗？AI自动识别户型图生成3D场景方案

    参考文献: 基于形状与边缘特征的户型图识别研究_江州.caj 面向自动家装生成的户型图识别方法研究_黄文.caj 基于深度学习的青年公寓户型自动生成研究_杨柳.caj 基于结构构件识别的户型图三维重建 ...

  9. 2D 照片变身 3D 模型，来看英伟达的 AI 新“魔法”！

    整理 | 郑丽媛 出品 | CSDN 在本周举办的计算机视觉和模式识别会议(CVPR)上,英伟达推出了一种名为 3D MoMa 的 AI "魔法":将静态 2D 照片转换为可轻松编 ...

最新文章

  1. vue-router学习地址
  2. 镜像浏览器_Docker 企业级私有镜像仓库 Harbor 部署
  3. 虚拟机linux配置armip,arm-PC-虚拟机环境搭建
  4. PCMCIA接口采集卡系列
  5. Repeater的嵌套结合用户控件的使用
  6. odata.publish = true的CDS view激活之后，后台发生了什么事情
  7. 两平面平行方向向量关系_一文读懂 GDT 中的平面度
  8. sqlserver 导出mysql,sqlserver数据（表）导出到mysql
  9. 如何看别人网络下计算机,如何查看电脑是否被他人偷偷使用过网络技巧 -电脑资料...
  10. Java中抽象类和接口的区别（来源一）
  11. Android 学习之Fragment的创建
  12. @autowired注解 抽象类_Spring容器注解注入
  13. 解决应用程序无法正常启动0xc0150002问题（转）
  14. 简述P问题，NP问题，NP完全问题以及NP Hard问题
  15. 三星c9000刷android7.0,三星C9 Pro C9000官方原厂rom线刷包刷机包C9000ZCU1CRI1
  16. skynet框架应用 (十四) 登录服务
  17. Java回收对象的标记 和 对象的二次标记过程
  18. tf35：tf.estimator
  19. matlab怎么多重积分,多重积分的MATLAB实现
  20. 每日新闻：阿里、商汤设立人工智能实验室；美光科技收购英特尔股份；2019十大战略科技发展趋势；北京明年允许自动驾驶车辆开展测试...

热门文章

  1. 笔记本电脑uniapp真机调试搜索不到设备
  2. 布隆过滤器速度_5 分钟搞懂布隆过滤器，过滤亿级数据
  3. 红外谱段细分以及成像特点
  4. 不做ui了 转行做什么_UI设计师要改行，能做什么？
  5. stdarg.h中三个宏va_start ，va_arg\va_end及vsprintf 的应用
  6. RHCSA学习 --- 在VMware上创建虚拟机并安装红帽linux系统
  7. 51单片机数据类型及范围
  8. IBM Expands Watson Platform for Next Generation of Builders
  9. NGB基本知识（一）
  10. ZEGO Meetup 第二期 | 视频直播+的技术实践之道