整理 | 禾木木

出品 | AI科技大本营（ID:rgznai100）

前有DALL.E文本生成图像，现有将文字变成 3D场景。近日，苹果 AI 团队发布最新 AI 模型 GAUDI，它是基于 3D 场景的神经架构 NeRFs，可以根据文字生成 3D 室内场景。

目前为止，NeRFs 主要用做 3D 模型和 3D 场景的一种神经存储介质，然后可以从不同的相机视角进行渲染。

最新 AI 系统 GAUDI

如果说 NeRFs 从不同角度逼真地渲染图像的能力可以用于生成 AI 呢？

此前，OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系统展示了 AI 将文本生成图像的潜力，但内容也仅限于 2D 图像和图形。

2021 年末时，谷歌通过 Dream Fields 首次展示了 3D AI 生成系统，将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。苹果 AI 团队发布的 GAUDI 是一种能够生成沉浸式 3D 场景的神经架构，可以根据文字提示创建 3D 场景。

例如，输入“穿过走廊”或“上楼梯”，就可以看到执行这一动作的 3D 场景视频。

Apple GAUDI 是 3D 内饰专家

虽然谷歌致力于使用 Dream Fields 生成单个对象，但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。这背后极有可能的原因之一是摄像机位置的限制。

虽然对于单个对象，每个摄像机位置都可以映射到一个圆顶，但在 3D 场景中，这些摄像机位置会受到对象和墙壁等障碍物的限制。

对于这个问题，GAUDI 模型的解决方案是：相机姿态解码器对可能的相机位置进行预测，并确保输出是 3D 场景架构的有效位置。

场景的场景解码器预测三平面表示，这是一种 3D 画布，辐射场解码器在其上使用体积渲染方程绘制后续图像。

在对四个不同数据集（包括室内扫描数据集 ARKitScences）的实验中，研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。

虽然现在 GAUDI 生成的 3D 场景视频质量还不是很高，但这也说明了 AI 在图像和视频技术这生成的另一种可能。

参考链接：

https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/

往期回顾

“如今，99%以上的代码都是垃圾！”

Deepfake 技术换脸真假难辨！

当你不再是程序员，很多事会脱离掌控

7岁男童因下棋太快，被机器人夹断手指？

分享
点收藏
点点赞
点在看

苹果发布 AI 生成模型 GAUDI，文字生成 3D 场景相关推荐

  1. #今日论文推荐# 文字秒变3D？苹果发布最新AI生成模型GAUDI，根据文字提示创建3D场景

    #今日论文推荐# 文字秒变3D?苹果发布最新AI生成模型GAUDI,根据文字提示创建3D场景 继 AI 将文字变成图片后,又有 AI 可以将文字变成 3D 场景了. 苹果发布新 AI 系统 GAUDI ...

  2. 照片转3d模型_在线搭建3D场景

    小编分享一个很有意思的可以在线搭建3D场景网站,像是玩积木一样简单,首先我们看一下网站是什么样的. 网站首页 有很多场景.模型可以选择,把自己喜欢的模型往场景里摆放进行搭建,所选择的模型都有链接可以打 ...

  3. 【离线文本转语音文件】java spring boot jacob实现文字转语音文件，离线文本转化语音，中英文生成语音，文字朗读，中文生成声音，文字生成声音文件，文字转语音文件，文字变声音。

    1.实现效果如下: 输入文字(支持中英文),点击转换生成***.wav文件,点击下载到本地就可. 生成后的音频文件播放,时长1分8秒 2.实现代码: 这次采用jacob实现,相比百度AI需要联网,本项 ...

  4. 115页Slides带你领略深度生成模型全貌（附PPT）

    来源:专知 本文多图,建议阅读8分钟. 本文为大家带来了斯坦福大学PH.D Aditya Grover同学的深度生成模型tutorial. [ 导读 ]当地时间 7 月 13 - 19 日,备受关注的 ...

  5. 【GAN优化外篇】详解生成模型VAE的数学原理

    最近在学习生成模型的相关知识,这篇文章将介绍一下变分自编码器(Variational Auto-encoder),本文只介绍一些粗浅内容,不会涉及比较深刻的问题. 作者&编辑 | 小米粥 1. ...

  6. 预训练生成模型：结合VAE与BERT/GPT-2提高文本生成效果

    论文标题: Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space 论文作者: Chunyuan Li, Xi ...

  7. 生成模型和判别模型_生成模型和判别模型简介

    生成模型和判别模型 Intro 介绍 Recently I gave a presentation at work, where I explained how I solved some probl ...

  8. 扩散模型与生成模型详解

    扩散模型与其他生成模型 什么是扩散模型 扩散模型的简介 生成建模是理解自然数据分布的开创性任务之一.VAE.GAN和Flow系列模型因其实用性能而在过去几年中占据了该领域的主导地位.尽管取得了商业上的 ...

  9. 第五章：深度生成模型

    目录 ➢Part One.深度生成模型概述 ➢Part Two.Hopfield神经网络 ➢一.神经网络的分类 ➢二.Hopfiled神经网络 ➢1.Hopfield神经网络优点 ➢2.Hopfiel ...

最新文章

  1. Alluxio：2022年大数据五大趋势，多云下数据湖兴起，AI成为主流
  2. abp(net core)+easyui+efcore实现仓储管理系统——ABP WebAPI与EasyUI结合增删改查之六(三十二)
  3. python中多进程及进程间通信的方法
  4. 黑马博客——详细步骤(八)项目功能的实现之另一种分页方式【mongoose-sex-page】
  5. 一种定力夹具控制系统
  6. SPC软件：全程监控食品质量
  7. 计算机毕业论文性能测试怎么写,计算机专业毕业论文写作指导方法
  8. CSI-RS资源配置
  9. vmware虚拟机复制文件后空间不足删除.cache文件夹
  10. word怎么恢复自动保存_如何使用自动恢复自动保存Word文档并恢复丢失的更改
  11. 基于人工势场法的车辆编队轨迹规划matlab仿真验证
  12. VMware Workstation 与 Device/Credential Guard 不兼容。在禁用 Device/Credential Guard
  13. 机器学习实战读书笔记-朴素贝叶斯
  14. 苹果 企业 开发者账号 注册、申请续费整个流程($299的账号)
  15. supersu二进制更新安装失败_SuperSU更新二进制文件原因底层分析－－内附官方文档...
  16. itest考试切屏能检测出来吗_itest测试
  17. 2021雷军年度演讲 - 我的梦想，我的选择
  18. Win10快捷键，管多
  19. 转载的一篇嵌入式大佬经验博文
  20. 如何开发一个地图导航系统

热门文章

  1. linux 查看 man 路径配置文件 man.config,linux man 1,2,3....
  2. 【尾插法】表尾插入法构造链表 (10 分)
  3. ICTCLAS的Python3实现
  4. Bentley MicroStation CE版的颜色变换(CONNECT Edition)
  5. php jquery ajax九宫格抽奖,jQuery九宫格抽奖
  6. Tribonnbsp;Draftingnbsp;consol…
  7. 如何学会自主学习？（精品）
  8. 数据库的数据文件和日志文件
  9. 互联网公司的中台到底是什么
  10. 计算机专业硕士论文字数要求,计算机专业硕士论文写作格式要求（参考）