关注公众知享奇,获取更多资源

Unity MARS 是业内首款智能化的AR创作工具,让各行各业的创作者都可以轻松创作AR体验。此前,我们为大家带来了Unity MARS的入门模板(点击文末链接回看)、介绍了Simulation系统原理(点击文末链接回看),这些功能都极大地为创作AR体验提供了便利。最新版的MARS则在这些的基础上更进一步,支持使用自然语言来描述现实环境和其中的AR内容。

在此之前,我们为了在真实世界里布置虚拟内容,需要跟MARS通过逻辑语言进行“沟通”。MARS的逻辑语言需要通过代理(Proxy,真实物体的表示物)和运行条件(数字内容与现实物体互动的时机和规则),在现实中搜寻放置数字内容的理想位置,再触发程序行为和事件,我们称其为规则(Rule)。而新的Rules摆脱了逻辑语言的限制,创作者只需使用自然语言就可以实现这些功能。

举例来说,我们想要“在每个水平面上生成草地”。在之前的MARS中,我们需要建立一些父子层对象,分别把这句话拆分为“每个…上”、“水平平面”、“生成草地”这三个逻辑语言。首先通过重复语句(Replicator)代表“每个…上”,然后在它之下建立子对象代理(Proxy)代表“水平平面”,最后再其下建立子对象内容,代表“生成草地”,如此实现相应的AR操作。而在Rules工作流中,用户无须理解底层组件或管理MARS对象层级,直接使用“在每个水平面上生成草地”这句自然语句,便能快速建立起AR场景。

下图是一个使用了Rules创作的虚拟体验,该体验使用了旧金山Memorial Court和市政大厅的照片建模,通过Rules加入了描述性数据,让场景更加具体。

可以看到,通过Rules制定的规则简单直白,比如“在每个窗户上增加装饰物”。我们的目标是让任何人都能通过这一条条规则来快速了解并体验实际的效果,大大提高创作的效率。

轻松建立高级内容

除了以上功能外,Rules工作流还包含一系列代理群组(Proxy Group)、地标(Landmark)等功能,帮助用户进一步描述、组织AR场景。

01 使用代理群组(Proxy Group)匹配对象

代理群组可以让应用查询多个现实对象。比如,要架起一座让角色能够走过的虚拟桥梁可能需要用到多张桌子,要在美术馆触发一段语音播报、或向下一区域的导航指示可能需要用到多张图片。

代理群组支持在多个对象上执行的特殊条件,例如在多个对象间划定距离。Rules工作流可以快速将单对象规则转换为代理群组规则,用户还能在面板中轻松地修改群组的条件。

02 使用地标(Landmark)表示普通对象

Unity MARS的另一个高级功能是地标:一个精确计算代理点坐标和几何形的系统。该系统的概念源自面部遮罩功能,即人脸的“地标”:眼睛、鼻子、嘴巴等等。在建立面部功能时,我们认为同样的方法也能用到其它种类的对象上(比如图片标识的边角,识别时可以更加细化为“底边”等等)。

地标功能在群组中的作用最大,如之前提到的在两张桌子间架设(虚拟)桥梁的例子。为了让内容更加逼真,架设条件不能仅仅是有两张桌子,而需要具体地定义一个场景,“在两张桌子相邻的边缘生成桥梁”。

Rules工作流能以简单的方式来管理此类信息,如下所示。


在示例中,AR内容在其它对象的摆放方式都由自然语言来描述。

高手可自由发挥

Unity致力于为大家提供简单易用的工具,同时也支持大家进行“天马行空”的创作。我们提供的所有工具都简单直白,并且已经做到了“开箱即用”,可满足大部分用户的需求,同时,我们的工具还具有高度可自定义的能力,让高手可以任意发挥。

为了实现Rules 工作流,我们需要在AR创作中设置好一些限制、捷径和固定的操作,与此同时,我们也为高手进行自由发挥留出了余地。Rules工作流虽然会自动建立重复语句(Replicator)、代理(Proxy)、代理群组(Proxy Group)、地标(Landmark)和行为(Action)这些MARS底层对象,并在层级中加以隐藏,但用户也能从对象的检视器中启用显示对象的选项,拓展简化的UI,直接编辑底层对象。

总而言之,我们为80%的用例搭建了现成工具,为剩余20%的用例提供了制作可能。

[1] MARS 官网:
[2] Unity MARS的入门模板
[3] Simulation系统原理
[4] Rules 说明文档

转载

最新版的MARS可以“听懂”人话啦,网络不能及时联系作者,本着学习原则,有侵权联系,第一时间删除。

技术:最新版的MARS可以“听懂”人话啦相关推荐

  1. 让机器听懂人话的自然语言处理技术究竟神奇在哪里?

    https://www.toutiao.com/a6680059274095231501/ 一提到"AI"人工智能,很多人脑袋中就会自动冒出"科幻"电影中变幻莫 ...

  2. 自然语言处理技术:让人工智能“听懂人话”

    编者注: 更多人工智能业务方面重要的发展请关注2018年4月10-13日人工智能北京大会. 人工智能的奇妙之处在于,它能让机器像人类一样拥有理解能力,完成智能任务.而它的难解之处在于,如何让人工智能拥 ...

  3. 解决让计算机听懂人说话的技术,百度传课解密NLP技术 让计算机听懂“人”话...

    很多人大概都有这样的体验,当突然需要寻找资料,火急火燎输入词汇时,面前的电脑却死活"听"不明白你的意图,提供的答案也并非你想要的结果.让人不禁感慨如果能有像大白那样"善解 ...

  4. 【论文阅读】让数据库听懂人话(Text-to-SQL)

    论文标题: 在跨领域数据库中引入中间表示来实现复杂Text2SQL 英文标题: Towards Complex Text-to-SQL in Cross-Domain Database with In ...

  5. 文科生本科专业能学计算机吗,请问高中文科生到大学里学“软件技术”这个专业,上课能听懂,跟得上么?...

    请问高中文科生到大学里学"软件技术"这个专业,上课能听懂,跟得上么?以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一 ...

  6. 电话机器人智能语音机器人之:语音识别,让电脑听懂人说话

    通过pyaudio,已经可以将人说的话保存成声音文件. 但是,我们还需要计算机可以听懂人说的话,并执行相应的命令. 在计算机科学里,这被称为"语音识别技术",语音识别技术就是让机器 ...

  7. 为什么计算机能听懂人的指令,为什么计算机有听懂命令的能力?

    当你坐在计算机前,机械地敲击键盘,逐个地输入字符, 你可能会有一种与"哑巴"在对话的感觉.如今,一种全新的声音控制计算机的方式进入了人们的生活.例如,当一个总经理上班,到了办公室门 ...

  8. 智能客服“听不懂人话”?消费者很“闹心”

    智能客服与人工客服并非互相取代的关系.人工客服不能缺位,应通过人机协同更好地回应消费者诉求.在金融消费领域,建议与资金安全等密切相关的业务能够设置人工服务"一键转接"或者" ...

  9. 为什么计算机能听懂人的指令,计算机能听懂我们在说什么吗?

    原标题:计算机能听懂我们在说什么吗? 计算机,比如Siri,常会迷惑不解,因为它们是根据单词统计规律性来判断词意.一位研究人员发明了一种玩家只能进行非口头交流的沟通游戏,并通过游戏准 确定位出相互理解 ...

最新文章

  1. QIIME 2教程. 04人体微生物组分析Moving Pictures(2020.11)
  2. 深度学习pytorch--线性回归(三)
  3. Lua介绍极其在C#项目中的应用
  4. 机械自动化算不算计算机相关专业,机械设计制造及其自动化专业属于什么类别...
  5. 李洪强经典面试题45
  6. 这份Java日志格式规范,拿走不谢!
  7. Error: PostCSS received undefined instead of CSS string核心解决方法
  8. 各证件号码(身份证、护照、军官证、驾驶证、港澳台湾通行证、户口簿)正则表达式校验 完整正确
  9. 【excel】开启了循环引用怎么关闭
  10. C语言字母的组合,C语言求字母的全部组合
  11. httpPost.setHeader,httpPost.addHeader 区别
  12. JPA 学习(四) JPA_EntityManager系列
  13. Android 真正的3D Gallery
  14. [CDQ分治与整体二分]个人对CDQ分治与整体二分的理解
  15. FTP手机和PC互传文件
  16. 妹妹画的小恐龙和我用Python画的小恐龙,你更加喜欢谁的!❤️
  17. kvm安装ovmf,增加UEFI启动模式
  18. Vert.x入坑须知(3)
  19. 国内首次!3位清华姚班00后学霸斩获计算机理论顶会最佳学生论文奖
  20. 概率论与数理统计中的独立(独立 独立同分布 不相关)

热门文章

  1. MOOG伺服阀D634-501A
  2. 【Java小项目】图片浏览器
  3. ubuntu 强制卸载vmware player
  4. warning: redis: unable to open supervise/ok: file does not exist
  5. CTF随笔——隐写术
  6. python代码直接关机_Python实现自动关机
  7. 关于uni-app接入萤石云UIKit Javascript
  8. Leetcode 1376 TimeNeededToInformAllEmployees
  9. 编程之美2016复赛题目
  10. Hadoop入门系列(1)-简介