机器人,给我来一瓶82年的农夫山泉
新智元编译
来源:MIT
编辑:克雷格
【导读】MIT计算机科学和人工智能实验室(CSAIL)和多伦多大学的研究人员开发一个虚拟家园“VirtualHome” ,不仅让虚拟机器人成功做家务,还创建了一个用自然语言描述的家庭任务数据库,将来可能有助于亚马逊的Alexa等系统执行更复杂的任务。
“机器人,给我来一瓶82年的农夫山泉。”
收到这个指令,机器人肯定一脸懵逼。
先不说82年的农夫山泉肯定找不到,更现实的问题是,即便是有一瓶现成的农夫山泉,机器人也需要人类更明确、程序化的指令才能完成这个任务,他们不能轻易推断和推理。
MIT计算机科学和人工智能实验室(CSAIL)和多伦多大学的研究人员受《模拟人生》(The Sims)启发,开发一个虚拟家园“VirtualHome” ,不仅让虚拟机器人成功地制作了咖啡、打开烤面包机、在沙发上休息,研究人员还创建了一个用自然语言描述的家庭任务数据库,将来可能有助于亚马逊的Alexa等系统执行更复杂的任务。
VirtualHome:模拟家庭八个场景中的1000个交互
VirtualHome是一个3D环境,它允许模拟和生成活动的视频,并将它们作为动作和交互的序列。
VirtualHome基于三个主要模块:
家庭任务的知识库,包含如何执行某些公共任务的指令;VirtualHome环境,一个模拟和生成这些任务的视频的3D模拟器,以及允许从描述或视频演示生成程序的脚本生成模型。
团队使用了近3000个不同活动的程序来训练这个系统,这些活动被进一步细分为计算机的子任务来理解。这是因为机器人与人类不同,它们需要更明确的指令来完成简单的任务,不能轻易地推断和推理。
例如,一个人可能会告诉另外一个人:“打开电视,在沙发上看吧。”在这句话中,像诸如“拿遥控器”和“坐/躺在沙发上”这样的动作被省略了,因为它们是人类常识的一部分。
为了更好地向机器人演示这类任务,需要更详细地描述操作。
仅看电视这个任务,就分了多个步骤
为此,研究团队首先收集了家庭活动的口头描述,然后将它们翻译成简单的代码。像“打开电视,在沙发上看吧”这样的指令可能包括以下步骤:
走到电视前,打开电视,走到沙发前,坐在沙发上,看电视。
一旦这些程序被创建,这个团队将它们输入到VirtualHome 3-D模拟器,然后将它们转换成视频,虚拟代理将执行程序定义的任务,无论这些任务是看电视、将锅放在炉子上,还是打开和关闭烤面包机。
该团队的虚拟机器人可以在VirtualHome的世界中执行1000个这样的交互,其中有八个不同的场景,包括客厅、厨房、餐厅、卧室和家庭办公室。
程序的独特之处:包含了执行活动所需的所有步骤
来看一看是具体怎么操作的。
团队收集了一个专门针对机器人的家庭活动的大型知识库,数据集包含活动以及程序的自然语言描述,以一系列步骤的形式表示活动的正式符号。这些程序的独特之处在于它们包含了执行活动所需的所有步骤。
每个任务都有一个高级名称和一个自然语言指令,然后团队为这些任务收集“程序”(下图左中),标注者(annotators)将指令“翻译”为简单的代码。
接着,团队在VirtualHome-3D模拟器中执行最频繁的(内部)操作,能够驱动代理执行由程序定义的任务。团队提出了从文本(上图顶部)和视频(上图底部)自动生成程序的方法,从而通过语言和视频演示驱动代理。
上图描述在VirtualHome中,代理根据描述执行生成的程序。注意,最上面的代理使用他的左手打开冰箱和抓取一个物品,因为他右手已经拿了一个物体。另外,代理还有一些限制,例如,在第三排,代理穿着衣服坐在马桶上。此外,有时携带的物品会由于对撞机的不精确而轻微地穿透代理的身体。
未来:机器人可能摆脱制造商编写的任务,从YouTube上也能学习
该项目由CSAIL和多伦多大学等高校的研究人员共同开发,将在本月在盐湖城举行的CVPR会议上present。
亚利桑那州立大学艺术媒体和工程系的研究助理Qiao Wang说:“这一工作将有助于未来真正的机器人个人助理,机器人都可以通过聆听或观察身边的特定人员来学习任务,而不是制造商编写的每项任务。这使得机器人可以以个性化的方式完成任务,甚至有一天可以通过这种个性化的学习过程调用情感联系。“
此外,研究的结果不仅仅是完成一个训练机器人做家务的系统,它还是一个使用自然语言描述的家庭任务的大型数据库。像亚马逊这样的公司正在努力在家里开发类似Alexa的机器人系统,最终可以使用这些数据来训练他们的模型来完成更复杂的任务。
未来,该团队希望使用实际视频来训练机器人,而不是《模拟人生》这样风格的模拟视频,这将使机器人通过观看YouTube视频来学习。该团队还致力于实施奖励学习系统,让代理在正确执行任务时得到积极的反馈。
VirtualHome地址:
http://virtual-home.org/
论文地址:
http://virtual-home.org/paper/virtualhome.pdf
点击下方“阅读原文”了解更多详情↓↓↓
机器人,给我来一瓶82年的农夫山泉相关推荐
- 来一杯82年的java_来一瓶“82年的拉菲”这个梗,你知道什么意思吗?
"82年的拉菲"在众多影视剧中都能看到.该词之所以走红,是它已经成为了影视剧里面有钱人的惯用台词了. 经常可以在电视中看到如此画面:在一个高档的西餐厅,客人对服务员说给我来瓶82年 ...
- 来瓶82年拉菲压压惊
一个品相保存完整的82年拉菲空瓶,市面上的回收价在4000以上!你说这些人这么高价回收空瓶干嘛用?当然是做假酒啊,懂行的骗子会拿一些波尔多二级庄的千元以上的酒去灌瓶,这样一转手就能卖5-6万! 由于千 ...
- 点心云pcdn跑量越来越少问题解决方案
微信群: 邀请码:https://dianxinai.com/app?inviterCode=3DRl4D 在群里经常看到有朋友问"为什么我的点心云pcdn跑不起来",那我们今天就 ...
- 元气森林,真能在中国再造一个“可口可乐”吗?
文|螳螂财经(TanglangFin) 作者|图霖 气泡水的热度仍在升温. 近期,茶颜悦色的部分线下门店上线了名为"书生气"的气泡水.这家备受年轻人们喜爱的新茶饮,延续了" ...
- 云游昆大丽(一)——舟车劳顿
清早起来,是个好天气,急着去赶8点多的飞机,匆匆忙忙坐着355就赶去了机场. 今天是8月1号,旅程的第一天.路上草草决定了本次出团的领导岗位,本人--团长,LP--副团长兼团长夫人.双重职责是为了灵活 ...
- 我们只差一层处女膜的距离
我们只差一层处女膜的距离 夜已深,辗转反复,无法入睡--今天,与小蕾,终于还是分手了,好象原本就是注定的必然--从前的一幕一幕始终在脑中不停闪动着,让我无法平静,彻夜难眠--终于决定,还是把这一段往事 ...
- 云鲸扫拖一体机器人说明书_云鲸扫拖一体机器人J1开箱测评,扫地拖地功能测试...
最近一直听朋友和知友们讨论云鲸扫拖一体机器人特别好,能自动清洗拖布.于是自己就看了看这款产品,被其全自动清洗拖布功能所吸引.于是,"冲动是魔鬼"下单买了. 本文会分为三部分1.开箱 ...
- 中国抛光打磨机器人行业发展方向分析与十四五战略规划研究报告2022年版
[撰写单位]:鸿晟信合研究院 第1章:抛光打磨机器人行业概念界定及发展环境分析1.1 抛光打磨机器人行业概述 1.1.1 抛光打磨机器人行业界定 (1)抛光打磨机器人定义 (2)抛光打磨机器人分类 ...
- csgo举报机器人怎么安排_求一个CSGO的举报和点赞用的机器人
翻译如下:BeepIsla / CSGO推荐机器人 手表 31 星 160 货叉 82 码 第 17期 拉取请求 0 动作 安全 见解 解雇 立即加入GitHub GitHub是超过40 ...
最新文章
- R语言使用pheatmap绘制热力图(数据归一化、行列聚类、注释、文字角度、字体)
- 张家界举行“火王”争霸赛 众人街头“玩火”
- 人工智能:自由能理论,AI未来的数学模型
- 【密码学】一万字带您走进密码学的世界(上)
- mysql主从同步简单原理_MYSQL简单主从复制原理及实现
- Cloudera Certified Associate Administrator案例之Install篇
- OS开发 touch事件的优先级和事件传递
- 审批工作流及数据库设计
- Html5下载功能实现
- mdt 计算机名_MDT通过PowerShell脚本自定义变量(自定义计算机名)
- 计算机音乐制作课程标准,苏少版《音乐课程标准》教材编写情况及基本思路
- 初三英语关于计算机的作文,初三英语作文
- win10更新完,每次重启电脑都提示 未安装任何音频输出设备
- 【战神引擎】游戏不开门怎么解决?
- 图解angr中两种CFG的区别
- 世纪金文oracle,21世纪双语新闻(MP3+字幕):一片甲骨天下惊,甲骨文的意义何在?...
- win如何卸载cuda8
- PyCharm社区版安装教程和环境配置及使用
- 8个独立站海外营销工具
- 好色机器人的艳遇_机器人艳遇:《机器人的旅行》
热门文章
- 多人联机游戏中联网模块(Socket)的设计和各种问题解决
- c语言程序输入自己班级学号,找高手帮忙c语言程序::输入一个班10个学生的学号和每个学生考试三门功课(数学、英语、计算机基础)的成绩...
- Windows Server 2012 家用优化
- 03.mysql调优--索引基本实现
- 电子邮件客户端软件--foxmail(2)
- winrar正确破解方法
- 凤凰牌老熊对支付的系统讲解
- python 路由_静态路由配置
- php微信红包雨效果,微信红包雨特效口令大全 微信红包雨特效口令有哪些
- kali虚拟机连接网络设置/解决ping网站时域名解析错误/解决子网ip和子网掩码不一致