卡内基梅隆大学最新研究——使用“耳朵”，而不仅仅是“眼睛”，来提高机器人的感知能力

机器人用听觉感知物体

虽然人类依靠多种感觉来理解世界，但机器人通常只依靠视觉或触觉。卡内基梅隆大学的研究人员发现，通过增加另一种感觉：听觉，机器人的感知能力可以显著提高。

CMU机器人研究所的研究人员声称，这是对声音与机器人动作之间相互作用的首次大规模研究。他们发现，机器人可以利用声音来区分物体，比如金属螺丝刀和金属扳手。

听觉还可以帮助机器人确定什么样的动作会引起声音，并帮助他们利用声音来预测新物体的物理属性。

听觉对机器人感知能力的提升超出预期
“其他领域的大量前期工作表明，声音可能有用，但尚不清楚它在机器人技术中的用处，”Lerrel Pinto说，他最近在CMU获得机器人学博士学位，并将于今年秋天加入纽约大学的教员。他和他的同事们发现，使用听觉的机器人在76%的时间里成功地将物体分类。

结果是如此令人鼓舞。他补充说，将来为机器人配备仪表棒可能会很有用，使他们能够轻敲他们想要识别的物体。

研究人员在上个月的虚拟机器人科学与系统会议上介绍了他们的发现。团队的其他成员包括机器人学副教授Abhinav Gupta，以及前硕士研究生Dhiraj Gandhi，他现在是Facebook AI Research匹兹堡实验室的研究科学家。国防高级研究计划局和海军研究办公室也支持这项研究。

构建一个数据集
为了进行研究，研究人员创建了一个大型数据集，同时记录了60个常见物体的视频和音频，这些物体包括玩具块、手动工具、鞋子、苹果和网球等，它们在托盘上滑动或滚动时撞向托盘侧面。他们已经发布了这个听力数据集，记录了15000次互动，以供其他研究人员使用。

该团队使用一种称为Tilt-Bot的实验设备（与Sawyer机器人的手臂相连的方形托盘）捕获了这些互动，这是构建大型数据集的有效方法。他们可以在托盘中放置一个物体，在摄像机和麦克风记录下每个动作的过程中，让Sawyer花几个小时沿随机方向以不同的倾斜度移动托盘。

他们还使用Sawyer将物体推出托盘表面，从而在托盘之外收集了一些数据。

尽管此数据集的规模是空前的，但其他研究人员还研究了智能主体如何从声音中收集信息。例如，机器人学助理教授Oliver Kroemer领导了一项研究，即使用声音感应通过摇晃容器或估计勺子中的物料流量来估算大米或面食等颗粒物料的数量。

Pinto说，机器人听觉的有用性并不令人惊讶，尽管他和其他人都惊讶于它被证明是多么有用。例如，他们发现，机器人可以利用所学的一组物体的声音来预测先前看不见的物体的物理属性。

他说：“更令人兴奋的是，它只会在不能用声音判断的物理属性方面失败 ”。例如，一个机器人不能用声音来区分红色的方块还是绿色的方块。Pinto说：“但如果它是一个不同的物体，比如一个木块和一个杯子，它就可以通过声音判断”
编者注：本文是由卡内基梅隆大学提供并发布。

瑞森可机器人致力于：
让科研充满想象，让每个学生都能热爱机器人技术
让制造充满乐趣，让每个人都能成为机器人应用专家
我们正努力让机器人成为人类最亲密的合作伙伴。

卡内基梅隆大学最新研究——使用“耳朵”，而不仅仅是“眼睛”，来提高机器人的感知能力相关推荐

卡内基梅隆大学的研究人员提出新的源定位算法: SilenceMap，寻找大脑的静默区域...
大脑是最重要的器官之一.它们为整个身体提供调度指示,让我们能够与世界互动.因此,快速检测大脑活动的变化是很重要的.一种可能导致永久性损伤的危险变化是神经静默(neural silence)[注:这个词 ...
卡内基梅隆大学和斯坦福计算机,卡内基梅隆大学并列全美榜首的专业--计算机专业...
不同于别的计算机系的是,卡内基梅隆大学计算机学院异常庞大,专业设置异常众多,要了解清楚确实不易.根据多年的申请经验对卡内基梅隆大学计算机学院进行深层解答. 专业排名卡内基梅隆大学在美国排名23名,但 ...
卡内基梅隆计算机专业,详解卡内基梅隆大学计算机学院
卡内基梅隆大学计算机专业一直是美国留学申请最热门的专业,而卡内基梅隆大学又是计算机专业申请的最热门学校之一.不同于别的计算机系的是,卡内基梅隆大学计算机学院异常庞大,专业设置异常众多,要了解清楚确实不 ...
卡内基梅隆大学机器人研究所教授最新力作：移动机器人学
新书速递相对于工业机器人,移动机器人的潜在应用领域更多,对智能化的要求也更高.今天小编为大家介绍<移动机器人学:数学基础.模型构建及实现方法>一书,这本书遵循数学基础.模型构建和实现方法 ...
卡内基·梅隆大学新提出AdaScale：自适应缩放实现视频对象实时检测算法
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散对机器人和自动驾驶汽车等很多应用而言,视频目标检测都是很重要的.但在使用 CNN 执行这一任务时,速度与准确度往往不 ...
卡内基梅隆大学梁俊卫：视频中行人的多种未来轨迹预测
不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...
卡内基梅隆大学副教授张旆：传感系统新玩法，物理响应分析人的生老病死
受访者 | 张旆采访者 | 伍杏玲出品 | CSDN(ID:CSDNnews) 随着万物相联时代来临,我们身边随处可见物联网技术:我们使用智能门锁进入房间,智能窗帘缓缓拉开,智能扫地机器人开始工作 ...
阿法狗是如何工作的？卡内基梅隆大学博士用54页PPT给你答案
最绚烂的火花,永远产生于森然秩序被打破,天才超然于规律之外的那一瞬间卡内基梅隆大学博士生用54页PPT解密阿法狗的工作原理在刚刚结束的"AlphaGo"与韩国围棋高手李世石之间 ...
卡耐基梅隆大学计算机工程录取率,卡内基梅隆大学2020新生数据出炉！计算机学院录取率堪比藤校...
提起CMU,想必各位小伙伴肯定都不陌生,坐落在美国宾夕法尼亚州匹兹堡的它,可是美国25所新常春藤盟校之一.最近卡内基梅隆大学2020年秋季录取数据出炉!跟着学霸君来看看到底什么样的人才会被它录取吧! ...

卡内基梅隆大学最新研究——使用“耳朵”，而不仅仅是“眼睛”，来提高机器人的感知能力

卡内基梅隆大学最新研究——使用“耳朵”，而不仅仅是“眼睛”，来提高机器人的感知能力相关推荐

最新文章

热门文章