25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
蕾师师 发自 凹非寺
量子位 报道 | 公众号 QbitAI
这个机械臂正在完成够、拿、移、推、点、开等6个动作。
而且动作娴熟,还不存在失误。
更令人意外的是,训练这个机械臂,只花了短短25分钟。
即使有人为干扰,它也能够成功完成抓取动作。
还能抓起以前没有见过的物体形状。
这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Framework for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。
FERM为什么比其他方法效率高?
目前来看,大多数针对机器人训练的的RL算法效率都不是很好。
采用稀疏奖励的方法训练Dota5游戏的人机操作,使之成为达到人类玩家的高手水平,需要花180年的游戏时间。
训练一个机械臂的手势,则需要上千万的模拟学习的样本和两周的训练时间。
Sim2Real和模拟学习这两个方法稍微好点。Sim2Real需要接受模拟训练,再将训练结果运用到现实事例中。
模拟学习则需要通过一系列的专业训练示范案例和监督学习,才能得出最后的训练策略,实验结果非常依赖于输入示范案例的质量。
FERM优势在于,既没有依靠模拟训练转换到现实,也不用高度依赖于输入的示范案例的质量。
而是基于非监督性表征学习和数据扩张技术,使用了pixel-based RL。
因此,它仅仅需要10个Demo,25分钟的训练时间,就可以让机器人学会六个动作。
FERM具体怎么训练?
FERM采用了基于像素的强化学习(pixel-based RL)方法。
具体而言,先收集小部分演示数据,并且将这些数据存放在“回放缓冲区”上。
然后,用观察结果结合对比损失量,来对编码器进行预训练。
而后,编码器和“回放缓冲区”运用一种线下的数据来加强RL算法,对RL智能体进行训练。
在论文中,研究人员总结了FERM主要优点:
1、高效率:FERM可以学习6种不同操作任务的最优策略,在15-50分钟的训练时间内完成每项任务。
2、简单统一的框架:框架结合现有的组成部分,将无监督的预训练和在线RL与数据扩充成一个单一高效的框架。
3、常规轻量设置:实施起来只需要一个机器人、一个GPU、两个摄像头、几个演示,以及稀疏奖励函数等等。
具体的实验结果如何?
实验结果
这项实验采用像素观察的方法执行了一系列任务。下图的每一栏显示了初始、中间、结果等三个状态。只有当机器人完成任务时,才会获得稀疏奖励。
这个训练算法的效率可谓很高了。具体完成时间如下图表格所示,在30分钟左右,它就可以让机器人学习操作任务。而简单的“够”(Reach)动作,则只需要三分钟。
实验结果称,它不需要很多的Demo,也不需要到大量的设备,首次完成任务的平均时间为11分钟,并且可以在25分钟内训练出6个机械动作。
所以研究人员骄傲地说:
“据我们所知,FERM是第一个能在不到一小时的时间内,能通过像素点直接完成来自不同组、采用稀疏奖励方法的机器操作任务。”
而根据相关报告,未来十年,制造业将需要460万个岗位。许多制造商也都在转向自动化生产,机械自动化将占比越来越高。FERM这样的高效训练框架,可谓是制造业福音。
参考链接:
https://venturebeat.com/2020/12/16/new-framework-can-train-a-robotic-arm-on-6-grasping-tasks-in-less-than-an-hour/
论文地址:
https://arxiv.org/abs/2012.07975
源代码:
https://github.com/PhilipZRH/ferm
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
AI落地最佳参考!
2020中国人工智能年度评选结果揭晓
12月16日,量子位MEET 2021智能未来大会现场,50大领航企业、10大明星创业公司、30大商业领军人物、10大最佳产品、10大最佳解决方案、5大社会责任榜样、5大最佳技术社区等年度奖项悉数颁出。
点击图片查看完整榜单:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架相关推荐
- 顶尖学府 加州伯克利大学开发高效机器人操纵框架
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:量子位 AI博士笔记系列推荐 周志华<机器学习> ...
- 3分钟让你学会如何团队管理!打造高效团队!
团队管理 超级表格微视频 关键词: 创建团队 添加成员 加入团队 企业成员 「超级表格微视频」第五期 提升效率. 增强免疫力,尽在超级表格微视频! class="video_ifr ...
- 从三个小时到25分钟:我们使用Apache MXNet优化Mask R-CNN训练时间全过程记录
总览 在过去的几年中,深度神经网络(DNN)模型的规模和复杂性急剧增加.一方面,这些复杂的模型提高了模型在各种领域(例如计算机视觉,自然语言理解等)的准确性的门槛:另一方面,模型参数的庞大规模及其梯度 ...
- 4分钟训练ImageNet!腾讯机智创造AI训练世界纪录
4分钟训练ImageNet! 腾讯机智创造AI训练世界纪录 by 腾讯机智团队 注:腾讯机智机器学习平台由TEG架构平台部和运营管理部团队携手,并和香港浸会大学计算机科学系褚晓文教授团队深度合作联袂打 ...
- 40美元18分钟训练整个ImageNet!他们说,这个成绩人人可实现
夏乙 发自 麦蒿寺 量子位 出品 | 公众号 QbitAI 腾讯前不久创造了机器学习训练新记录:在ImageNet上训练好AlexNet,只要4分钟. 震惊声钦佩声一片.同时,也有更多人的目光,落在了 ...
- 元件怎么反转_电气图纸怎么看?三分钟教你学会看懂,受用一生
图纸一般用于设计方面,设计师绘制出图纸,我们再根据图纸进行操作,尤其是电气图纸,上面有很多符号,很难看懂,下面通过三分钟教你学会看懂电气图纸. 一.什么是电气图 用电气图形符号.带注释的围框或简化外形 ...
- 图书速读 | 一分钟读完《学会如何学习》
关于作者 芭芭拉·奥克利(Barbara Oakley) 密歇根州罗切斯特市奥克兰大学的工程学教授,麦克马斯特大学全球数字学习拉蒙-卡哈尔杰出学者.本科专业(居然是?)俄语.从小学到高中数理成绩一路垫 ...
- Kinect再次立功 帮助机器人学会“读心术”!
自从微软的Kinect发布以来,人们就一直试图挑战它能完成的事情的极限,例如帮助医生做手术等等.随着新主机Xbox One登场的Kinect 2.0也让人充满期待,这也是微软次世代的杀手锏之一. 这次 ...
- 波斯顿翻跟头机器人_颤抖吧!波士顿动力机器人学会360度翻跟头,酷炫炸天……...
原标题:颤抖吧!波士顿动力机器人学会360度翻跟头,酷炫炸天-- " 在波士顿动力释放出来的影片中我们可以看到,波士顿动力机器人已经学会翻跟头,以及360度旋转等等,较之此前又有了巨大进步. ...
最新文章
- bios显存改8g rx_【折腾】RX470矿卡刷BIOS变身记
- Unity3D专访——真正的面试
- RDA8955中碰到的问题
- 取得成本中心组、成本要素组层级的几个BAPI
- Python itertools 操作迭代对象
- vs 编译设置obj路径_FLUENT UDF 环境变量设置
- 好久不见(致win7)
- python 上传文件下载图片
- 如何将Jupyter Notebook连接到远程Spark集群并每天运行Spark作业?
- C++ 字符串指针与字符串数组
- oracle ion tool,Ionic4 导航条组件 ion-toolbar - Ionic 帮助文档
- 函数不可访问_Java中的不可变总结
- 前端和后端开发哪个工资高?
- python整数的用法整理
- Failed to transform file 'xxx' to match attributes 的解决办法
- ArcGIS 图像合并至新栅格图层(Mosaic To New Raster和Mosaic)
- C#窗体猜数字小游戏AB
- 第二届华东架构师大会成功召开
- 处理RAW格式的图像,需要什么软件?
- 单片机原理及应用知识总结(持续更新)