顶尖学府 加州伯克利大学开发高效机器人操纵框架
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
仅作学术分享,不代表本公众号立场,侵权联系删除
转载于:量子位
AI博士笔记系列推荐
周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接
这个机械臂正在完成够、拿、移、推、点、开等6个动作。
而且动作娴熟,还不存在失误。
更令人意外的是,训练这个机械臂,只花了短短25分钟。
即使有人为干扰,它也能够成功完成抓取动作。
还能抓起以前没有见过的物体形状。
这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Framework for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。
FERM为什么比其他方法效率高?
目前来看,大多数针对机器人训练的的RL算法效率都不是很好。
采用稀疏奖励的方法训练Dota5游戏的人机操作,使之成为达到人类玩家的高手水平,需要花180年的游戏时间。
训练一个机械臂的手势,则需要上千万的模拟学习的样本和两周的训练时间。
Sim2Real和模拟学习这两个方法稍微好点。Sim2Real需要接受模拟训练,再将训练结果运用到现实事例中。
模拟学习则需要通过一系列的专业训练示范案例和监督学习,才能得出最后的训练策略,实验结果非常依赖于输入示范案例的质量。
FERM优势在于,既没有依靠模拟训练转换到现实,也不用高度依赖于输入的示范案例的质量。
而是基于非监督性表征学习和数据扩张技术,使用了pixel-based RL。
因此,它仅仅需要10个Demo,25分钟的训练时间,就可以让机器人学会六个动作。
FERM具体怎么训练?
FERM采用了基于像素的强化学习(pixel-based RL)方法。
具体而言,先收集小部分演示数据,并且将这些数据存放在“回放缓冲区”上。
然后,用观察结果结合对比损失量,来对编码器进行预训练。
而后,编码器和“回放缓冲区”运用一种线下的数据来加强RL算法,对RL智能体进行训练。
在论文中,研究人员总结了FERM主要优点:
1、高效率:FERM可以学习6种不同操作任务的最优策略,在15-50分钟的训练时间内完成每项任务。
2、简单统一的框架:框架结合现有的组成部分,将无监督的预训练和在线RL与数据扩充成一个单一高效的框架。
3、常规轻量设置:实施起来只需要一个机器人、一个GPU、两个摄像头、几个演示,以及稀疏奖励函数等等。
具体的实验结果如何?
实验结果
这项实验采用像素观察的方法执行了一系列任务。下图的每一栏显示了初始、中间、结果等三个状态。只有当机器人完成任务时,才会获得稀疏奖励。
这个训练算法的效率可谓很高了。具体完成时间如下图表格所示,在30分钟左右,它就可以让机器人学习操作任务。而简单的“够”(Reach)动作,则只需要三分钟。
实验结果称,它不需要很多的Demo,也不需要到大量的设备,首次完成任务的平均时间为11分钟,并且可以在25分钟内训练出6个机械动作。
所以研究人员骄傲地说:
“据我们所知,FERM是第一个能在不到一小时的时间内,能通过像素点直接完成来自不同组、采用稀疏奖励方法的机器操作任务。”
而根据相关报告,未来十年,制造业将需要460万个岗位。许多制造商也都在转向自动化生产,机械自动化将占比越来越高。FERM这样的高效训练框架,可谓是制造业福音。
参考链接:
https://venturebeat.com/2020/12/16/new-framework-can-train-a-robotic-arm-on-6-grasping-tasks-in-less-than-an-hour/
论文地址:
https://arxiv.org/abs/2012.07975
源代码:
https://github.com/PhilipZRH/ferm
end
我是王博Kings,一名985AI博士,在Github上开源了机器学习、深度学习等一系列手推笔记,获得了不少同学的支持。
这是我的私人微信,还有少量坑位,可与相关学者研究人员交流学习
目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
王博的公众号,欢迎关注,干货多多
王博的系列手推笔记(附高清PDF下载):
博士笔记 | 周志华《机器学习》手推笔记第一章思维导图
博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”
博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”
博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”
博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)
博士笔记 | 周志华《机器学习》手推笔记第八章(上)
博士笔记 | 周志华《机器学习》手推笔记第八章(下)
博士笔记 | 周志华《机器学习》手推笔记第九章
点个在看支持一下吧
顶尖学府 加州伯克利大学开发高效机器人操纵框架相关推荐
- 25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
蕾师师 发自 凹非寺 量子位 报道 | 公众号 QbitAI 这个机械臂正在完成够.拿.移.推.点.开等6个动作. 而且动作娴熟,还不存在失误. 更令人意外的是,训练这个机械臂,只花了短短25分钟. ...
- 加州伯克利计算机科学录取,【哈鲁2019录取】恭喜哈鲁学员喜提加州伯克利大学计算机科学专业录取!...
原标题:[哈鲁2019录取]恭喜哈鲁学员喜提加州伯克利大学计算机科学专业录取! 又一个别人家的孩子! 恭喜哈鲁学员B同学喜获 USNews世界大学排名第4 ARWU世界大学学术排名第5的牛校 加州大学 ...
- 加州伯克利大学:自动驾驶中虚拟到现实的强化学习|厚势汽车
来源:同济智能汽车研究所 UCB 提出了虚拟场景到真实场景的翻译网络,解决强化学习用于自动驾驶虚拟测试中与现实测试的差异. 强化学习需要大量的试错,而真实的自动驾驶车辆(AV)无法提供大量的试错 为此 ...
- 伯克利双专业 经济学和计算机专业,美国加州伯克利大学世界排名第几2021
伯克利大学是美国加州大学的分校,是世界上著名的研究型大学和公立大学,那么美国加州伯克利大学世界排名第几呢?出国留学网下面来为大家介绍一下. 一.美国加州伯克利大学世界排名 加利福尼亚大学伯克利分校(U ...
- 美国加州伯克利大学计算机专业排名,美国加州大学伯克利分校计算机专业排名...
美国是一个教育大国,它拥有众多是世界知名院校.能够前往美国是很多留学者的梦想.最近几年去美国留学的人越来越多,很多同学想高中过后去美国大学读本科,今天智课选校帝小编带来了关于美国加州大学伯克利分校计算 ...
- 加州伯克利大学的一些“前”规则
转自互联网 再次来加州伯克利大学深造,已经许久了,实际加州也有他那独特的前规则,为何称其为"前规则"那,因为这个规则是大家认同在心里的逐渐变动的规则,是你可以在这个文化体系中明显看 ...
- vbot 基于php7,PHP开发微信机器人vbot框架之配置
<PHP开发微信机器人vbot框架之配置>要点: 本文介绍了PHP开发微信机器人vbot框架之配置,希望对您有用.如果有疑问,可以联系我们. 要运行php vbot框架,配置很重要,默认的 ...
- 伯克利大学计算机专业排名,美国加州大学伯克利分校计算机专业排名
美国是一个教育大国,它拥有众多是世界知名院校.能够前往美国是很多留学者的梦想.最近几年去美国留学的人越来越多,很多同学想高中过后去美国大学读本科,今天智课选校帝小编带来了关于美国加州大学伯克利分校计算 ...
- 伯克利大学计算机专业排名,美国加州大学伯克利分校计算机专业排名一览
美国是一个教育大国,它拥有众多是世界知名院校.能够前往美国是很多留学者的梦想.最近几年去美国留学的人越来越多,很多同学想高中过后去美国大学读本科,今天智课选校帝带来了关于美国加州大学伯克利分校计算机专 ...
最新文章
- 一周内咸鱼疯传3.6W次,最终被所有大厂封杀
- linux 系统日志 查看被杀掉的进程(占用内存过大)
- d3.js 封装一个方法更新柱状图,运用数据模板
- myeclipse同时部署两个项目-permgen space
- Extjs4.2——bbar的默认类型(xtype)
- 【OpenCV应用】python处理行李图像匹配项目——图像直方图应用与明暗变换
- 使用CXF 来发布一个 service
- python真的是吹过了-python是否被过度吹捧?
- mysql+update+@value_记一次MySQL更新语句update的踩坑
- 【bug解决】No OpKernel was registered to support Op 'CudnnRNN' with these attrs.
- 光纤色散是什么?如何色散补偿?
- 网络货运平台申请后的优劣势分析
- 人证核验、人证比对系统应用行业如何判别
- 基于WEB快速开发平台的轻量ERP
- adblockplus简单介绍
- 经典动画《大闹天宫》4K 版上映,老动画是如何修复的?
- 关于360浏览器兼容模式下文档模式默认以ie7标准渲染
- Python列表的相关操作
- C++:全排列函数next_permutation()和prev_permutation()
- php里 没temp文档 如何创建temp文档 win7,Win7更改Temp文件夹存储位置的操作方法
热门文章
- android自定义通知栏图标大小,Android不使用自定义布局情况下实现自定义通知栏图标的方法...
- docker启动mysql容器后又退出_docker容器刚运行就自动退出了
- mysql5.7bka_mysql5.7的sql优化
- 【tool】企业级开源分布式文件服务器搭建(FastDFS)
- 安装Tomcat7教程
- apache poi使用例_POI 与 JXL 054
- jquery 数组indexof_如何实现一个简化版的 jQuery
- python 雪花id_基于python实现雪花算法过程详解
- [bzoj4006][JLOI2015]管道连接_斯坦纳树_状压dp
- 10-关于DOM的事件操作