1. 关键词

模仿学习：Imitation learning

2. 数据集

图像识别领域的数据集：ImageNet
目标检测的数据集：COCO
机器问答的数据集：SQuAD

3. 框架

斯坦福的李飞飞实验室，开源了分布式强化学习训练框架SURREAL，用来加速学习过程。

团队还发现，用SURREAL框架搭配上文的RoboTurk数据集服用，让人类教练来“手把手”训练机器人，疗效要比不经人类调教的AI好得多。

这个框架，把一个分布式RL算法，分解成四个部分 (图中由左向右) ：

一是演员 (Actors) ，负责生成经验；
二是缓冲池 (Buffer) ，负责储存经验；
三是学习者 (Learner) ，根据经验来更新参数；
四是参数服务器 (Parameter Server) ，负责储存参数。

演员部分，是多个演员并行 (Parallel) 的，16个，32个，64个……都可以。

这样一来，AI可用的数据量，能够猛烈增长。

把数据生成和学习过程分开，不需要全局同步 (Global Synchronization) 了，可扩展性 (Scalability) 也就增强了。

另外，框架支持在线 (On-Policy) 和离线 (Off-Policy) 两种策略更新方式。

团队说，系统可以直接部署在云端或者PC端 (如谷歌云、AWS、Azure) ，轻而易举，只需4层：

第一层，从配置器 (Provisioner) 开始，保障各个云平台的可复现性。

第二层，编配 (Orchestrator) ，用一个完善的云API来分配CPU/GPU资源，复制网络。

第三层，协议 (Protocal) 实现了高效的通信指令。

第四层，就是算法，用PyTorch实现的。

众包平台RoboTurk：
主页 https://crowdncloud.ai/
论文 RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation

加速训练的SURREAL：
主页 https://surreal.stanford.edu/
论文 SURREAL: Open-Source Reinforcement Learning Framework and Robot Manipulation Benchmark

4.大会/论坛

CoRL机器人学习大会（Conference on Robot Learning），由UC Berkrley、Google、微软、CMU、MIT等顶尖研究机构发起，Google、DeepMind、瑞士科研基金会（SNF）、Facebook、博世等赞助.
主页：https://www.robot-learning.org/home/program#schedule
AAAI 2019,美国人工智能年会（AAAI Conference on Artificial Intelligence），简称 AAAI，是人工智能领域的顶级国际会议。该会议固定在每年的 2 月份举行，由 AAAI 协会主办。
官网：https://aaai.org/Conferences/AAAI-19/
ICLR 2019,国际学习表征会议（International Conference on Learning Representations），简称 ICLR，2013 年成立了第一届，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。
官网：https://iclr.cc/1.29
ICRA 2019，ICRA 全称为 IEEE International Conference on Robotics and Automation（机器人与自动化会议），是机器人技术领域最有影响力的国际学术会议之一，也是机器人研究人员展示他们作品的重要国际论坛。
官网：https://www.icra2019.org/1.13
ICML 2019，ICML 是 International Conference on Machine Learning 的缩写，即国际机器学习大会。ICML 如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。
官网：https://icml.cc/Conferences/2019
CVPR 2019，CVPR 是 IEEE Conference on Computer Vision and Pattern Recognition 的缩写，即 IEEE 国际计算机视觉与模式识别会议。该会议是由 IEEE 举办的计算机视觉和模式识别领域的顶级会议。
官网：http://cvpr2019.thecvf.com/2.1-2.8
ACL 2019，国际计算语言学协会 (ACL，The Association for Computational Linguistics) 是自然语言处理和计算机语言学最顶尖的会议之一，其会员遍布世界各地，被 CCF（中国计算机学会）认定为 A 类国际学术会议，涵盖领域包括语言分析、信息抽取、机器翻译与自动问答等。
官网：http://www.acl2019.org/EN/index.xhtml5.13
KDD 2019，KDD 全称是 Knowledge Discovery and Data Mining，即知识发现与数据挖掘，由美国计算机协会 ACM 下的数据挖掘分会举办，是国际数据挖掘领域的顶级会议。
官网：https://www.kdd.org/kdd2019/4.28
IJCAI 2019，人工智能国际联合大会（International Joint Conference on Artificial Intelligence），简称 IJCAI，是国际人工智能领域排名第一的学术会议，为 CCF A 类会议。该会议起于 1969 年每两年举办一次，自 2016 年起每年举办一次。
官网：http://www.ijcai19.org/4.13-4.18
ICCV 2019，ICCV 全称为 International Conference on Computer Vision（国际计算机视觉大会），由 IEEE 主办，与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议，每两年召开一次。
官网：http://iccv2019.thecvf.com/6.14
IROS 2019，IROS（全称 IEEE / RSJ International Conference on Intelligent Robots and Systems）是世界机器人和智能系统领域机器人最著名、影响力最大的顶级学术会议，一般是在欧洲、亚洲、美洲三大洲间循环举办。
官网：http://www.iros2019.org/6.30

5.相关论文

Motion Planning Networks, from UC San Diego Micheal C. Yip’s group, in ICRA, 2019
https://arxiv.org/abs/1806.05767

Learning and Inferring movement with Deep Generative Model, from Tsinghua Fuchun Sun’s lab, in ICML Workshop, 2019
https://arxiv.org/abs/1805.07252

Learning Plannable Representations with Causal InfoGAN, from UC Berkeley Pieter Abbeel’s group, in NeurIPS, 2018
https://papers.nips.cc/paper/8090-learning-plannable-representations-with-causal-infogan

CRAVES: Controlling Robotic Arm with a Vision-based, Economic System
https://zhuanlan.zhihu.com/p/69346868?utm_source=qq&utm_medium=social&utm_oi=903420714332332032

关于机械臂的模仿学习相关推荐

机械臂抓取学习笔记三
论文:Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous Robot ...
Dynamic Movement Primitives与UR5机械臂仿真
Dynamic Movement Primitives (DMP),中文译名为动态运动基元.动态运动原语等,最初是由南加州大学的Stefan Schaal教授团队在2002年提出来的,是一种用于轨迹模 ...
从零开始的ROS四轴机械臂控制-目录
[从零开始的ROS四轴机械臂控制](一)- 实际模型制作.Solidworks文件转urdf与rviz仿真一.模型制作 1.实际模型制作 2.Solidworks模型制作二.Solidworks文 ...
【从零开始的ROS四轴机械臂控制】（七）- ROS与arduino连接
从零开始的ROS四轴机械臂控制(七) 十.ROS与arduino连接 1.虚拟机与arduino的连接 (1)arduino连接与IDE (2)PCA9685模块支持与测试 2.ROS与arduino ...
【从零开始的ROS四轴机械臂控制】（六）- 逻辑控制节点
[从零开始的ROS四轴机械臂控制(六)] 九.逻辑控制节点 1.运动控制方法 (1)逆向运动学 (2)反馈控制 2.各节点之间的联系 3.相关程序 (1)img_process节点 (2)arm_co ...
【从零开始的ROS四轴机械臂控制】（五）- 构建运动控制服务
[从零开始的ROS四轴机械臂控制(五)] 八.运动控制节点 1.定义服务GoToPosition.srv 2.修改CMakeLists.txt 3.修改package.xml 4.构建包 5.arm_ ...
【从零开始的ROS四轴机械臂控制】（四）- ros、gazebo与opencv，图像处理节点
[从零开始的ROS四轴机械臂控制(四)] 七.图像处理节点 1.节点功能与实现方法 2.iamge_process 相关程序部分程序解释 3.节点运行与测试七.图像处理节点 1.节点功能与实现方法 ...
【从零开始的ROS四轴机械臂控制】（三） - 为机械臂添加摄像头和夹爪、解决gazebo模型抖动、使用gazebo建立sdf模型
[从零开始的ROS四轴机械臂控制(三)] 五.在gazebo中添加摄像头 1.修改arm1.gazebo.xacro文件 2.修改arm1.urdf.xacro文件 3.查看摄像头图像六.为模型添加 ...
【从零开始的ROS四轴机械臂控制】（二） - ROS与Gazebo连接，Gazebo仿真及urdf文件修改
[从零开始的ROS四轴机械臂控制(二)] 四.urdf文件及gazebo仿真 1.simple_arm示例 (1)config文件夹 (2)launch文件夹 (3)meshes文件夹 (4)urdf ...

关于机械臂的模仿学习

文章目录