【四足机器人】强化学习实现minitaur运动控制（介绍篇）
一、minitaur 简介
这是来自宾夕法尼亚大学的一款机器人，叫 Minitaur，看图你就明白了。
四足机器人的运动控制通常需要大量的专业知识，以及突如其来的灵感（调参）。在之前的文章中，我们就用了很大的一个篇幅来讲控制信号的生成以及调节（详情请参考开头给出的两篇文章），然而这只是产生四足机器人能够完成周期性运动的控制信号而已，还有转向控制，各种信号反馈调节，例如各种环境的适应性调节，或者是最基本的机体的平衡调节，等等……所以想要靠传统的数学建模的方法来设计一个完整的足式机器人运动控制系统是一个非常庞大的工程。
ps：当然不排除会有非常简洁的数学模型，毕竟小编也只接触过几个方案，也没有进行过横向对比（因为懒）。
Anyway，我们接下来要用强化学习来实现四足机器人的基本运动（仅仅只是开始）。利用简单的奖励信号让机器人从零开始学习四足动物的运动，这是一件多么美妙的事情。
这个系列的内容基本上会根据这篇 - 论文 - 来展开叙述，有英文基础的可以去看一下原文，我的文章会在原理的基础上加上pybullet仿真的实战代码，大家也可以自己装一下尝试一下。
二、论文概要
1、摘要
在论文中，研究人员提出了一个利用深度强化学习技术来自动化建立一个机器人控制策略。利用简单的奖励信号让仿真环境中的minitaur学习如何行走以及保持行走过程中的平衡。
论文当中还提到，当用户需要对步态进行更多的控制时，可以提供一个额外的开环控制信号来指导学习过程。控制策略在仿真环境（bullet）中学习，然后部署到真实的机器人上。然而在机器人技术中，经过模拟训练的策略通常不能直接转移到现实世界中执行。研究人员通过改进物理模拟器和学习鲁棒策略来缩小这一现实差距。利用系统辨识技术，建立了精确的执行器模型，设定仿真的时延。随机化物理环境、添加扰动和设计一个紧凑的观测空间来学习鲁棒控制器。最后研究人员用数据评估该模型在两个敏捷运动步态（小跑和疾驰）的表型。通过仿真学习，四足机器人可以在真实世界中成功地完成这两种步态。
总结：
- 一个可以直接从仿真环境移植到现实中的策略模型
- 策略模型能够接受用户提供的控制信号
- 该策略模型通过在特定的仿真模型训练可以实现
pybullet给出的案例效果：
2、硬件结构
机器人平台是来自Ghost Robotics的Minitaur，这是一个四足机器人，带有八个直接驱动执行器。每条腿由两个执行器控制，使其在矢状面上移动。电动机可以通过位置控制或脉冲宽度来驱动
Minitaur装备有测量电机角度的电机编码器和测量基座方向和角速度的IMU。STM32 ARM微控制器向执行器发送命令，接收传感器读数，并可以执行简单的计算。然而，该微控制器不足以执行从深度RL中学习到的神经网络策略。因此，我们安装了Nvidia Jetson TX2来执行神经网络推断。TX2通过UART通信与单片机接口。在每一个控制步骤中，传感器的测量数据被收集到微控制器中，并被发送回TX2，在那里它们被输入到一个神经网络策略中，以决定要采取的行动。这些动作随后被传输到微控制器并由执行器执行。由于TX2不运行实时操作系统，因此控制回路以大约150-200Hz的可变控制频率运行。
【四足机器人】强化学习实现minitaur运动控制（介绍篇）相关推荐
- 【四足机器人】学习笔记 足端轨迹规划和步态规划
[四足机器人]学习笔记 足端轨迹规划和步态规划 一.足端轨迹规划(摆线) 二.步态规划 1.Walk步态 2.Trot步态 近期,博主在古月居学习关于四足机器人的相关部分知识,从阳炼老师的四足机器人控 ...
- 【四足机器人】学习笔记 欧拉角与旋转矩阵之间的转化关系
[四足机器人]学习笔记 欧拉角与旋转矩阵之间的转化 一.基础旋转矩阵 二.组合旋转矩阵 在研究四足机器人站立姿态的时候,需要将通过IMU模块采集到的欧拉角数据信息转变为旋转矩阵R,关于如何将获取的欧拉 ...
- 【四足机器人】学习笔记 单腿逆运动学和站立姿态控制
[四足机器人]学习笔记 单腿逆运动学和站立姿态控制 一.四足机器人单腿逆运动学原理 二.四足机器人站立姿态控制原理 近期,博主在古月居学习关于四足机器人的相关部分知识,从阳炼老师的四足机器人控制与仿真 ...
- 四足机器人控制算法学习总结
轨迹控制 机器人足端曲线使用贝赛尔曲线等轨迹设定,控制方法简单,但是很难适应多变的地形. 分解式虚拟模型步态算法VMC 介绍 https://zhuanlan.zhihu.com/p/69869440 ...
- 技术分享 | 什么是Minitaur四足机器人？
什么是Minitaur四足机器人? Minitaur是Ghost Robotics早期研制的一款高性能小型四足机器人,其虽然仅具有8个自由度但是却有着非比寻常的运动能力和不输于MIT猎豹的越障.空翻能 ...
- 四足机器人技术及进展
四足机器人技术及进展 摘 要:自然界中有许多地形无法使用传统轮式或履带式车辆到达,而哺乳动物却能够在这些地形行走自如,这充分展示出四足移动方式的优势.四足机器人已经成为当今移动机器人研究的热点,其研 ...
- 一起读论文8：复杂地形环境四足机器人运动控制
复杂地形环境四足机器人运动控制 1 四足机器人全方位移动控制 1.1 四足机器人前进足端轨迹规划 1.2 基于足端运动速度估计的步程计设计 2 四足机器人在斜坡上的移动控制方法 2.1 四足机器人的姿 ...
- 【关于四足机器人那些事】直驱四足机器人Minitaur运动学建模
文章目录 一.结构参数 二.腿部运动空间 随着人类环境中对机器人交互的需求不断增长,动态四足机器人的发展正成为人们越来越感兴趣的话题,但是它们需要自适应的控制方案来应对穿越现实世界地形时遇到的挑战. ...
- 并联四足机器人项目开源教程（一）--- 机器人学导论的学习
这个是本人在大三期间做的项目 ---- 基于MIT的Cheetah方案设计的十二自由度并联四足机器人,这个项目获得过两个国家级奖项和一个省级奖项.接下来我会将这个机器人的控制部分所有代码进行开源,并配 ...
最新文章
- CSS设置图片的对齐
- python中的sys.argv是什么？（控制台参数传递、控制台传参）
- CodePage简介(转)
- 一个 ARK工具: XueTr类似ICEWORLD
- JVM与计算机之间的关系
- iText 7 基础
- 【教学类-10-01】20221025《空心图案4*2-有重复》（ 随机图案拼贴）（大班主题《动物花花衣》)
- 索尼计算机bios正确设置,索尼笔记本bios设置图解教程 索尼bios设置图解教程
- IT 工程师长期保住饭碗的一些建议
- Gym Atari: Gym no longer distributes ROMs.
- 微秒, 纳秒,毫秒, 时间单位换算[转]
- ElasticSearch入门一（索引CRD和文档的CRUD）
- hive之full outer join（全连接）使用方法
- java压缩文件或文件夹并返回流给前端
- Bugzilla详解
- 京东回应大面积裁员传闻：系造谣 已报案
- poi读取Excel时日期为数字 的解决方法
- python电影情感评论分析_python--电影评论文本情感分类
- MySQL二维表转一维表
- 从追赶者到竞争者，智能汽车产业“长沙模式”走的什么捷径？