重温强化学习之OpenAI经典场景

官网：http://gym.openai.com/envs/#classic_control

经典应用1:CartPole-v1

CartPole在OpenAI的gym模拟器里面。游戏里面有一个小车，车上有一根杆子。小车需要左右移动来保持杆子竖直。如果杆子的倾斜的角度大于15度，游戏结束。小车也不能移出一个范围(中间到两边各2.4个单位长度)，如下图所示：

物理图解：

在gym的Cart Pole环境（env）里面，左移或右移小车的action之后，env都会返回一个＋1的reward。到达200个reward之后，游戏也会结束。

环境状态：

初始状态：

四个环境观测值，从U(-0.05,0.05)中随机抽取

动作：

奖励：

每一步的奖励都是1，包括最后一步

终止条件：

杆子的倾斜角度大于15度

小车的位移大于＋(-)2.4

奖励达到200

经典应用2：Pendulumn-v0

倒立摆是强化学习的一个经典问题。在这个问题中，钟摆开始在一个随机位置，我们的目的是左右摆动它，让他保持直立。

状态：

Pendulum 的角度(sin和cos)和角速度，记为th和thdot

动作空间：

对于Pendulum问题来说，action space只有一个维度，就是电机的控制力矩，且有最大值和最小值的限制

奖励：

reward = -costs

costs包含三项：

1）angle_normalize(th)**2 对于当前倒立摆与目标位置的角度差的惩罚

2) .1*thdot**2 对角速度的惩罚，如果我们在到达目标之后，如果还有较大的速度，就会过去，不会保持竖直

3) .001*(u**2) 对输入力矩的惩罚，所使用的力矩越大，惩罚越大

经典应用3：MountainCarContinuous环境

一辆汽车位于两个山脉之间的轨道上。目标是在右侧上山，但是这个?的发动机动能不够，不能一次成功爬山。所以，要想爬山的途径就是来回驱动，来建立动力，如下图所示：

连接：https://gym.openai.com/envs/MountainCar-v0/

Step函数

状态

从上图中可以看出，小车的状态包括位置(position)和速度(velocity)

observation space与state space一致，包括位置和速度，二者都有上下限，如下图所示:

而action space是一维的，前进或倒车。要让小车到右手边的山峰，所以goal_position为0.5,这是相对初始位置(最低点)而言的，最低点position为0，向左为负，向右为正。

每执行一个step，就会检查看自己是否越过右边的山峰，据此来给done赋值，如果没有越过山峰，则在这一个step，reward将会记为－1

其它经典应用

Gym Box2D

LunarLander

CarRacing

Atari 2600

Pong :http://www.ponggame.org/

参考连接：https://blog.csdn.net/cuiwader/article/details/77483363

实现demo如下所示：

有需要demo的可自行下载哈，github地址：https://github.com/wangtao666666/Reinforcement-Learning