强化学习之Q-Learning（附代码）

QQQ-Learning\mathrm{Learning}Learning算法介绍

QQQ-Learning\mathrm{Learning}Learning是强化学习的算法之一，Q\mathrm{Q}Q-Learning\mathrm{Learning}Learning的主要目的就是学习状态动作价值函数的Q(s,a)Q(s,a)Q(s,a)，其中Q(s,a)Q(s,a)Q(s,a)表示的是在给定当前状态sss和采取动作aaa之后能够获得的收益期望。QQQ-Learning\mathrm{Learning}Learning利用状态sss和动作aaa张成一个QQQ表来储存QQQ值，然后根据QQQ值来选取能够获得最大收益的动作。QQQ-Learning\mathrm{Learning}Learning采用是值迭代的方法进行求解，其核心的迭代公式为Qk+1(s,a)=∑s^∈Sp(s^∣s,a)[R(s,a)+γ⋅max⁡a^∈A{Qk(s^,a^)}]Q_{k+1}(s,a)=\sum\limits_{\hat{s}\in\mathcal{S}}p(\hat{s}|s,a)\left[R(s,a)+\gamma \cdot \max\limits_{\hat{a}\in \mathcal{A}}\{Q_k(\hat{s},\hat{a})\}\right]Qk+1(s,a)=s^∈S∑p(s^∣s,a)[R(s,a)+γ⋅a^∈Amax{Qk(s^,a^)}]其中Qk+1(s,a)Q_{k+1}(s,a)Qk+1(s,a)第k+1k+1k+1次迭代函数，sss和aaa分别表示的是当前的状态和执行的动作并且它们分别属于状态空间S\mathcal{S}S和动作空间A\mathcal{A}A，R(s,a)R(s,a)R(s,a)表示的是在状态sss执行动作aaa后的即时奖励，s^\hat{s}s^和a^\hat{a}a^表示的是下一个的状态和行为，p(s^∣s,a)p(\hat{s}|s,a)p(s^∣s,a)表示的是状态转移概率，γ\gammaγ表示的是折扣系数。
当动作空间A\mathcal{A}A中的动作aaa划分的足够细时候，给定当前状态sss和执行的动作aaa，就能够明确确定下一个状态s^\hat{s}s^，进而则有p(s^∣s,a)=1p(\hat{s}|s,a)=1p(s^∣s,a)=1，对上迭代公式进一步化简则有Qk+1(s,a)=R(s,a)+γ⋅max⁡a^∈A{Qk(s^,a^)}Q_{k+1}(s,a)=R(s,a)+\gamma \cdot \max\limits_{\hat{a}\in \mathcal{A}}\{Q_k(\hat{s},\hat{a})\}Qk+1(s,a)=R(s,a)+γ⋅a^∈Amax{Qk(s^,a^)}一般情况下QQQ-Learning\mathrm{Learning}Learning算法用到的都是以上的迭代公式。

QQQ-Learning\mathrm{Learning}Learning具体实例

如下左半图显示，该图共有六个状态，五个房间分别是状态000，111，222，333和444，以及房间外状态555，右半图为左半图的状态转移过程的抽象示意图。现在的问题是如果有一个人在任意的一个房间里，给他支个招让他走出房间外。我们就可以通过强化学习中的QQQ-Learning\mathrm{Learning}Learning方法来解决这个问题。

在解决这个问题之前需要先确定奖励矩阵RRR，其元素表示的是当一个给定一个状态sss，当执行某个动作aaa后，它的即时奖励R(s,a)R(s,a)R(s,a)的取值。规定当走出房间外到达状态555的动作奖励为100100100，如果没有走出房间外但在房间内可以走通的是奖励为000，如果房间内也不能走通的动作奖励为−1-1−1。奖励矩阵RRR具体取值如下所示。
R=[−1−1−1−10−1−1−1−10−1100−1−1−10−1−1−100−10−10−1−10−1100−10−1−10100]R=\left[\begin{array}{rrrrrr}-1&-1&-1&-1&0&-1\\-1&-1&-1&0&-1&100\\-1&-1&-1&0&-1&-1\\-1&0&0&-1&0&-1\\0&-1&-1&0&-1&100\\-1&0&-1&-1&0&100\end{array}\right]R=⎣⎢⎢⎢⎢⎢⎢⎡−1−1−1−10−1−1−1−10−10−1−1−10−1−1−100−10−10−1−10−10−1100−1−1100100⎦⎥⎥⎥⎥⎥⎥⎤

首先确定折扣系数γ=0.8\gamma=0.8γ=0.8，并将QQQ初始化为一个零矩阵：Q=[000000000000000000000000000000000000]Q=\left[\begin{array}{cccccc}0&0&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\end{array}\right]Q=⎣⎢⎢⎢⎢⎢⎢⎡000000000000000000000000000000000000⎦⎥⎥⎥⎥⎥⎥⎤
第一轮第一次迭代随机选择初始状态为房间111，然后观察矩阵RRR的第二行（对应房间111或者状态111），这一行中有两个非负值，即当前状态111的下一步行为有两种可能：转至状态333或555，此时选择随机选择转至状态555。观察矩阵RRR的第六行（对应房间555或者状态555），这一行有三个非负值，即当前状态555的下一步行为有三种可能：转至状态111，444或555。根据QQQ-Learning\mathrm{Learning}Learning值迭代公式则有Q(1,5)=R(1,5)+0.8×max⁡{Q(5,1),Q(5,4),Q(5,5)}=100+0.8×max⁡{0,0,0}=100\begin{aligned}Q(1,5)&=R(1,5)+0.8 \times \max\left\{Q(5,1),Q(5,4),Q(5,5)\right\}\\&=100+0.8 \times \max \{0,0,0\}\\&=100\end{aligned}Q(1,5)=R(1,5)+0.8×max{Q(5,1),Q(5,4),Q(5,5)}=100+0.8×max{0,0,0}=100则此时将矩阵Q(1,5)Q(1,5)Q(1,5)位置（即该矩阵的第二行第六列）用100100100进行数值更新。
Q=[00000000000100000000000000000000000000]Q=\left[\begin{array}{cccccc}0&0&0&0&0&0\\0&0&0&0&0&100\\0&0&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\end{array}\right]Q=⎣⎢⎢⎢⎢⎢⎢⎡00000000000000000000000000000001000000⎦⎥⎥⎥⎥⎥⎥⎤
第一轮第二次迭代随机选择状态为房间333，然后观察矩阵RRR的第四行（对应房间333或者状态333），这一行中有三个非负值，即当前状态333的下一步行为有三种可能：转至状态111，222或444，此时随机选择转至状态111。观察矩阵RRR的第二行（对应房间111或者状态111），这一行中有两个非负值，即当前状态111的下一步行为有两种可能：转至状态333或555。根据QQQ-Learning\mathrm{Learning}Learning值迭代公式则有Q(3,1)=R(3,1)+0.8×max⁡{Q(1,3),Q(1,5)}=0+0.8×max⁡{0,100}=80\begin{aligned}Q(3,1)&=R(3,1)+0.8 \times \max\left\{Q(1,3),Q(1,5)\right\}\\&=0+0.8 \times \max \{0,100\}\\&=80\end{aligned}Q(3,1)=R(3,1)+0.8×max{Q(1,3),Q(1,5)}=0+0.8×max{0,100}=80则此时将矩阵Q(3,1)Q(3,1)Q(3,1)位置（即该矩阵的第二行第六列）用808080进行数值更新。
Q=[000000000001000000000800000000000000000]Q=\left[\begin{array}{cccccc}0&0&0&0&0&0\\0&0&0&0&0&100\\0&0&0&0&0&0\\0&80&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0&0\end{array}\right]Q=⎣⎢⎢⎢⎢⎢⎢⎡000000000800000000000000000000001000000⎦⎥⎥⎥⎥⎥⎥⎤
经过多轮迭代之后直至QQQ矩阵收敛，则此时的QQQ即为所求，最后对QQQ矩阵进行归一化。 Q=[00004000000320050000032000040025604000320003200500040000400500]⟹Q=[0000800000640100000640008051080064006401000800080100]Q=\left[\begin{array}{cccccc}0&0&0&0&400&0\\0&0&0&320&0&500\\0&0&0&320&0&0\\0&400&256&0&400&0\\320&0&0&320&0&500\\0&400&0&0&400&500\end{array}\right]\Longrightarrow Q=\left[\begin{array}{cccccc}0&0&0&0&80&0\\0&0&0&64&0&100\\0&0&0&64&0&0\\0&80&51&0&80&0\\64&0&0&64&0&100\\0&80&0&0&80&100\end{array}\right]Q=⎣⎢⎢⎢⎢⎢⎢⎡00003200000400040000025600032032003200400004000400050000500500⎦⎥⎥⎥⎥⎥⎥⎤⟹Q=⎣⎢⎢⎢⎢⎢⎢⎡0000640000800800005100064640640800080080010000100100⎦⎥⎥⎥⎥⎥⎥⎤

下图表示的是经过QQQ-Learning\mathrm{Learning}Learning算法学习之后得到的最终的状态转移示意图，其中每个带有箭头的线上标明这个动作对应的即时收益。所以不管在哪个状态下，只要利用贪心策略找即时收益最大的行为就可以走出房间。

以上实例中QQQ-Learning\mathrm{Learning}Learning算法的完整代码如下所示，代码比较简单大约50行就可以完整实现该功能

import numpy as np
import os
import randomdef random_action(V):index_list = []for index, s in enumerate(list(V)):if s >= 0:index_list.append(index)return random.choice(index_list)def reward_setting(state_num, action_num):R = -1 * np.ones((state_num , action_num))R[0,4] = 0R[1,3] = 0R[1,5] = 100R[2,3] = 0R[3,1] = 0R[3,2] = 0R[3,4] = 0R[4,0] = 0 R[4,3] = 0R[4,5] = 100R[5,1] = 0R[5,4] = 0R[5,5] = 100return R if __name__ == '__main__':action_num = 6state_num = 6gamma = 0.8epoch_number = 200condition_stop = 5Q = np.zeros((state_num , action_num))R = reward_setting(state_num , action_num)for epoch in range(epoch_number):for s in range(state_num):loop = Truewhile loop:# Obtain random action aa = random_action(R[s,:])# Calculate maximum Q valueq_max = np.max(Q[a,:]) # Bellman optimal iteration equationQ[s,a] = R[s,a] + gamma * q_maxs = aif s == condition_stop:loop = FalseQ = (Q / 5).astype(int)print(Q)

实验结果如下所示，大约训练200轮之后QQQ矩阵就可以收敛到理论值，并且理论推导与实验结果一致。