用Q-learning算法实现自动走迷宫机器人
项目描述:
在该项目中,你将使用强化学习算法,实现一个自动走迷宫机器人。
如上图所示,智能机器人显示在右上角。在我们的迷宫中,有陷阱(红色炸弹)及终点(蓝色的目标点)两种情景。机器人要尽量避开陷阱、尽快到达目的地。
小车可执行的动作包括:向上走
u
、向右走r
、向下走d
、向左走l
。执行不同的动作后,根据不同的情况会获得不同的奖励,具体而言,有以下几种情况。
撞到墙壁:-10
走到终点:50
走到陷阱:-30
其余情况:-0.1
我们需要通过修改
robot.py
中的代码,来实现一个 Q Learning 机器人,实现上述的目标。
Section 1 算法理解
1.1 强化学习总览
强化学习作为机器学习算法的一种,其模式也是让智能体在“训练”中学到“经验”,以实现给定的任务。但不同于监督学习与非监督学习,在强化学习的框架中,我们更侧重通过智能体与环境的交互来学习。通常在监督学习和非监督学习任务中,智能体往往需要通过给定的训练集,辅之以既定的训练目标(如最小化损失函数),通过给定的学习算法来实现这一目标。然而在强化学习中,智能体则是通过其与环境交互得到的奖励进行学习。这个环境可以是虚拟的(如虚拟的迷宫),也可以是真实的(自动驾驶汽车在真实道路上收集数据)。
在强化学习中有五个核心组成部分,它们分别是:环境(Environment)、智能体(Agent)、状态(State)、动作(Action)和奖励(Reward)。在某一时间节点t:
智能体在从环境中感知其所处的状态
智能体根据某些准则选择动作
环境根据智能体选择的动作,向智能体反馈奖励
通过合理的学习算法,智能体将在这样的问题设置下,成功学到一个在状态 选择动作 的策略 。
1.2 计算Q值
在我们的项目中,我们要实现基于 Q-Learning 的强化学习算法。Q-Learning 是一个值迭代(Value Iteration)算法。与策略迭代(Policy Iteration)算法不同,值迭代算法会计算每个”状态“或是”状态-动作“的值(Value)或是效用(Utility),然后在执行动作的时候,会设法最大化这个值。因此,对每个状态值的准确估计,是我们值迭代算法的核心。通常我们会考虑最大化动作的长期奖励,即不仅考虑当前动作带来的奖励,还会考虑动作长远的奖励。
在 Q-Learning 算法中,我们把这个长期奖励记为 Q 值,我们会考虑每个 ”状态-动作“ 的 Q 值,具体而言,它的计算公式为:
也就是对于当前的“状态-动作” ,我们考虑执行动作 后环境给我们的奖励,以及执行动作 到达 后,执行任意动作能够获得的最大的Q值,为折扣因子。
不过一般地,我们使用更为保守地更新 Q 表的方法,即引入松弛变量 alpha,按如下的公式进行更新,使得 Q 表的迭代变化更为平缓。
根据已知条件求。
已知:如上图,机器人位于 s1,行动为 u
,行动获得的奖励与题目的默认设置相同。在 s2 中执行各动作的 Q 值为:u
: -24,r
: -13,d
: -0.29、l
: +40,γ取0.9。
1.3 如何选择动作
在强化学习中,「探索-利用」问题是非常重要的问题。具体来说,根据上面的定义,我们会尽可能地让机器人在每次选择最优的决策,来最大化长期奖励。但是这样做有如下的弊端:
在初步的学习中,我们的 Q 值会不准确,如果在这个时候都按照 Q 值来选择,那么会造成错误。
学习一段时间后,机器人的路线会相对固定,则机器人无法对环境进行有效的探索。
因此我们需要一种办法,来解决如上的问题,增加机器人的探索。由此我们考虑使用 epsilon-greedy 算法,即在小车选择动作的时候,以一部分的概率随机选择动作,以一部分的概率按照最优的 Q 值选择动作。同时,这个选择随机动作的概率应当随着训练的过程逐步减小。
在如下的代码块中,实现 epsilon-greedy 算法的逻辑,并运行测试代码。
import random
import operator actions = ['u','r','d','l']
qline = {'u':1.2, 'r':-2.1, 'd':-24.5, 'l':27}
epsilon = 0.3 # 以0.3的概率进行随机选择 def choose_action(epsilon): action = None if random.uniform(0,1.0) <= epsilon: # 以某一概率 action = random.choice(actions)# 实现对动作的随机选择 else: action = max(qline.items(), key=operator.itemgetter(1))[0] # 否则选择具有最大 Q 值的动作 return action
range(100): res += choose_action(epsilon) print(res) res = '' for i in range(100): res += choose_action(epsilon) print(res) ldllrrllllrlldlldllllllllllddulldlllllldllllludlldllllluudllllllulllllllllllullullllllllldlulllllrlr
Section 2 代码实现
2.1 Maze
类理解
我们首先引入了迷宫类 Maze
,这是一个非常强大的函数,它能够根据你的要求随机创建一个迷宫,或者根据指定的文件,读入一个迷宫地图信息。
使用
Maze("file_name")
根据指定文件创建迷宫,或者使用Maze(maze_size=(height, width))
来随机生成一个迷宫。使用
trap number
参数,在创建迷宫的时候,设定迷宫中陷阱的数量。直接键入迷宫变量的名字按回车,展示迷宫图像(如
g=Maze("xx.txt")
,那么直接输入g
即可。建议生成的迷宫尺寸,长在 6~12 之间,宽在 10~12 之间。
在如下的代码块中,创建你的迷宫并展示。
from Maze import Maze
%matplotlib inline
%confer InlineBackend.figure_format = 'retina' ## to-do: 创建迷宫并展示
g=Maze(maze_size=(6,8), trap_number=1)
g
Maze of size (12, 12
)
你可能已经注意到,在迷宫中我们已经默认放置了一个机器人。实际上,我们为迷宫配置了相应的 API,来帮助机器人的移动与感知。其中你随后会使用的两个 API 为 maze.sense_robot()
及 maze.move_robot()
。
maze.sense_robot()
为一个无参数的函数,输出机器人在迷宫中目前的位置。maze.move_robot(direction)
对输入的移动方向,移动机器人,并返回对应动作的奖励值。
随机移动机器人,并记录下获得的奖励,展示出机器人最后的位置。
rewards = [] ## 循环、随机移动机器人10次,记录下奖励
for i in range(10): res = g.move_robot(random. Choice(actions)) rewards.append(res) ## 输出机器人最后的位置
print(g.sense_robot())
## 打印迷宫,观察机器人位置
g (0,9)
2.2 Robot
类实现
Robot
类是我们需要重点实现的部分。在这个类中,我们需要实现诸多功能,以使得我们成功实现一个强化学习智能体。总体来说,之前我们是人为地在环境中移动了机器人,但是现在通过实现 Robot
这个类,机器人将会自己移动。通过实现学习函数,Robot
类将会学习到如何选择最优的动作,并且更新强化学习中对应的参数。
首先 Robot
有多个输入,其中 alpha=0.5, gamma=0.9, epsilon0=0.5
表征强化学习相关的各个参数的默认值,这些在之前你已经了解到,Maze
应为机器人所在迷宫对象。
随后观察 Robot.update
函数,它指明了在每次执行动作时,Robot
需要执行的程序。按照这些程序,各个函数的功能也就明了了。
运行如下代码检查效果(记得将 maze
变量修改为你创建迷宫的变量名)。
import random
import operator class Robot(object): def __init__(self, maze, alpha=0.5, gamma=0.9, epsilon0=0.5): self. Maze = maze self.valid_actions = self.maze.valid_actions self.state = None self.action = None # Set Parameters of the Learning Robot self.alpha = alpha self.gamma = gamma self.epsilon0 = epsilon0 self. Epsilon = epsilon0 self.t = 0 self.Qtable = {} self. Reset() def. reset(self): """ Reset the robot """ self.state = self.sense_state() self.create_Qtable_line(self.state) def. set status(self, learning=False, testing=False): """ Determine whether the robot is learning its q table, or executing the testing procedure. """ self. Learning = learning self.testing = testing def. update_parameter(self): """ Some of the paramters of the q learning robot can be altered, update these parameters when necessary. """ if self.testing: # TODO 1. No random choice when testing self. Epsilon = 0 else: # TODO 2. Update parameters when learning self. Epsilon *= 0.95 return self. Epsilon def. sense_state(self): """ Get the current state of the robot. In this """ # TODO 3. Return robot's current state return self.maze.sense_robot() def. create_Qtable_line(self, state): """ Create the qtable with the current state """ # TODO 4. Create qtable with current state # Our qtable should be a two level dict, # Qtable[state] ={'u':xx, 'd':xx, ...} # If Qtable[state] already exits, then do # not change it. self.Qtable.setdefault(state, {a: 0.0 for a in self.valid_actions}) def. choose_action(self): """ Return an action according to given rules """ def. is_random_exploration(): # TODO 5. Return whether do random choice # hint: generate a random number, and compare # it with epsilon return random.uniform(0, 1.0) <= self. Epsilon if self. Learning: if is_random_exploration(): # TODO 6. Return random choose aciton return random. Choice(self.valid_actions) else: # TODO 7. Return action with highest q value return max(self.Qtable[self.state].items(), key=operator.itemgetter(1))[0] elif self.testing: # TODO 7. choose action with highest q value return max(self.Qtable[self.state].items(), key=operator.itemgetter(1))[0] else: # TODO 6. Return random choose aciton return random. Choice(self.valid_actions) def. update_Qtable(self, r, action, next_state): """ Update the qtable according to the given rule. """ if self. Learning: # TODO 8. When learning, update the q table according # to the given rules self.Qtable[self.state][action] = (1 - self.alpha) * self.Qtable[self.state][action] + self.alpha * ( r + self.gamma * max(self.Qtable[next_state].values())) def. update(self): """ Describle the procedure what to do when update the robot. Called every time in every epoch in training or testing. Return current action and reward. """ self.state = self.sense_state() # Get the current state self.create_Qtable_line(self.state) # For the state, create q table line action = self.choose_action() # choose action for this state reward = self.maze.move_robot(action) # move robot for given action next_state = self.sense_state() # get next state self.create_Qtable_line(next_state) # create q table line for next state if self. Learning and not self.testing: self.update_Qtable(reward, action, next_state) # update q table self.update_parameter() # update parameters return action, reward # from Robot import Robot # g=Maze(maze_size=(6,12), trap_number=2) g=Maze("test_world\maze_01.txt") robot = Robot(g) # 记得将 maze 变量修改为你创建迷宫的变量名 robot.set_status(learning=True,testing=False) print(robot.update()) g
('d', -0.1)
Maze of size (12, 12)
2.3 用 Runner
类训练 Robot
在完成了上述内容之后,我们就可以开始对我们 Robot
进行训练并调参了。我们准备了又一个非常棒的类 Runner
,来实现整个训练过程及可视化。使用如下的代码,你可以成功对机器人进行训练。并且你会在当前文件夹中生成一个名为 filename
的视频,记录了整个训练的过程。通过观察该视频,你能够发现训练过程中的问题,并且优化你的代码及参数。
尝试利用下列代码训练机器人,并进行调参。可选的参数包括:
训练参数
- 训练次数
epoch
- 训练次数
机器人参数:
epsilon0
(epsilon 初值)epsilon
衰减(可以是线性、指数衰减,可以调整衰减的速度),你需要在 Robot.py 中调整alpha
gamma
迷宫参数:
迷宫大小
迷宫中陷阱的数量
可选的参数:
epoch = 20
epsilon0 = 0.5
alpha = 0.5
gamma = 0.9
maze_size = (6,8)
trap_number = 2
from Runner import Runner g = Maze(maze_size=maze_size,trap_number=trap_number)
r = Robot(g,alpha=alpha, epsilon0=epsilon0, gamma=gamma)
r.set_status(learning=True) runner = Runner(r, g)
runner.run_training(epoch, display_direction=True) #runner.generate_movie(filename = "final1.mp4") # 你可以注释该行代码,加快运行速度,不过你就无法观察到视频了。 g
使用 runner.plot_results()
函数,能够打印机器人在训练过程中的一些参数信息。
Success Times 代表机器人在训练过程中成功的累计次数,这应当是一个累积递增的图像。
Accumulated Rewards 代表机器人在每次训练 epoch 中,获得的累积奖励的值,这应当是一个逐步递增的图像。
Running Times per Epoch 代表在每次训练 epoch 中,小车训练的次数(到达终点就会停止该 epoch 转入下次训练),这应当是一个逐步递减的图像。
使用 ``` runner.plot_results()``` 输出训练结果。
runner.plot_results()
作者:杨飞
来源:宜信技术学院 (http://college.creditease.cn/)
用Q-learning算法实现自动走迷宫机器人相关推荐
- 强化学习(二):Q learning 算法
强化学习(一):基础知识 强化学习(二):Q learning算法 Q learning 算法是一种value-based的强化学习算法,Q是quality的缩写,Q函数 Q(state,action ...
- 基于Python实现机器人自动走迷宫【100011016】
机器人自动走迷宫 一 题目背景 1.1 实验题目 在本实验中,要求分别使用基础搜索算法和 Deep QLearning 算法,完成机器人自动走迷宫. 图1 地图(size10) 如上图所示,左上角的红 ...
- 刷题 BFS 广度优先算法 : 大胖子走迷宫 (python, java)
刷题 BFS 广度优先算法 : 大胖子走迷宫 (python, java) https://www.lanqiao.cn/problems/234/learning/ http://lx.lanqia ...
- 算法:老鼠走迷宫问题
算法:老鼠走迷宫问题(初) [写在前面] 老鼠走迷宫问题的递归实现,是对递归思想的一种应用. [问题描述] 给定一个二维数组,数组中2表示墙壁,0表示通路,由此数组可展示为一个迷宫图.给定入口位置和出 ...
- 广度优先算法_算法浅谈——走迷宫问题与广度优先搜索
本文始发于个人公众号:TechFlow,原创不易,求个关注 在之前周末LeetCode专栏当中,我们详细描述了深度优先搜索和回溯法,所以今天我们继续这个话题,来和大家聊聊搜索算法的另一个分支,广度优先 ...
- acwing算法基础课 844. 走迷宫
acwing 844. 走迷宫(bfs模板题) 传送门 题目大意:给你一个n * m的矩阵问你从左上角走到右下角最小需要几步,输出步数,其中矩阵里面只包含0和1两个数字,0表示可以走,1表示有障碍 思 ...
- 【强化学习笔记】从 “酒鬼回家” 认识Q Learning算法
1.背景 现在笔者来讲一个利用Q-learning 方法帮助酒鬼回家的一个小例子, 例子的环境是一个一维世界, 在世界的右边是酒鬼的家.这个酒鬼因为喝多了,根本不记得回家的路,只是根据自己的直觉一会向 ...
- python迷宫问题算法_Python解决走迷宫问题算法示例
本文实例讲述了Python解决走迷宫问题算法.分享给大家供大家参考,具体如下: 问题: 输入n * m 的二维数组 表示一个迷宫 数字0表示障碍 1表示能通行 移动到相邻单元格用1步 思路: 深度优先 ...
- c语言老鼠走迷宫课程设计,C语言算法之老鼠走迷宫
1.Algorithm Gossip: 老鼠走迷官(一)说明:老鼠走迷宫是递回求解的基本题型,我们在二维阵列中使用2表示迷宫墙壁,使用1来表 示老鼠的行走路径,试以程式求出由入口至出口的路径. 解法: ...
最新文章
- 什么是随机存取与顺序存取?
- u-boot移植第二弹——移植2012.10u-boot到RealARM210 cortex-A8开发板
- leetcode 455. 分发饼干(Java版)
- java代码大全_各种java技术文章汇总整理
- imx6的kernel3.4.15启动流程
- javascript日历插件
- [转载]eXeScope 6.50本地溢出分析
- 数据集(benchmark)、常用数据集的解析(cifar-10、)
- 微信PC版通信协议研究
- ADB安装 apk 时,安装失败
- 系统架构的演变过程?
- HTML表格做个人简历
- 电子零售商进军百货业务 棘手的供应链(转)
- gitlab-ci添加安卓项目构建流程
- oracle11完全卸载
- 【system verilog】非合并数组、合并数组、混合数组和多维数组的小探讨
- JEEWX微信企业号管家,开源免费,1.0版本发布
- 如何使用Authorware给原始视频添加字幕
- matlab卡农解析
- 魔兽客户端出错可能致网易错失百万收入
热门文章
- 笔记本运行php的快捷键是啥,雷神笔记本u盘启动快捷键是什么|雷神笔记本按哪个键进u盘启动...
- 汇智网mysql_MySQL 入门
- 张俊芳电机学12章计算题以及答案
- 数据分析与爬虫实战视频——学习笔记(二)(千图网图片爬虫、fiddler抓包分析、腾讯视频评论爬虫、多线程爬虫(糗百))
- Java中的上界与下界(? extends/super T)
- STM32超声波模块实验(定时器实现)
- C语言中lwr是谁的缩写,C语言中关于字符串的操作(转)
- TaHomA:一套让你在iPad上控制房子,将其变身智能房屋的神奇系统
- So Different You Are
- kaggle 注册无法激活的问题解决