强化学习的方法总结与分类
强化学习中有多种不同的方法，比如说比较知名的控制方法 Q learning，Policy Gradients，还有基于对环境的理解的 model-based RL 等等。了解强化学习中常用到的几种方法,以及他们的区别, 对我们根据特定问题选择方法时很有帮助。接下来我们通过分类的方式来了解他们的区别。
第一种分类方法可分为不理解环境（Model-Free RL）和理解环境（Model-Based RL），其区别如下：
| Model-Free RL | Model-Based RL | |
| 描述 |
从环境中得到反馈然后学习 只能按部就班, 一步一步等待真实世界的反馈, 再根据反馈采取下一步行动. |
可建立虚拟模型，事先理解环境，进行伪现实世界建模 可通过想象来预判断接下来将要发生的所有情况. 然后选择这些想象情况中最好的那种 |
| 主要方法 | Q learning，Sarsa，Policy Gradients | Q learning，Sarsa，Policy Gradients |
第二种分类方法可分为基于概率（Policy-Based RL）和 基于价值（Value-Based RL），其区别如下：
| Policy-Based RL | Value-Based RL | |
| 描述 |
最直接, 可通过感官分析所处的环境, 直接输出下一步要采取的各种动作的概率, 然后根据概率采取行动, 所以每种动作都有可能被选中, 只是可能性不同 可利用概率分布在连续动作中选取特定动作 |
输出所有动作的价值, 根据最高价值来选择动作 对于选取连续的动作无能为力 |
| 主要方法 | Policy Gradients，... | Q learning，Sarsa，... |
我们还能结合这两类方法的优势之处, 创造更牛逼的一种方法, 叫做 Actor-Critic ， actor 会基于概率做出动作, 而 critic 会对做出的动作给出动作的价值, 这样就在原有的 policy gradients 上加速了学习过程.
第三种分类方法可分为回合更新（Monte-Carlo update）和单步更新（Temporal-Difference update），其区别如下：
| Monte-Carlo update | Temporal-Difference update | |
| 描述 | 例如玩游戏时，从开始到结束一整个回合更新一次 | 相当于在游戏过程中每一步都进行更新 |
| 主要方法 | 基础版Policy Gradients，Monte-Carlo learning | Q learning，Sarsa，升级版Policy Gradients |
因为单步更新更有效率, 所以现在大多方法都是基于单步更新.
第四种分类方法可分为在线学习（On-Policy）和离线学习（Off-Policy），其区别如下：
| On-Policy | Off-Policy | |
| 描述 | 必须本人在场，且本人边玩边学习 |
可以选择自己玩或者看着别人玩,后者学习别人的行为准则 不必要边玩边学习, 可以存储下记忆, 再通过离线学习来学习之前的记忆. |
| 主要方法 | Sarsa，Sarsa（入） | Q learning，Deep-Q-Network |
强化学习的方法总结与分类相关推荐
- DeepMind提出强化学习新方法，可实现人机合作
来源:AI前线 作者:Ben Dickson 译者:盖 策划:凌敏 本文来自 BDTechTalks 网站的"AI 研究论文评论"专栏.该专栏提供人工智能最新发现的系列解读文章. ...
- 干货｜浅谈强化学习的方法及学习路线
作者:Angel_Kitty 来源:http://www.cnblogs.com/ECJTUACM-873284962/ 一.介绍 目前,对于全球科学家而言,"如何去学习一种新技能" ...
- 浅谈强化学习的方法及学习路线
介绍 目前,对于全球科学家而言,"如何去学习一种新技能"成为了一个最基本的研究问题.为什么要解决这个问题的初衷是显而易见的,如果我们理解了这个问题,那么我们可以使人类做一些我们以前 ...
- 强化学习新方法，让后空翻回旋踢再也难不倒机器人 | 伯克利论文
夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 波士顿动力人形机器人的后空翻技能亮相时,惊艳了全球群众. 这么复杂的动作,不用说现实世界中的机器人,就算是在模拟器里,学起来也非常的难. 现 ...
- 强化学习——蒙特卡洛方法
学习目标 理解Prediction和Control的差别: 理解什么是first-visit和every-visit: 理解什么是on-policy和off-policy: 理解蒙特卡洛方法的Pred ...
- 论文阅读-基于深度强化学习的方法解决多智能体防御和攻击问题
论文原题目:A deep reinforcement learning-based method applied for solving multi-agent defense and attack ...
- 综述向：强化学习经典方法梳理
最近组内需要做强化学习相关研究,因为面对的是新项目,同事们对强化学习的原理都不太了解,我们就计划轮流在组内做一些不定期分享,补充相关的基础知识.于是我对强化学习的一些经典算法进行了梳理,并在此进行记录 ...
- 面向星际争霸：DeepMind 提出多智能体强化学习新方法
不久前 DeepMind 强化学习团队负责人.AlphaGo 项目负责人现身 Reddit 问答,其中一个问题是「围棋和星际争霸 2 哪个更难?潜在技术障碍是什么?」近日,DeepMind 发表论文, ...
- 使用TraCI在SUMO模拟器中应用强化学习的方法
这个模拟是为了演示车辆如何通过选择正确的路径来避免交通拥堵,来学习到达目的地.它还展示了车辆如何根据收到的奖励优化其路径选择策略. 一.创建路线文件,用于构建仿真环境 需要准备一个包含道路信息的网络文 ...
- 强化学习蘑菇书Easy RL第二、三章学习（马尔可夫决策过程、表格型方法）
马尔可夫决策过程概述 Markov Process(MP)通常来说是未来状态的条件概率分布仅依赖于当前的状态.在离散随机过程里,我们需要把随机变量所有可能取值的集合放到一个状态空间里,在强化学习里,我 ...
最新文章
- NeurIPS 2018 | 基于自监督学习的视听觉信息同一性判断
- java登录界面命令_Java命令行界面（第18部分）：JCLAP
- Android修改项目包名
- Python案例：获取天气信息并绘制气温折线图
- 关于NLP相关技术全部在这里：预训练模型、信息抽取、文本生成、知识图谱、对话系统...
- easyui图标使用（查找）
- TCP 之 SYN_SENT状态
- 服务器硬盘噪音大怎么回事,东芝服务器硬盘响声大吗？
- ppt如何替换其他mo ban_相见恨晚的10个PPT制作小技巧！提高你的PPT制作效率
- Node.js内置模块 events的基本使用
- nginx: worker process is shutting down
- 怎么把图片转换成Tikz图片
- Android工作经验三年总结。（零基础自学Android）
- 自然语言处理——蕴含关系的定义
- PTA -- 题附代码(形状继承) (图形继承与多态)
- 如何编制试算平衡表_试算平衡表的编制步骤是什么？
- 聊天应用Line招股书概要：日本是最主要市场
- iOS在GitHub Top 前100 简介
- 2009年世界顶级杀毒软件排行榜
- 如何在html中加视频,在HTML中添加视频的代码