增强学习/强化学习综述

@创建于：20210512
@修改于：20210512

文章目录

1、增强学习概念
- 2.1 增强学习定义
- 2.2 两大特点
2、简书：[阿阿阿阿毛](https://www.jianshu.com/u/a18653721b40)
3、知乎：[叶强](https://www.zhihu.com/people/qqiang00/posts?page=2)
4、CSDN：[夏栀的博客](https://blog.csdn.net/qq_36426650/category_9759833.html)
5、博客园：[ 刘建平Pinard ](https://www.cnblogs.com/pinard/default.html?page=3)

1、增强学习概念

机器学习的算法可以分为三类：监督学习，非监督学习和增强学习。增强学习也称为强化学习。

2.1 增强学习定义

增强学习是通过让智能体（Agent）不断地对所处环境（Environment）进行探索和开发并根据反馈的回报（Reward）进行的一种经验学习。

增强学习是指从动物学习、随机逼近和优化控制等理论发展而来，是一种无导师在线学习技术，从环境状态到动作映射学习，使得Agent根据最大奖励值采取最优的策略；Agent感知环境中的状态信息，搜索策略（哪种策略可以产生最有效的学习）选择最优的动作，从而引起状态的改变并得到一个延迟回报值，更新评估函数，完成一次学习过程后，进入下一轮的学习训练，重复循环迭代，直到满足整个学习的条件，终止学习。

增强学习目的是构造一个控制策略，使得Agent行为性能达到最大。Agent从复杂的环境中感知信息，对信息进行处理。Agent通过学习改进自身的性能并选择行为，从而产生群体行为的选择，个体行为选择和群体行为选择使得Agent作出决策选择某一动作，进而影响环境。

2.2 两大特点

（1）增强学习是试错学习(Trail-and-error)，由于没有直接的指导信息，智能体要以不断与环境进行交互，通过试错的方式来获得最佳策略。
（2）延迟回报，增强学习的指导信息很少，而且往往是在事后（最后一个状态）才给出的，这就导致了一个问题，就是获得正回报或者负回报以后，如何将回报分配给前面的状态。

2、简书：阿阿阿阿毛

增强学习（一）
增强学习（二）

3、知乎：叶强

写在最前面——关于连载David Silver《强化学习》视频公开课的中文学习笔记

David Silver的这套视频公开课可以在youtube上找到，其链接地址如下：https://www.youtube.com/watch?v=2pWv7GOvuf0&amp;amp;amp;list=PL7-jPKtc4r78-wCZcQn5IqyuWhBZ8fOxT 。不知道国内的视频网站有没有原版视频。同时David也公开了它视频里所使用的讲义pdf，讲义内容与视频内容在某些地方有细微差别，应该是讲义更新些。我把这些转到百度网盘，地址是：https://pan.baidu.com/s/1nvqP7dB。同样在这个地址还有David在公开课第一讲里推荐阅读的两篇关于强化学习的教材。

目前用于强化学习编程实践的常用手段是使用OpenAI推出的gym库，该库支持python语言。其官方网站在这里: OpenAI Gym: A toolkit for developing and comparing reinforcement learning algorithms。正如其描述的一样，它是一个开发、比较各种强化学习算法的工具库，提供了不少内置的环境，是学习强化学习不错的一个平台，gym库的一个很大的特点是可以可视化，把强化学习算法的人机交互用动画的形式呈现出来，这比仅依靠数据来分析算法有意思多了。我自己也设计了与gym兼容的、针对讲义内容中提到的格子世界环境类和其它一些有意思的类。

这里还介绍一个网站给大家：Gridworld with Dynamic Programming。它是人工智能领域的青年专家Karpathy用javascript结合d3可视化的几个强化学习的Demo，非常有趣，我也借鉴了不少他的ReinforceJS库中的代码。不过Python将会是我结合公开课进行编码的主要编程语言。在早期，我将在尽可能不适用任何库的情况下实践一些简单的算法思想，在后期，由于涉及到一些函数的近似，需要使用一些深度学习的算法，会使用到Tensorflow或Pytorch。

总体来说，学习强化学习、理解其算法不需要特别深的数学和编程知识，但一定的微积分、矩阵、概率统计知识还是需要的。对于编程来说，Python已经使得编程变得非常容易。相信跟随这套笔记，任何想了解强化学习的人都能对其有比较深刻的理解。

《强化学习》第一讲简介
强化学习实践一迭代法评估4*4方格世界下的随机策略

《强化学习》第二讲马尔科夫决策过程
强化学习实践二理解gym的建模思想

《强化学习》第三讲动态规划寻找最优策略
强化学习实践三编写通用的格子世界环境类

《强化学习》第四讲不基于模型的预测
强化学习实践四 Agent类和SARSA算法实现

《强化学习》第五讲不基于模型的控制
强化学习实践五 SARSA(λ)算法实现

《强化学习》第六讲价值函数的近似表示
强化学习实践六给Agent添加记忆功能

《强化学习》第七讲策略梯度
强化学习实践七 DQN的实现

《强化学习》第八讲整合学习与规划
《强化学习》第九讲探索与利用

4、CSDN：夏栀的博客

强化学习（一）：概述
强化学习（二）：贪心策略（ε-greedy & UCB）

强化学习（三）：有限马尔可夫决策与贝尔曼方程
强化学习（四）：基于表格型动态规划算法的强化学习

强化学习（五）：蒙特卡洛采样方法
强化学习（六）：时序差分方法

强化学习（七）：n步自举法（多步引导法）
强化学习（八）：Dyna架构与蒙特卡洛树搜索MCTS

5、博客园：刘建平Pinard

强化学习（一）模型基础
强化学习（二）马尔科夫决策过程(MDP)

强化学习（三）用动态规划（DP）求解
强化学习（四）用蒙特卡罗法（MC）求解

强化学习（五）用时序差分法（TD）求解
强化学习（六）时序差分在线控制算法SARSA

强化学习（七）时序差分离线控制算法Q-Learning
强化学习（八）价值函数的近似表示与Deep Q-Learning

强化学习（九）Deep Q-Learning进阶之Nature DQN
强化学习（十）Double DQN (DDQN)

强化学习(十一) Prioritized Replay DQN
强化学习(十二) Dueling DQN

强化学习(十三) 策略梯度(Policy Gradient)
强化学习(十四) Actor-Critic

强化学习(十五) A3C
强化学习(十六) 深度确定性策略梯度(DDPG)

强化学习(十七) 基于模型的强化学习与Dyna算法框架
强化学习(十八) 基于模拟的搜索与蒙特卡罗树搜索(MCTS)

强化学习(十九) AlphaGo Zero强化学习原理