深度强化学习之模仿学习（Imitation Learning）

上一部分研究的是奖励稀疏的情况，本节的问题在于如果连奖励都没有应该怎么办，没有奖励的原因是，一方面在某些任务中很难定量的评价动作的好坏，如自动驾驶，撞死人和撞死动物的奖励肯定不同，但分别为多少却并不清楚，另一方面，手动设置的奖励可能导致不可控的行为。要解决此类问题，可以将人类专家的范例作为强化学习代理的参考去学习，因此模仿学习又叫演示学习（Learning by demonstration）或学徒学习（Apprenticeship Learning）。下面将介绍两种模仿学习方法：行为克隆和逆向强化学习。
1、行为克隆（Behavior Cloning）
行为克隆和监督学习的思想如出一辙，人类专家采取什么动作，代理就采取什么动作。以自动驾驶为例，收集很多人类专家的驾驶资料，这些资料的状态s是开车的场景，动作a是在此场景下的动作。把这些资料输入到神经网络中，使网络的输出尽可能地接近人类实际做出的动作，就可以完成任务。

但是在这个过程中，专家观察到的状态是有限的。比如在实验中，让人去开车就都能顺利转弯，而不会出现撞墙的情况，而这时让代理去开车，如果某一时间它没能和人类专家一样及时转弯导致出现快撞墙的状态，由于人类专家并没有给出这种情况下的处理动作，代理就不知道下一步应该怎么办。一种解决方法就是让代理收集更多的数据——Dataset Aggregation。

Dataset Aggregation

通过Behavior Cloning得到actor Π1，使用Π1与环境进行交互，即开车；让专家坐在车里观察所处的状态并告诉actor做出什么动作；但是actor并不会听取专家的建议，还是以actor的意愿开车，如果最终撞墙一个episode就结束了；这时actor就知道在快要撞墙的时候采取什么动作了，然后用这个新的数据去训练新的策略Π2；重复多次步骤1~4。以上就是Dataset Aggregation的过程。
从上面可以看出行为克隆很容易实现，但是也存在问题：

代理会完全复制专家的行为，不管这个行为对不对，因为没有奖励，代理会将人类专家的行为当成圣旨；
代理的学习能力有限，代理会选择错误的行为进行复制，那什么该学什么不该学就显得很重要；
有可能出现mismatch的问题（上面开车的例子）。

什么是mismatch问题呢？

在监督学习中，期望训练数据和测试数据具有相同的分布，而在行为克隆中，代理做出的动作是会影响后续状态的。因为神经网络的训练存在误差，训练出来的actor Π*与人类专家Π不可能完全一模一样，就会导致某个状态下，两者采取的动作不一样，自然而然就会导致后面的状态完全不同，最坏的情况就是actor遇到了专家从未遇到过的状态，这时actor就完全懵逼了，即失之毫厘，差之千里。
所以，虽然行为克隆简单但是并不是一种很好的方法，所以就出现了第二种方法：逆向强化学习。
2、逆向强化学习（Inverse Reinforcement Learning，IRL）

上面的左图是熟悉的强化学习的步骤，通过环境和奖励函数，最终得到理想的actor。右图是逆向强化学习的步骤，由于无法从环境中获得奖励，那就需要通过收集人类专家的资料和环境的信息，来反推奖励函数，推出奖励函数后就可以使用正常强化学习的做法了。

emsp;具体来看逆向强化学习的运作步骤：

让专家先玩游戏，记录游戏过程，形成n个episode；
actor再去玩游戏啊，记录游戏过程，形成n个episode；
设定一个奖励函数，这个奖励函数强制要求专家的累计得分一定要高于actor的累计得分；
有了奖励函数就可以使actor去更新出更强的actor；
当actor能在此时的奖励函数下得到很高的奖励（还是要求专家的得分高于actor），让actor根据新的奖励函数更新出更强的actor；
重复执行以上步骤。

逆向强化学习可以实现只用很少的专家示范资料，就可以训练出一个很理想的actor。
看了以上步骤，可以想到，actor和奖励函数对应于GAN中的generator和discriminator。通过奖励函数的不断修正，使actor越来越接近专家的水平。

深度强化学习之模仿学习（Imitation Learning）相关推荐

深度强化学习8：Imitation Learning
[李宏毅深度强化学习笔记]8.Imitation Learning qqqeeevvv 2020-01-30 18:18:16 3344 收藏 4 分类专栏: 强化学习 # 理论知识 </div ...
深度强化学习（Deep Reinforcement Learning）的资源
深度强化学习(Deep Reinforcement Learning)的资源 2015-04-08 11:21:00| 分类: Torch | 标签:深度强化学习 |举报 |字号订阅 Goo ...
深度强化学习—— 译 Deep Reinforcement Learning(part 0: 目录、简介、背景)
深度强化学习--概述翻译说明综述 1 简介 2 背景 2.1 人工智能 2.2 机器学习 2.3 深度学习 2.4 强化学习 2.4.1 Problem Setup 2.4.2 值函数 2.4.3 ...
深度强化学习-稀疏奖励及模仿学习-笔记（七）
稀疏奖励及模仿学习稀疏奖励 Sparse Reward Reward Shaping Curiosity Curriculum Learning Reverse Curriculum Generat ...
纯干货-5Deep Reinforcement Learning深度强化学习_论文大集合
本文罗列了最近放出来的关于深度强化学习(Deep Reinforcement Learning,DRL)的一些论文.文章采用人工定义的方式来进行组织,按照时间的先后进行排序,越新的论文,排在越前面.希 ...
万字总结83篇文献：深度强化学习之炒作、反思、回归本源
来源:深度强化学习实验室本文约15000字,建议阅读10+分钟本文为你深入浅出.全面系统总结强化学习的发展及未来展望. 深度强化学习是深度学习与强化学习相结合的产物,它集成了深度学习在视觉等感知问 ...
深度强化学习发展现状及展望：万字总结解读83篇文献
深度强化学习是深度学习与强化学习相结合的产物,它集成了深度学习在视觉等感知问题上强大的理解能力,以及强化学习的决策能力,实现了端到端学习.深度强化学习的出现使得强化学习技术真正走向实用,得以解决现实场 ...
深度强化学习泡沫及路在何方？
一.深度强化学习的泡沫 2015年,DeepMind的Volodymyr Mnih等研究员在<自然>杂志上发表论文Human-level control through deep rein ...
(转) 深度强化学习综述：从AlphaGo背后的力量到学习资源分享（附论文）
本文转自:http://mp.weixin.qq.com/s/aAHbybdbs_GtY8OyU6h5WA 专题 | 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文) 原创 201 ...

深度强化学习之模仿学习（Imitation Learning）

深度强化学习之模仿学习（Imitation Learning）相关推荐

最新文章

热门文章