【强化学习】Actor Critic原理

PG算法是一种只基于policy的一种方法，存在的问题就是该算法需要完整的状态序列，且单独对策略函数进行迭代更新，不太容易收敛。
Actor-critic方法呢是一种将策略(Policy Based)和价值(Value Based)相结合的方法。下面继续来理一下AC方法的思路！

Actor-Critic算法包括两部分，Actor网络使用PG里的策略函数，负责生成动作，和环境交互，Critic网络使用价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作。
PG中我们用的是蒙特卡罗法来计算每一步的价值部分替代Critic的功能，现在我们在AC中用类似于DQN中的价值函数来替代蒙特卡罗法。

汇总来说，就是Critic通过Q网络计算状态的最优价值vt, 而Actor利用vt这个最优价值迭代更新策略函数的参数θ,进而选择动作，并得到反馈和新的状态，Critic使用反馈和新的状态更新Q网络参数w, 在后面Critic会使用新的网络参数w来帮Actor计算状态的最优价值vt。

AC算法的主要缺点在于：无论怎么调参，算法都很难收敛。故后面引入A3C就是为了解决这个问题
重点参考下一篇：AC的注释版本

【强化学习】Actor Critic原理相关推荐

深度强化学习-DDPG算法原理和实现
全文共3077个字,8张图,预计阅读时间15分钟. 基于值的强化学习算法的基本思想是根据当前的状态,计算采取每个动作的价值,然后根据价值贪心的选择动作.如果我们省略中间的步骤,即直接根据当前的状态来选 ...
深度强化学习——DQN算法原理
DQN算法原理一.DQN算法是什么二.DQN训练过程三.经验回放 (Experience Replay) 四.目标网络(Target Network) 1.自举(Bootstrapping) 2 ...
深度强化学习-Actor-Critic算法原理和实现
全文共2543个字,2张图,预计阅读时间15分钟. 基于值的强化学习算法的基本思想是根据当前的状态,计算采取每个动作的价值,然后根据价值贪心的选择动作.如果我们省略中间的步骤,即直接根据当前的状态来选 ...
强化学习ppt_机器学习原理、算法与应用配套PPT第四部分（深度学习概论、自动编码器、强化学习、聚类算法、半监督学习等）...
本文是SIGAI公众号文章作者雷明编写的<机器学习>课程新版PPT第四部分,包含了课程内容的深度学习概论,自动编码器,受限玻尔兹曼机,聚类算法1,聚类算法2,聚类算法3,半监督学习,强化学 ...
那些年玩过的超级玛丽，竟然还隐藏了强化学习的这些原理
深度强化学习是一个很有意思,值得持续研究的方向.现在深度学习大热,一点也不输给现在的室外气温,但大热背后也有隐忧,也就是深度学习虽然表面光鲜,但细看就会发现:仍然充满了槽点.这里说两个"费& ...
深度强化学习-D3QN算法原理与代码
Dueling Double Deep Q Network(D3QN)算法结合了Double DQN和Dueling DQN算法的思想,进一步提升了算法的性能.如果对Doubel DQN和Duelin ...
深度强化学习-DQN算法原理与代码
DQN算法是DeepMind团队提出的一种深度强化学习算法,在许多电动游戏中达到人类玩家甚至超越人类玩家的水准,本文就带领大家了解一下这个算法,论文和代码的链接见下方. 论文:Human-level ...
深度增强学习--Actor Critic
Actor Critic value-based和policy-based的结合实例代码 1 import sys 2 import gym 3 import pylab 4 import nump ...
【强化学习】Q-Learning原理及代码实现
最近工作是在太忙了,无奈,也没空更新博客,职业上也从研发变成了产品,有小半年没写代码了,怕自己手生的不行,给自己两天时间,写了点东西,之前做搞机器学习,搞深度学习,但一直对依赖全场景数据喂模型的方向有 ...
强化学习——Q-Learning算法原理
一.Q-Learning :异策略时序差分控制从决策方式来看,强化学习可以分为基于策略的方法(policy-based)和基于价值的方法(value-based).基于策略的方法直接对策略进行优化, ...

【强化学习】Actor Critic原理

【强化学习】Actor Critic原理相关推荐

最新文章

热门文章