Actor-Critic

Actor-Critic是RL的一种DDPG模型，其结合value-based和policy-based两类强化算法。

Actor基于概率选择行为。Critic基于actor的行为评判行为的得分。Actor根据Critic的评分修改选择行为的概率。

actor：输入state，经过神经网络actor输出action。Actor是一个神经网络，用于学习动作。（用神经网络实现，该网络的训练目标是最大化累计回报期望）

critic：actor基于策略policy，需要critic来计算对应actor的value来反馈actor，需要使用之前的Q值（该Q值可以用神经网络critic来近似，使用时序差分实现，可对当前策略的值函数进行估计，即评价Actor策略函数的好坏。）

Critic通过Q网络计算状态的最优价值vt, 而Actor利用vt这个最优价值迭代更新策略函数的参数θ,进而选择动作，并得到反馈和新的状态，Critic使用反馈和新的状态更新Q网络参数w, 在后面Critic会使用新的网络参数w来帮Actor计算状态的最优价值vt。

∇R‾θ≈1N∑n=1N∑t=1Tn(∑t′=tTnγt′−trt′n−b)∇logpθ(atn∣stn)∇\overline{R}_θ≈ \frac{1}{N}\sum_{n=1}^{N} \sum_{t=1}^{T_n}(\sum_{t′=t}^{T_n}γ^{t′−t}r_{t′}^{n}−b)∇log\ p_θ(a_t^n∣s_t^n)∇Rθ≈N1∑n=1N∑t=1Tn(∑t′=tTnγt′−trt′n−b)∇log pθ(atn∣stn)

首先让agent与环境互动，计算出在某状态state时采用某个动作action的概率pθ(at∣st)p_{\theta}(a_t|s_t)pθ(at∣st)，之后计算某个状态state采用某个动作之后，直到游戏结束，累积奖励有多大，将奖励从时间t到时间T加起来，乘折扣因子减去b，使得括号里有正负数，正数：增加该状态时的动作机率，负数：减少该状态时的动作机率。

Actor-Critic相关推荐

深度增强学习--Actor Critic
Actor Critic value-based和policy-based的结合实例代码 1 import sys 2 import gym 3 import pylab 4 import nump ...
强化学习论文笔记：Soft Actor Critic算法
Soft Actor Critic是伯克利大学团队在2018年的ICML(International Conference on Machine Learning)上发表的off-policy mod ...
【强化学习笔记】2020 李宏毅强化学习课程笔记（PPO、Q-Learning、Actor + Critic、Sparse Reward、IRL）
前言如果你对这篇文章感兴趣,可以点击「[访客必读 - 指引页]一文囊括主页内所有高质量博客」,查看完整博客分类与对应链接. 文章目录前言 Introduction Two Learning Mod ...
CS294(285) Actor Critic算法系列
CS294(285) Actor Critic算法系列 CS294(285) Actor Critic之agents(https://duanzhihua.blog.csdn.net/article/ ...
actor critic玩cartpole
只能玩到reward=200多,git actor critic采用单步更新,每一步游戏后Actor和Critic都进行学习. Actor网络使用交叉熵损失,是因为r_s为正时需要增加选择a_s的概率 ...
【强化学习】Actor Critic原理
PG算法是一种只基于policy的一种方法,存在的问题就是该算法需要完整的状态序列,且单独对策略函数进行迭代更新,不太容易收敛. Actor-critic方法呢是一种将策略(Policy Based ...
An Actor–Critic based controller for glucose regulation in type 1 diabetes
a b s t r a c t \qquad 控制器基于Actor-Critic(AC)算法,受强化学习和最优控制理论(optimal control theory)的启发.控制器的主要特性是: 同时 ...
人工智能-强化学习-算法：Critic 【用于评价一个 Actor/Policy π】--＞ Q-Learning【用于训练出来一个最优 Actor/Policy π，擅长处理离散型 actions】
一.Critic的作用 Critic就是一个神经网络,以状态 s s s 为输入,以期望的Reward为输出. Critic的作用就是衡量一个Actor在某State状态下的优劣.Given an a ...
强化学习（九）- 策略梯度方法 - 梯度上升，黑箱优化，REINFORCE算法及CartPole实例
策略梯度方法引言 9.1 策略近似和其优势 9.2 策略梯度定理 9.2.1 梯度上升和黑箱优化 9.2.2 策略梯度定理的证明 9.3 REINFORCE:蒙特卡洛策略梯度 9.3.1 轨迹上的R ...
强化学习70年演进：从精确动态规划到基于模型
作者 | Nathan Lambert 译者 | 泓礼编辑 | 夕颜出品 | AI科技大本营(ID: rgznai100) [导读]这是一份帮你了解强化学习算法本质的资源,无需浏览大量文档,没有一 ...

Actor-Critic

Actor-Critic

Actor-Critic相关推荐

最新文章

热门文章