TD3：双延迟深度确定性策略梯度

基本概念

TD3

TD3全称Twin Delayed Deep Deterministic Policy Gradient，中文名双延迟深度确定性策略梯度。简单来说TD3算法是一个相对于DDPG算法优化的版本。TD3算法在DDPG算法的基础上，主要有三个方面的优化：

1、网络结构的优化：TD3在DDPG基础上增加了一个Critic网络，主网络上TD3有2个Critic网络和一个Actor网络，同时Target目标网络也有主网络的一个备份。为什么增加一个Critic网络？原因很简单，增加一个Critic网络，就可以形成对比，通过选取最小的Q值，来避免持续过高的估计。这在只有一个Critic网络是做不到的，当然还可以再增加一个Critic网络。

2、更新方式的优化：DDPG网络的更新方式是Critic网络参数更新一次，Actor参数也跟着更新一次。但是在TD3网络中，并不是这样的，它采用延迟更新的策略。也就是说，Critic网络更新多次后，Actor网络才更新一次。

为什么采用延迟更新？这样做的目的主要是为了稳定Q值，减少一些错误的更新。想象一下，原本是最高点，当Actor好不容易到达最高点，Q值更新了，这里并不是最高点了。这是Actor只能转头再继续寻找新的最高点；更坏的情况是Actor被困在次高点，没能找到正确的最高点。

3、参数更新的优化：在更新Critic网络时候加入随机噪声a~\tilde{a}a~，以达到对Critic网络波动的稳定性。

Critic网络参数更新的方式为：

TD3算法的伪代码如下图所示：

TD3：双延迟深度确定性策略梯度相关推荐

强化学习经典算法笔记(十四)：双延迟深度确定性策略梯度算法TD3的PyTorch实现
强化学习经典算法笔记(十四):双延迟深度确定性策略梯度算法TD3的PyTorch实现 TD3算法简介 TD3是Twin Delayed Deep Deterministic policy gradie ...
TD3：双延迟深度确定性策略梯度算法
目录模型架构 Double Q-learning Target Policy Smoothing Delayed 损失函数学习过程 TD3:Twin Delayed Deep Determini ...
强化学习(十六) 深度确定性策略梯度(DDPG)
在强化学习(十五) A3C中,我们讨论了使用多线程的方法来解决Actor-Critic难收敛的问题,今天我们不使用多线程,而是使用和DDQN类似的方法:即经验回放和双网络的方法来改进Actor-Cri ...
无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法（2）——模型构建
无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法(2)--模型构建参考文献: [1] Wang Y , Fang W , Ding Y , et al. Computation of ...
系统学习深度学习（三十八）--深度确定性策略梯度(DDPG)
转自:https://www.cnblogs.com/pinard/p/10345762.html 1. 从随机策略到确定性策略从DDPG这个名字看,它是由D(Deep)+D(Determinist ...
梳理确定性策略梯度，随机策略梯度，AC，DPG，DDPG之间的联系
1.随机策略 1.1 随机策略公式为: 这里的P是一个概率函数,就是说,在给定状态和参数的情况下,输出的的动作服从一个概率分布,也就意味着每次走进这个状态的时候,输出的动作可能不同. 1.2 随机 ...
策略梯度方法介绍——确定性策略梯度定理
策略梯度方法介绍--确定性策略梯度定理引言回顾:策略梯度定理确定性策略梯度确定性策略梯度的表示形式确定性策略梯度算法推导过程引言上一节我们介绍了行动者-评论家(AC)方法,其核心思想是 ...
DeepFusion：基于单视图深度和梯度预测的单目SLAM实时稠密三维重建
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达标题:DeepFusion: Real-Time Dense 3D Reconstruction fo ...
深度链接、延迟深度链接、App Links以及关于LinkedME实现深度链接的原理解析
开始之前,我们先介绍两个概念:深度链接(Deep Linking)和延迟深度链接(Deferred Deep Linking). 深度链接我们通过例子来说明这个问题,比如说我们使用淘宝,看到一个宝贝 ...

TD3：双延迟深度确定性策略梯度

基本概念

TD3

TD3：双延迟深度确定性策略梯度相关推荐

最新文章

热门文章