进阶篇---PPO代码逐行分析

2024-04-19 21:49:20

进阶篇—PPO代码逐行分析

一、TRPO、PPO、DPPO

PG （Policy gradient）
最常用的策略梯度估计其表达形式如下

TRPO（Trust Region Policy Optimization）
这是一种具有单调递增性质的PG算法，构造了一个带有约束的目标函数

使用一个惩罚项来替代TRPO的约束项，从而把约束优化问题转换为无约束优化问题

PPO（Proximal Policy Optimization）
PPO有两种版本，一是使用Clipped Surrogate Objective

另一种是Adaptive KL Penalty Coefficient

值得注意的是这里的超参数初始值并不重要，因为其会很快的自适应调整。
DPPO（Distributed Proximal Policy Optimization）
DPPO是一种同步并行PPO算法。DPPO把网络参数存在到一个服务器上，并且会在每一个gradient step后同步地更新workers的参数。

二、算法流程

首先是一个类似AC中的多任务损失函数

SSS为交叉熵损失，用来提高策略探索能力， LtVFL_t^{VF}LtVF为(Vθ(st)−Vttarg)2(V_ \theta(s_t)-V_t^{targ})^2(Vθ(st)−Vttarg)2
A3C在每一次迭代中，都要采集T个samples(T远远小于回合长度)，计算T个n-step return，然后使用这T个数据更新评价网络：

PPO也使用了相同的思路，但是使用GAE实现

最后，整个算法流程如下

三、代码

逐行分析写在注释上了，有需要的自取我的GitHub。

进阶篇---PPO代码逐行分析相关推荐

目标跟踪心得篇二：ByteTrack原理及其在MMTracking上的代码逐行分析（本文顺带分析MMTracking相关难点，后期不在赘述）
要学习ByteTrack,首先得了解其名字是怎么来的:这个工作是一个学生在字节实习的时候提出来的算法,因此就以Byte这个单词来命名,可能从名字上没有太直观的含义来体现出这个算法在干嘛. ByteTr ...
视频教程-2019版抓包分析-Wireshark从入门到精通【进阶篇】-其他
2019版抓包分析-Wireshark从入门到精通[进阶篇] G-LAB IT实验室创始人.知名讲师.同时拿到路由交换.网络安全.数据中心3个方向的CCIE专家级别认证.教学风趣幽默,广受学员好评郭 ...
[安全攻防进阶篇] 七.恶意样本检测之编写代码自动提取IAT表、字符串及时间戳溯源
系统安全绕不开PE文件,PE文件又与恶意样本检测及分析紧密相关.前文作者带领大家逆向分析两个CrackMe程序,包括逆向分析和源码还原.这篇文章主要介绍了PE文件基础知识及恶意样本检测的三种处理知识, ...
[安全攻防进阶篇] 六.逆向分析之OllyDbg逆向CrackMe01-02及加壳判断
前文作者讲解了OllyDbg和在线沙箱的逆向分析过程,分享了恶意软件如何通过宏脚本发送勒索信息或密码至用户邮箱.这篇文件将带领大家逆向分析两个CrackMe程序,包括逆向分析和源码还原,基础性文章,希 ...
[安全攻防进阶篇] 四.逆向分析之条件语句和循环语句源码还原及流程控制逆向
从2019年7月开始,我来到了一个陌生的专业--网络空间安全.初入安全领域,是非常痛苦和难受的,要学的东西太多.涉及面太广,但好在自己通过分享100篇"网络安全自学"系列文章,艰难 ...
[安全攻防进阶篇] 一.什么是逆向分析、逆向分析应用及经典扫雷游戏逆向
从2019年7月开始,我来到了一个陌生的专业--网络空间安全.初入安全领域,是非常痛苦和难受的,要学的东西太多.涉及面太广,但好在自己通过分享100篇"网络安全自学"系列文章,艰难 ...
Android日志[进阶篇]二-分析堆栈轨迹(调试和外部堆栈)
Android日志[进阶篇]一-使用 Logcat 写入和查看日志 Android日志[进阶篇]二-分析堆栈轨迹(调试和外部堆栈) Android日志[进阶篇]三-Logcat命令行工具 Androi ...
[安全攻防进阶篇] 二.如何学好逆向分析、逆向路线推荐及吕布传游戏逆向案例
从2019年7月开始,我来到了一个陌生的专业--网络空间安全.初入安全领域,是非常痛苦和难受的,要学的东西太多.涉及面太广,但好在自己通过分享100篇"网络安全自学"系列文章,艰难 ...
《微信小程序-进阶篇》Lin-ui组件库源码分析-列表组件List（一）
大家好,这是小程序系列的第二十篇文章,在这一个阶段,我们的目标是由简单入手,逐渐的可以较为深入的了解组件化开发,从本文开始,将记录分享lin-ui的源码分析,期望通过对lin-ui源码的学习能加深组 ...

最新文章

热门文章