Policy Gradient Theorem Explained

Policy Gradient Thorem Explained
视频很容易懂，但看得我很有睡意可能英语不够好吧，所以总结一下做个笔记-.-!

Intro

首先定义了这样一种游戏规则

这个游戏有这样几种可能性

数学推导

Expected Result: 指得是一路上概率（pro）*奖励（reward）的和
比如上图右下 R = 0.3 x 10

所以全部的Expected Result为：

然后做偏导，做backpropogation
以action=1 概率为0.7为例，我们替换所有的0.7为X

则偏导为:

当这些那么把所有的 概率值 改为要学习和调节的变量：

则整个网络的公式应该为：

对每个变量做偏导，用来更新 weights 和 bias

如果多次采样：

不太懂为啥要变log(我好菜…)

代码实现

具体网络搭建参考这个https://github.com/gabrielgarza/openai-gym-policy-gradient/blob/b187780b12c28bb5a127e97a6fcb37ac15c4076c/run_mountaincar.py 代码

Policy Gradient Theorem Explained-视频总结笔记（待续。。）相关推荐

Policy gradient Method of Deep Reinforcement learning (Part One)
目录 Abstract Part one: Basic knowledge Policy Environment Dynamics Policy Policy Approximation Policy ...
强化学习系列（十三）：Policy Gradient Methods
这是PG的基础篇,在深度强化学习系列中,有结合例子和监督学习的深刻理解PG的进阶篇. 一.前言之前我们讨论的所有问题都是先学习action value,再根据所得的action value 来选择a ...
【强化学习】Policy Gradient算法详解
DeepMind公开课https://sites.google.com/view/deep-rl-bootcamp/lectures David Silver教程 http://www0.cs.ucl ...
【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
[李宏毅深度强化学习笔记]1.策略梯度方法(Policy Gradient) [李宏毅深度强化学习笔记]2.Proximal Policy Optimization (PPO) 算法 [李宏毅深度强化 ...
pytorch笔记：policy gradient
本文参考了策略梯度PG( Policy Gradient) 的pytorch代码实现示例 cart-pole游戏_李莹斌XJTU的博客-CSDN博客_策略梯度pytorch 在其基础上添加了注释和自 ...
李宏毅深度强化学习(国语)课程(2018) 笔记（一）Policy Gradient （Review）
李宏毅深度强化学习(国语)课程(2018) https://www.bilibili.com/video/BV1MW411w79n?spm_id_from=333.337.search-card.al ...
强化学习笔记（六）：Policy Gradient/策略梯度
目录考题知识点1:critic.actor 定理1:策略梯度理论定理2:函数近似理论知识点3:蒙特卡洛策略梯度知识点4:Actor-critic算法知识点:Advantage Funct ...
SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient读书笔记
本篇博客仅为方便个人日后翻阅,对公式的解读代表了个人观点,希望能给大家带来一些启发. Sequence Generative Adversarial Nets 序列生成问题的描述:给定真实世界的结构化 ...
影像组学视频学习笔记(37)-机器学习模型判断脑卒中发病时间(文献报告)、Li‘s have a solution and plan.
作者:北欧森林链接:https://www.jianshu.com/p/3e7a2c84288e 来源:简书,已获授权转载 RadiomicsWorld.com "影像组学世界" ...

Policy Gradient Theorem Explained-视频总结笔记（待续。。）

Policy Gradient Theorem Explained

Intro

数学推导

代码实现

Policy Gradient Theorem Explained-视频总结笔记（待续。。）相关推荐

最新文章

热门文章