本文主要是结合文章Joint Optimization of Handover Control and Power Allocation Based on Multi-Agent Deep Reinforcement Learning对MAPPO算法进行解析。
该文章详细地介绍了作者应用MAPPO时如何定义奖励、动作等，目前该文章没有在git-hub开放代码，如果想配合代码学习MAPPO，可以参考MAPPO代码详解（超级详细）或者参考小小何先生原创文章。
MAPPO开源代码下载地址：
https://github.com/marlbenchmark/on-policy
代码配套论文：
The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games
此代码对环境要去较高，可下载轻量版的代码进行学习：
https://github.com/tinyzqh/light_mappo

MAPPO算法简介

MAPPO是一种多代理最近策略优化深度强化学习算法，它是一种on-policy算法，采用的是经典的actor-critic架构，其最终目的是寻找一种最优策略，用于生成agent的最优动作。

场景设定

一般来说，多智能体强化学习有四种场景设定：

通过调整MAPPO算法可以实现不同场景的应用，但就此篇论文来说，其将MAPPO算法用于Fully cooperative场景中，在本文中所有Agent共享奖励（共用一个奖励函数），即所有智能体的奖励由一套公式生成。

通信架构

现有的多 agent 深度强化学习算法通信方式主要由三种：
全通信集中决策：联合感知，中心决策（神经网络内部通信）
全通信自主决策：联合感知，独立决策（神经网络之前通信）
欠通信自主决策：无信息交互，独立决策（一般用循环神经网络）
不同的算法框架决定了不同的通信方式，MAPPO有中心式、分散式和混合式三种框架。

我们在应用MAPPO算法时，应该先明确算法框架，用的最多是混合式的框架，即中心化训练、去中心化执行的框架，刚开始时智能体将自己的状态观测数据传递给中心控制器，中央控制器得到全局状态S后对模型进行训练，得到最优分散控制策略后传给agent，训练完后智能体就可以不再与中心控制器通信，可以基于自己的局部观测状态通过自己的动作策略函数来产生最优动作。

值得注意的是，在这种框架中每个智能体有单独的actor-critic网络，训练时智能体自己的actor网络要接受每个critic的打分。

算法伪代码：

基本流程是：
1 初始化Q和π，神经网络参数ω、θ为超参数（ω、θ开始时随机初始化，通过训练来改进ω、θ）
2 初试化relay buffer D
3 在一个定义步长内，arent u执行策略函数π(old)产生的动作，得到reward r(t)和下一个状态s(t+1)
4 通过计算得到矩形框内数据

5 储存数据到buffer D中去
6 打乱D中的数据顺序，并从新编号（从而打破数据之间的相关性，从而稳定训练过程）
7 这里基本意思就是抽取数据并更新ω、θ，然后用更新后的参数去更新Q和π。

具体细节请参考原文。
参考文献：
[1]MAPPO-Joint Optimization of Handover Control and Power Allocation Based on Multi-Agent Deep Reinforcement Learning.(有定义动作、状态等，无开源代码)
[2]The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games.（总结了MAPPO的改进及特点，并与其它算法进行对比，文章内容干货不多，主要还是结合其开源代码去理解MAPPO）
[3]Multi-task Deep Reinforcement Learning with PopArt

多智能体强化学习之MAPPO理论解读相关推荐

多智能体强化学习入门
参考文章:万字长文:详解多智能体强化学习的基础和应用 .多智能体强化学习入门(一)--基础知识与博弈推荐文章:多智能体强化学习路线图 (MARL Roadmap) 推荐综述论文:An Overvie ...
多智能体强化学习思路整理
多智能体强化学习算法思路整理目录摘要背景和意义研究背景强化学习多智能体强化学习与博弈论基础研究意义问题与挑战问题分类问题分析环境的不稳定性与可扩展性的平衡部分可观测的马尔可夫决 ...
《强化学习周刊》第41期：MERLIN、分散式多智能体强化学习、异步强化学习
No.41 智源社区强化学习组强化学习研究观点资源活动周刊订阅告诉大家一个好消息,<强化学习周刊>已经开启"订阅功能",以后我们会向您自动推送最 ...
《强化学习周刊》第40期：PMIC多智能体强化学习、Lazy-MDPs、CTDS
No.40 智源社区强化学习组强化学习研究观点资源活动周刊订阅告诉大家一个好消息,<强化学习周刊>已经开启"订阅功能",以后我们会向您自动推送最 ...
《强化学习周刊》第16期：多智能体强化学习的最新研究与应用
No.16 智源社区强化学习组强化学习研究观点资源活动关于周刊强化学习作为人工智能领域研究热点之一,多智能强化学习的研究进展与成果也引发了众多关注.为帮助研究与工程人员了解该领 ...
《强化学习周刊》第2期：多智能体强化学习（MARL）赋能“AI智能时代”
No.02 智源社区强化学习组 R L 学习研究观点资源活动关于周刊随着强化学习研究的不断成熟,如何将其结合博弈论的研究基础,解决多智能体连续决策与优化问题成为了新的研究领域,为了帮 ...
上海交大开源训练框架，支持大规模基于种群多智能体强化学习训练
机器之心专栏作者:上海交大和UCL多智能体强化学习研究团队基于种群的多智能体深度强化学习(PB-MARL)方法在星际争霸.王者荣耀等游戏AI上已经得到成功验证,MALib 则是首个专门面向 PB- ...
多智能体强化学习_基于多智能体强化学习主宰星际争霸游戏
大家好,今天我们来介绍基于多智能体强化学习主宰星际争霸游戏这篇论文 Grandmaster level in StarCraft II using multi-agent reinforcement ...
【四】多智能体强化学习（MARL）近年研究概览｛Learning cooperation（协作学习）、Agents modeling agents（智能体建模）｝
相关文章: [一]最新多智能体强化学习方法[总结] [二]最新多智能体强化学习文章如何查阅{顶会:AAAI. ICML } [三]多智能体强化学习(MARL)近年研究概览 {Analysis of e ...
多智能体强化学习——相关论文
多智能体深度强化学习研究综述作者:孙彧,曹雷,陈希亮,徐志雄,赖俊摘要:多智能体深度强化学习是机器学习领域的一个新兴的研究热点和应用方向,涵盖众多算法.规则.框架,并广泛应用于自动驾驶.能 ...

多智能体强化学习之MAPPO理论解读

MAPPO算法简介

场景设定

通信架构

多智能体强化学习之MAPPO理论解读相关推荐

最新文章

热门文章