现代博弈论与多智能体强化学习系统

如今，大多数人工智能（AI）系统都是基于处理任务的单个代理，或者在对抗模型的情况下，是一些相互竞争以改善系统整体行为的代理。然而，现实世界中的许多认知问题是大群人建立的知识的结果。以自动驾驶汽车场景为例，任何座席的决策都是场景中许多其他座席行为的结果。金融市场或经济中的许多情景也是大型实体之间协调行动的结果。我们如何模仿人工智能（AI）代理中的行为？

多智能体强化学习（MARL）是深度学习学科，侧重于包含多个代理的模型，这些代理通过动态地与其环境交互来学习。在单一代理强化学习场景中，环境状态仅由于代理的动作而改变，在MARL场景中，环境受到所有代理的操作。从这个角度来看，我们是否将MARL环境视为元组{X1-A1，X2-A2 … .Xn-An}，其中Xm是任何给定的代理，Am是任何给定的动作，然后环境的新状态是由A1xA2x … .An定义的一组连接动作的结果。换句话说，MARL场景的复杂性随着环境中代理的数量而增加。

MARL场景的另一个复杂性增加与代理的行为有关。在许多情况下，MARL模型中的代理可以协同，竞争或表现出中立行为。为了处理这些复杂性，MARL技术借鉴了博弈论中的一些想法，这对于具有多个参与者的模型环境非常有用。具体来说，大多数MARL场景可以使用以下游戏模型之一来表示：

·静态游戏：静态游戏是指所有玩家同时做出决策（或选择策略）的游戏，而不了解其他玩家正在选择的策略。即使可以在不同的时间点做出决定，游戏也是同步的，因为每个玩家都没有关于他人决定的信息;因此，就好像决定是同时做出的。

·舞台游戏：舞台游戏是在静态游戏的某个阶段出现的游戏。换句话说，游戏规则取决于具体阶段。囚徒困境是舞台游戏的典型例子

·重复游戏：当玩家通过多次玩类似的舞台游戏（例如囚徒的困境）进行互动时，游戏被称为重复游戏。与曾经玩过一次的游戏不同，重复游戏允许策略取决于过去的动作，从而允许声誉效果和报应。

大多数MARL场景可以建模为静态，阶段或重复游戏。游戏理论中的新领域，例如平均场比赛在MARL场景中变得非常有价值（更多关于未来的帖子）。

MARL Algorithms and Game Theory

最近，我们看到研究实验室中生成的MARL算法数量激增。跟上所有的研究是非常困难的，但在这里我们也可以使用一些博弈论的想法。我见过了解MARL空间的最佳分类法之一是将代理人的行为分为完全合作，完全竞争或混合。以下是使用该分类标准对MARL空间的快速分类。

在该级别，我们可以添加另一个有趣的分类标准，该标准基于MARL系统中的代理需要执行的任务类型。例如，在某些MARL环境中，代理商会在完全隔离其他代理商的情况下做出决策，而在其他情况下，代理商会与合作伙伴或竞争对手进行协调。

MARL代理商面临的挑战

MARL模型为深度学习任务提供了切实的好处，因为它们是现实世界中许多认知活动的壁橱代表。但是，在实施此类模型时需要考虑很多挑战。在没有尝试提供详尽的列表的情况下，在考虑实施MARL模型时，任何数据科学家都应该首先考虑三个挑战：

1.维度的诅咒：深度学习系统的着名挑战在MARL模型中尤为重要。随着代理/玩家数量的增加，许多适用于某些游戏环境的MARL策略都会失败。

2.培训：在MARL情景中，协调大量代理人的培训是另一场噩梦。通常，MARL模型使用一些培训政策协调机制来最小化培训任务的影响。

3.歧义：MARL模型非常容易受到代理歧义情形的影响。想象一下多人游戏，其中两个代理在环境中占据完全相同的位置。为了应对这些挑战，每个代理商的政策都需要考虑其他代理商采取的行动。

MARL模型被称为未来十年最相关的深度学习学科。当这些模型处理更复杂的场景时，我们可能会看到更多来自博弈论的想法成为MARL场景的基础。