多智能体强化学习与博弈论-博弈论基础2

Repeated Games(重复博弈)

之前我们介绍了一些单次博弈的例子，除了单次博弈外，重复博弈也是经常在我们生活中出现的。在重复博弈中智能体有机会在单次的博弈中占到对手的便宜，但是由于考虑到后来还有博弈，可能其它的智能体会采取对自己更为不利的策略，智能体为了有更好的长期收益，所以决定智能体策略的选择会更加复杂。

在重复博弈的过程中不仅要考虑当前这次的博弈，还需要考虑以后的博弈收益。对于以后的博弈，需要给定一个折扣，距离现在的时间越长，折扣越大。折扣可以使用δt\delta^tδt来表示。

在重复博弈中有很多的策略，其中的一种策略为grim trigger strategy。以重复的囚徒困境为例。当另一个人选择C的时候，这个囚徒也选择C。一旦另一个人选择一次D，这个囚徒就在接下来的博弈中每次都选择D（C代表合作，D代表不合作）。

假设两个player中player1采取的是grim trigger strategy.

若player2一直选择C，则他的收益为：

u2(h)=∑t=0∞δtu(a2t)=∑t=0∞δt2=2/(1−δ)u_{2}(h)=\sum_{t=0}^{\infty} \delta^{t} u\left(a_{2}^{t}\right)=\sum_{t=0}^{\infty} \delta^{t} 2=2 /(1-\delta) u2(h)=t=0∑∞δtu(a2t)=t=0∑∞δt2=2/(1−δ)

若player2在某一回合选择了D，然后就一直继续选D(Starting D earlier would have a better utility)，则他的收益为：

u2(h)′=∑t=0∞δtu(a2t)=3+δ+δ2…=2+11−δ=3−2δ1−δu_{2}(h)^{\prime}=\sum_{t=0}^{\infty} \delta^{t} u\left(a_{2}^{t}\right)=3+\delta+\delta^{2} \ldots=2+\frac{1}{1-\delta}=\frac{3-2 \delta}{1-\delta} u2(h)′=t=0∑∞δtu(a2t)=3+δ+δ2…=2+1−δ1=1−δ3−2δ

当3−2δ1−δ<=2/(1−δ)\frac{3-2 \delta}{1-\delta}<=2 /(1-\delta)1−δ3−2δ<=2/(1−δ)时,Grim trigger strategy是一个纳什均衡。

另一个重复博弈中的策略为limited punishment。当另一个人选择了D之后，这个人选择几次D之后继续变回C。

另一个重复博弈中的策略为Tit-for-tat strategy(以牙还牙策略)。另一个人选C这个人就选C，另一个人选D这个人就选D。

Extensive Form Games

Strategic form games -> model one-shot games in which each player chooses his action once and for all simultaneously.
Extensive form games -> multi-agent sequential decision making.

假设有这么一个博弈

从表格中我们可以看到两个纳什均衡(In, A)和(Out, F)。但是实际上（1，2）这个纳什均衡的存在不合理，因为Entrant先做决策，他选择In后，Incumbent肯定会选择A因为选A比F的收益大。（1,2）这个纳什均衡存在是由于Entrant不合理的惧怕选择了In之后别人选择F。

在Extensive Form Games中需要保证子博弈完美纳什均衡，对于有限的博弈，可以使用逆向归纳法来寻找纳什均衡。

以上面这个博弈为例，首先我们从最后面往上推，player1会选择左边的策略，接着player2（player1上面那个）会选择左边的策略。另一个player2反推的话会选择左边的策略。最上面的player1会选择右边的那个策略，因此我们可以得到唯一的纳什均衡（3,2）这个点。

Potential Games（势博弈）

定义：A strategic form game is a potential game (such as ordinal potential game or exact potential game) if there exists a function Φ : S→ R such that$ Φ(s_i,s_{−i})$ gives information about$ u_i(s_i,s_{−i})$ for each i ∈ I.Φ is referred to as the potential function.

Theorem: 每个有限序数势博弈至少有一个纯策略纳什均衡。

Theorem:A game G is an exact potential game if and only if for all finite simple closed paths, γ, I (γ) = 0. Moreover, it is sufficient to check simple closed paths of length 4.

在这三个中Matching pennies就不是势博弈，其它两个都是。

举一个简单的势博弈的例子：

参考：

汪军老师UCL多智能体强化学习网课

Potential game - Wikipedia