在上一篇文章《

的Hamilton-Jaboci等式与关于

的Fokker-Plank等式耦合在了一起。在这篇文章中，我们介绍一个求解非局部耦合一阶平均场博弈论的数值算法。文章内容来自Levon Nurbekyan和Joao Saude在Fourier Approximation Methods for First-Order Nonlocal Mean-Field Games这篇文章及其后续文章，以及Levon在一些学术会议中的报告。

简介

在上一篇文章《

维空间中的向量

来表示，即

。每个玩家在时刻

时候，根据当前所处的状态，以及所处环境中其他对象的分布来制定自己的策略，例如在一个密集的地方开车的司机，根据自己目前所处的地点，以及周围的车的分布的情况来决定下一步采取的开车的方向。在平均场博弈论中，其他对象的分布用概率密度函数

来表示，记号

表示了时刻

的时候，位置为

的的玩家的密度，例如，如果我们有

个车辆，用

来表示某个区域的面积，那么在

时刻，在

所表示的面积的范围内车辆的总数应该为

。我们用

来表示对象运行的轨迹。在一个典型的平均场博弈论的模型中，我们需要找到一个轨迹

使得下列的消耗函数最小

其中，在运行运行过程中，在时刻

的时候的能量消耗为

，

为

相对于时间的导数在

的时候的值，同时，对象的移动也依赖于其他对象的概率分布，与其他对象的交互的消耗被包含在

中，最后，对象运动完成后，也有一个终止的消耗，被包含在

中。

现在，我们来考察对象与环境中其他对象之间的交互，亦即

中

这一项。如果对象的行为受周围附近其他对象的影响，而不是仅仅依赖于当前对象所在位置的概率密度，那么我们称这个平均场博弈是非局部耦合的。例如如果

，那么对象的移动只依赖于当前所在位置的概率密度，我们称这种情况下的平均场博弈是局部的，而如果

具有以下形式

其中

可以是表示

与

的两点的距离，那么我们称此时的平均场博弈是非局部的。我们注意到

描述的是对象所在的某个临域的其他对象对该对象的影响。在接下来的数值算法中，我们也只考虑

中的

的形式，因为非局部的数值计算更复杂一些。

有了

中的控制优化问题，以及

的对象之间的耦合形式，根据优化控制的理论，

中的值函数

与对象的概率密度分布函数

为下列偏微分方程组的解

其中

可以看做一个维度为

的单位立方体(定义在

的函数为周期函数)，

为

中

的Legendre转换，即

表示相对于

的第二个参数求偏导，

为对象的初始概率分布，

为对象停止的时候的运行时消耗。我们可以看出，方程组

是一个高度耦合的方程组，其中

只给出了初值而

只给出了终值，因此，其求解需要特殊的办法。

一个比较直接的办法就是使用有限差分法，将

在整个时间和空间进行有限差分离散，得到非线性的方程组，最后使用牛顿迭代进行求解。有兴趣的读者可以参考Yves Achdou和Italo Capuzzo-Dolcetta的文章Mean Field Games: Numerical Methods。对于非局部的耦合项，即当

具有

中的形式的时候，有限差分得到的非线性方程组就会更加复杂，因为积分的出现会要求当前等式在求解的时候需要其他等式的变量的信息，因此不太适合进行并行计算。下面我们将介绍另外一种能够解耦计算的办法。

本文将介绍Levon Nurbekyan和Joao Saude在Fourier Approximation Methods for First-Order Nonlocal Mean-Field Games这篇文章中提出的系数法来求解

。本文中的描述与论文中的描述有所不同，不过并非本文作者原创，系对原论文作者Levon在一些学术会议中的报告的内容的收集。这里我们也只描述系数法的主要思想。具体细节请参考原文。

系数法 (The method of coefficients)

下面说的“我们”，应该理解为以Fourier Approximation Methods for First-Order Nonlocal Mean-Field Games这篇论文的口吻。

系数法来自于对傅里叶级数的观察。假设我们有一组平滑的在

上的基底函数

进一步，假设耦合项

中的函数

可以表示为下列形式

注:如果

不能表示为

的形式，那么也可以将函数

投影到

展开的函数空间，做近似。因此并不影响系数法的使用。

其中，

为实数。因此

中的

可以表示为

如果我们定义

那么根据

，我们有

因此，

中的Hamilton-Jaboci等式可以写为

因此，如果我们知道如何求解系数

，那么方程

与概率分布

的方程就没有耦合了，即给定

的情况下，我们可以独立求解

！ 那么如何求

呢？

我们可以先看

的变化是如何影响

的变化的，因此，我们最好有一个

的显示表达式，而不是

的偏微分等式来查看

与

的关系。公式

正好可以帮助到我们。 为了方便描述，我们将

收集到一个向量

中，即

。给定

，求得的

的解

我们记为

，可以理解成

为

的一个参数。因此，

中的控制优化问题可以写成

为了查看

对

的变化，我们可以求

对

的导数！因为

与

都为函数(这里我们可以将

表示为

的泛函)，我们得求助于优化控制里的求泛函导数的办法。记

为另一个函数，那么

对

的一阶变化量

为使得下列等式成立的函数

因此，根据公式

与Envelope theorem，我们可以得到

其中

为

中的优化问题的最优解。Envelop theorem 给定

与

，定义

那么，我们有

其中，

为给定

的时候

的优化问题的最优解。即，为了求

对

的导数，我们给定

的情况下

中对应的最优解

，然后得到

，然后认为

与

再无关系，求

对

的偏导数即为

对

的偏导数。详情见https://en.wikipedia.org/wiki/Envelope_theorem。

观察

中

对

的导数与

中

的定义，我们似乎能看到他们之间有某种联系。我们要挖掘这个联系。

我们知道对象最开始服从的是

的分布，对象沿着

的轨道进行运动，我们将对象在

时刻的分布表示为

，可以理解为概率分布被

向前推送到了

。根据概率分布的变量代换公式，对于任意的函数

，我们有

在我们的问题中，对象经过

的轨道前进后的概率密度分布正好是

，即

. 因此，根据

，我们有

因此，对于我们选择的基底

，有

所以，等式

可以写作

我们将等式

带入

得到

观察

，我们知道它可能是另外一个函数的导数！这是一个非常重要的观察。我们可以根据

定义

因此，

就变成了

所以如果

组成的矩阵

可逆且对称，那么

即为下列优化问题的解

因此，我们将对参数

的寻找的问题变成了

中的优化问题。只要求解了

,得到了参数

，那么我们就可以独立地求解Hamilton-Jaboci等式，而不再有

对应的传输方程的耦合，也没有

式子中的非局部积分项的耦合。并且，参数

的各项

的个数的选取也是只跟

有关，而与计算过程中离散后使用的网格数无关，因此并不会随着维度的增加而发生维度爆炸的情况。

下面我们描述根据上述推导求解原来的平均场博弈论的方程组

。根据

，我们可以对

使用梯度下降。首先，假设当前的

的值为

，然后我们可以求解

得到

，接着，我们求解传输方程

得到

。最后，我们根据

中目标函数的梯度使用梯度下降来更新

的值。注意到在整个的计算过程中

与

的耦合被解除掉了。

还有其他算法可以求解

，详情可以参见原论文以及该论文的几篇后续论文。