经典强化学习有比较好的理论保证，尽管值分布强化学习的效果很好，但理论分析比较少。本文继续介绍值分布强化学习算法的理论分析。参考论文为“An Analysis of Categorical Distributional Reinforcement Learning”。

Wasserstein 度量

Bellemare等在他们的第一篇值分布强化学习论文“A Distributional Perspective on Reinforcement Learning”中给出了一个重要的引理。

引理3：分布式贝尔曼操作符

对于

来说是

收缩的。

我们并不证明引理3，但要说明引理3中每个符号，以及引理3在说什么事情。

首先要说明符号

Wasserstein度量在最近两年的机器学习中被广泛讨论和应用，该度量被引起广泛关注来源于2017年的Arjovsky写的“神文”：”Wasserstein GAN”。在该论文中，作者指出Wasserstein度量比之前广泛应用的KL散度更适合做损失函数。一个重要的原因是KL散度无法度量支集没有交叠的两个概率分布，而Wasserstein却可以很好地描述任意概率分布之间的距离。

下面我们看看Wasserstein度量的定义：

Wasserstein距离俗称“推土机”距离，是指将概率分布为

更学术的语言表达为：

其中

用更形象的图像来表示为：

如图13为Wasserstein的图像解释，将概率分布

p-Wasserstein距离的定义是原Wasserstein距离定义的泛化，即利用两个概率分布的 阶矩来定义，定义如下：

其中

对于有限马尔科夫决策过程，状态行为对的个数为

有了这些定义，我们再次阐述一遍Bellemare等在2017年的论文“A Distributional Perspective on Reinforcement Learning” 中的引理

引理1：分布式贝尔曼操作符

在上界p-Wasserstein度量下是

收缩的，并且对于任意的初始分布集合

，我们有：

引理1是说，对于分布式贝尔曼操作符，从任意初始概率分布出发，根据策略

现在的问题是，当引入四个近似时，引理1是否依然成立？

论文“An Analysis of Categorical Distributional Reinforcement Learning”用引理2给出了答案。我们先看看引理2是什么。

引理2：操作符

一般在上界p-Wasserstein度量

下并不是收缩的。

引理2直接给出了一个答案：尽管分布式操作符

为了理解引理2，我们给出一个很简单的例子：

如图14为两个简单的分布，分别为

将该分布进行投影操作后，两个分布变为：

根据p-Wasserstein的定义(2), 两个投影后的分布距离为：

当

因此投影操作符并不是收缩的。从直观上来解释下，原来的分布在投影后p-Wasserstein距离会变大。

既然投影映射在p-Wasserstein距离下并非收缩的，那么投影贝尔曼操作符就一定不收缩吗？

答案是：未必。因为投影映射在Cramer距离下是收缩的

从Wasserstein距离到Cramer距离

Bellemare在2017年的论文“The Cramer Distance as a Solution to Biased Wasserstein Gradients”中指出，跟Wasserstein距离相比，Cramer距离有更好的特性：用样本计算Cramer距离的梯度是无偏的，而用样本计算Wasserstein距离的梯度其实是有偏的。

作者在论文“An Analysis of Categorical Distributional Reinforcement Learning”中进一步利用Cramer距离证明了投影算子的收缩性。下面我们先介绍Cramer距离的定义。

Cramer距离

两个分布

在分布集合

有了上述定义，我们不加证明地给出几个命题。

命题1：Cramer度量

赋予了概率空间

一个特殊的投影子空间，该投影操作符正好是启发式投影

，因此

相对于Cramer度量是非扩展的。

如图16为Cramer距离的几何解释。其中

其中

命题2：操作符

在cramer度量

下是一个

收缩的。进一步，存在唯一的分布函数

使得给定初始分布函数

我们有：

命题2是说在投影贝尔曼操作符下，分布会收敛到极限分布

命题3回答了这个问题：

命题3：令

为命题2的极限回报分布函数，如果

的支集在

，则我们有：

命题3是说随着离散分辨率越来越小，极限回报分布函数与真实分布函数之差越来越小。

命题3假设了真实的分布

命题4 ：令

为命题2的极限回报分布函数，如果

的支集在

，并且

，则我们有：

文章的其余部分则是作者利用随机近似理论证明基于采样的值分布强化学习算法的收敛性，这里就不再细说了。最后作者提出还没有解决和证明的问题是当引入函数逼近来表示分布值函数的时候的收敛性，而这个主题非常非常重要但又非常非常难！留待以后的工作。

写得好累，休息休息一下。C51算法及其分析已经差不多，下次更新会讲分位数回归算法，参考论文为：“DistributionalReinforcementLearningwithQuantileRegression”敬请期待！