NMT优化--Ensemble Decoding

理论部分

来自于nmt-book 6.1
一种在机器学习中常见的技术是不止为你的问题建立一个系统，而是多个并且将他们合并，这种技术叫ensemble of systems。对神经网络来说，一种策略是使用不同的初始值或者在训练进程中停在不同的点。
为什么这会有作用呢，一种直觉是每个系统都会犯不同的错。当两个系统同意一种观点时，他们很可能都是正确的，而不是都错的。就像人们在选举时一起开会投票。
将集成方法应用到神经机器翻译中，我们必须解决两个子问题：

产生备用子模型
合并他们的输出

生成候选模型

当我们训练一个神经翻译模型时，我们迭代地训练数据直到某些停止条件满足。这通常是对应用在验证集上的损失函数（cost function）如交叉熵，或对在验证集上的翻译表现（如BLEU）缺少改进。
在训练时，我们可以在一个固定的间隔（比如每10000个batch）输出一次模型。当训练结束时，我们可以再回来查看模型在不同阶段的性能。然后我们选择4个最好表现（通常是翻译的BLEU指标）的4个模型。这种在训练进程中选择不同检查点的操作就叫做检查点集成（ checkpoint ensembling）
Multi-run ensembling 要求在完全不同的训练进程中建立系统。正如我们前面提到的，它能通过使用不同的随机初始值来完成，这将导致不同的局部最佳点。我们也随机的打乱训练数据，所以我们使用随机来得到不同的训练结果。
Multi-run ensembling通常运行得到更好的结果，但它也会花费更多的算力。注意multi-run ensembling也能使用checkpoint ensembling建立。我们首先应用checkpoint ensembling到每次运行中，然后合并这些ensembling而不是合并每次训练的最终检查点。

合并系统输出

神经翻译模型允许多个系统的深度合并。回忆一下模型首先是首先在所有可能的输出词上做一个概率分布，然后得到其中一个词。这是我们合并不同训练模型的地方。每个模型预测了一个概率分布然后我们将它们的预测合并。这种合并通过简单的在它们的概率分布上平均。平均后的概率分布用来选择输出词。
如下图所示，使用不同的系统有一些好处，尽管在我们生成它们的方式中，它们有相似的质量，所以这不是典型的做法。

使用从右到左的解码重新排序

另一个关于集成想法的微调是：不在开始时建立几个有不同随机初始值的系统，我们像以前一样先建立一组系统，然后再建立第二组系统并将输出的句子顺序倒置。第二组系统就叫做从右到左的系统（ right-to-left systems）。
上面描述的深度集成不再适用于从左到右和从右到左的系统的组合，因为它们以不同的顺序生成输出。因此，我们不得不求助于重新排序。这包括几个步骤:

使用一个从左到右的集成系统来对每个输入生成一个n-best翻译候选列表。
使用每个从左到右和从右到左的系统来给候选翻译打分。
合并每个句子在不同系统的分数（简单平均），选择每个输入句子的最好输出
使用从右到左的系统给一个给定的候选句子打分需要强制解码，一种对输入句子进行推理的特殊模式，但预测给定的输出句子。这种模式实际上更接近于训练常规推理(其中也给出了输出转换)。