为什么要用BLEU？

现实中很多时候我们需要用人工来评价翻译结果的，但这种方式非常慢，并且成本非常高，因为你需要请足够专业的翻译人员才能给出相对靠谱的翻译评估结果，一般这种人工评价都偏主观，并且非常依赖专业水平和经验。为了解决这一问题，机器翻译领域的研究人员就发明了一些自动评价指标比如BLEU，METEOR和NIST等，在这些自动评价指标当中，BLEU是目前最接近人类评分的。

BLEU的原理是什么？

BLEU作为评价翻译的质量的指标，包含下面几个概念：

• N-gram
• 惩罚因子
• Bleu

N-gram

N-gram是一种统计语言模型，该模型可以将一句话表示n个连续的单词序列，利用上下文中相邻词间的搭配信息，计算出句子的概率，从而判断一句话是否通顺。BLEU也是采用了N-gram的匹配规则，通过它能够算出比较译文和参考译文之间n组词的相似的一个占比。

这里举一个例子：

原文： 猫坐在垫子上
机器翻译：The cat sat on the mat.
人工翻译：The cat is on the mat.

1-gram

可以看到机器翻译6个词，有5个词命中参考以为，那么它的匹配度为 5/6。

2-gram

2元词组的匹配度则是 3/5。

3-gram

3元词组的匹配度是1/4。

4-gram

4元词组的匹配情况就没有了。

经过上面的举例你应该很清楚n-gram是怎么计算了吧。一般情况1-gram可以代表原文有多少词被单独翻译出来，可以反映译文的充分性，2-gram以上可以反映译文的流畅性，它的值越高说明可读性越好。这两个指标是能够跟人工评价对标的。

但是它存在一些特殊情况，通过n-gram是没办法反映译文的正确性的，例如：

原文：猫坐在垫子上
机器译文： the the the the the the the.
参考译文：The cat is on the mat.

如果计算1-gram的话，你会发现所有the都匹配上了，匹配度是7/7，这个肯定不能反映充分性的，怎么办？

BLEU修正了这个算法，提出取机器翻译译文N-gram的出现次数和参考译文中N-gram最大出现次数中的最小值的算法，具体如下：

所以上面修正后的结果应该是count = 7，Max_ref_Count = 2，取它们之间的最小值为2，那么修正后的1-gram的匹配度应该为2/7。

其中，上面部分表示取n-gram在翻译译文和参考译文中出现的最小次数，比如上面的1-gram出现的最小次数是2.

下面部分表示取n-gram在翻译译文中出现次数，比如上面的1-gram出现的次数是7.

机器译文：The cat
参考译文：The cat is on the mat.

如果出现这种短句子，你会发现计算n-gram的精度会得很高分，很显然这次的得分为1，但实际上它的得分应该是比较低的。针对翻译译文长度比参考译文要短的情况，就需要一个惩罚的机制去控制。

惩罚因子：

这里的c是机器译文的词数，r是参考译文的词数，

这样的话我们重新算精度就应该是：

BP = e^(1- 6 / 2) = 7.38905609893065

Bleu算法

经过上面的各种改进，BLEU最终的计算公式如下：

其实，括号里面的部分，就是一些数学运算，它的作用就是让各阶n-gram取权重服从均匀分布，就是说不管是1-gram、2-gram、3-gram还是4-gram它们的作用都是同等重要的。由于随着n-gram的增大，总体的精度得分是呈指数下降的，所以一般N-gram最多取到4-gram。

这里给一个例子，如何具体计算

机器翻译：The cat sat on the mat.
人工翻译：The cat is on the mat.

第一步：计算各阶n-gram的精度

P1 = 5 / 6 = 0.833333333333333
P2 = 3 / 5 = 0.6
P3 = 1 / 4 = 0.25
P4 = 0 / 3 = 0

第二步：加权求和

取权重：Wn = 1 / 4 = 0.25

加权求和：

第三步：求BP

机器翻译长度 = 参考译文长度，所以：

BP = 1

最后求BLEU

写程序的时候，不用费那么大的劲去实现上面的算法，现成的工具就可以用:

from nltk.translate.bleu_score import sentence_bleu
reference = [['The', 'cat', 'is', 'on', 'the', 'mat']]
candidate = ['The', 'cat', 'sat', 'on', 'the', 'mat']
score = sentence_bleu(reference, candidate)
print(score)
# 输出结果：0.5946035575013605