1.rouge介绍

ROUGE评价方法与pyramid，BLUE方法一起作为评价自动摘要质量的内部评价方法的三大中流砥柱。

ROUGE:recall-oriented understand for gisting evalution

2004年，Chin-Yew Lin 提出

基本思想

由多个专家分别生成人工摘要，构成标准摘要集，将系统生成的自动摘要与人工生成的标准摘要相比较，通过统计二者之间重叠的基本单元(n元语法，词序列和词对)的数目，来评价摘要的质量。通过多专家人工摘要的对比，提高评价系统的稳定性和健壮性。

这个方法已经成为评价摘要技术的通用标准之一。

2.评价标准

ROUGE-N

ROUGE-L

ROUGE-S

ROUGE-W

ROUGE-SU

3. ROUGE-N(N-gram Co-Occurrence Statistics)

N-gram模型

n-gram模型.png

句子S由词序列[图片上传失败...(image-a49417-1542860196809)]组成，计算句子S出现的概率 [图片上传失败...(image-31d2bd-1542860196809)])最简单，最直接的方法是计数后做除法，也就是最大似然估计(MLE)，但是这样做会面临数据稀疏严重和参数空间巨大的问题，导致无法实用。于是一般采用n-gram模型，n-gram模型基于马尔科夫假设，他认为，一个词的出现仅仅依赖于他前面出现的有限的一个或者几个词。

rouge-n介绍.png

其中分母是n-gram的个数，分子是参考摘要和自动摘要共有的n-gram的个数。举例说明一下：

自动摘要Y(一般是自动生成的)：

the cat was found under the bed

参考摘要，X1 (gold standard ，人工生成的)：

the cat was under the bed

summary的1-gram、2-gram如下，N-gram以此类推：

rouge_1(X1,Y)= 6/6=1.0，分子是待评测摘要和参考摘要都出现的1-gram的个数，分子是参考摘要的1-gram个数。(其实分母也可以是待评测摘要的，但是在精确率和召回率之间，我们更关心的是召回率Recall，同时这也和上面ROUGN-N的公式相同)

同样，Rouge_2(X1,Y)=4/5=0.8

4. ROUGE-L

image.png

5.ROUGE-W

ROUGE-W是ROUGW-L的改进版，例如下面这种情况

图中，X 是参考文摘，Y1，Y2是两个待评测文摘，明显Y1 要优于Y2 ，因为Y1 可以和参考摘要X 连续匹配，但是Rouge_L(X,Y1)=Rouge_L(X,Y2) ，针对这个问题论文作者提出了改进的方案—加权最长公共子序列(Weighted Longest Common Subsequence)。

6.ROUGE-S

即使用了skip-grams，在参考摘要和待评测摘要进行匹配时，不要求gram之间必须是连续的，可以“跳过”几个单词，比如skip-bigram，在产生grams时，允许最多跳过两个词。比如“cat in the hat”的 skip-bigrams 就是 “cat in, cat the, cat hat, in the, in hat, the hat”.

7.总结

8.rouge与pyrouge的安装

使用pyrouge前，需要安装好rouge.

下面两个链接有相应的安装工具和教程

注意：Github上的ROUGE已经不可以用了。

9.使用

def rouge(ref, hyp, log_path):

assert len(ref) == len(hyp)

ref_dir = log_path + 'reference/'

cand_dir = log_path + 'candidate/'

if not os.path.exists(ref_dir):

os.mkdir(ref_dir)

if not os.path.exists(cand_dir):

os.mkdir(cand_dir)

for i in range(len(ref)):

with codecs.open(ref_dir+"%06d_reference.txt" % i, 'w', 'utf-8') as f:

f.write(" ".join(ref[i]).replace(' ', '') + '\n')

with codecs.open(cand_dir+"%06d_candidate.txt" % i, 'w', 'utf-8') as f:

f.write(" ".join(hyp[i]).replace(' ', '').replace('', 'UNK') + '\n')

r = pyrouge.Rouge155()

r.model_filename_pattern = '#ID#_reference.txt'

r.system_filename_pattern = '(\d+)_candidate.txt'

r.model_dir = ref_dir

r.system_dir = cand_dir

logging.getLogger('global').setLevel(logging.WARNING)

rouge_results = r.convert_and_evaluate()

scores = r.output_to_dict(rouge_results)

recall = [round(scores["rouge_1_recall"] * 100, 2),

round(scores["rouge_2_recall"] * 100, 2),

round(scores["rouge_l_recall"] * 100, 2)]

precision = [round(scores["rouge_1_precision"] * 100, 2),

round(scores["rouge_2_precision"] * 100, 2),

round(scores["rouge_l_precision"] * 100, 2)]

f_score = [round(scores["rouge_1_f_score"] * 100, 2),

round(scores["rouge_2_f_score"] * 100, 2),

round(scores["rouge_l_f_score"] * 100, 2)]

print("F_measure: %s Recall: %s Precision: %s\n"

% (str(f_score), str(recall), str(precision)))

with codecs.open(ref_dir+"rougeScore", 'w+', 'utf-8') as f:

f.write("F_measure: %s Recall: %s Precision: %s\n"

% (str(f_score), str(recall), str(precision)))

return f_score[:], recall[:], precision[:]

首先记得：import pyrouge

这里的ref是生成的摘要，hyp是系统参考摘要

regerence文件夹下，文件名为reference00.txt, 00代表数字编号

一定要记住

文件中都是一行一个句子！。

TXT文件中好像不允许出现''，如果有可能会报错！

参考