ROUGE: A Package for Automatic Evaluation of Summaries

原文地址

时间：2004

Intro

ROUGE的衡量方向是candidate相对reference的recall值

ROUGE-N: N-gram Co-Occurrence Statistics

其中n是n-gram的长度，Countmatch(gramn)Count_{match}(gram_n)Countmatch(gramn)是n-gram同时出现在candidate和reference中的最大次数，ROUGE-N之所以是recall-related，是因为分母是所有出现在reference中的n-gram总数，而不是出现在candidate中的，注意两个点

加入reference summaries时，分母会变大，这是合理的因为可能有多个不同的candidate？？
分子是在所有reference summaries上计算的，因此出现在多个reference summary中的n-gram权值会更大，这是合理的，因为这样的candidate与reference的consensus更相似

当一个candidate对多个reference的时候，ROUGE-N计算candidate与每个reference配对的最大值

实现中我们使用Jackknifing procedure，对于M个reference，计算每组M-1个reference中的最大ROUGE-N，然后将这M个值加起来取平均

ROUGE-L:Longest Common Subsequence

Z=[z1,z2,...,zn]Z=[z_1,z_2,...,z_n]Z=[z1,z2,...,zn]是X=[x1,x2,...,xm]X=[x_1,x_2,...,x_m]X=[x1,x2,...,xm]的子列，当存在一个严格递增的序列[i1,i2,...,ik][i_1,i_2,...,i_k][i1,i2,...,ik]，使得对于所有jjj，有xij=zjx_{i_j}=z_jxij=zj，最长子列（Longest common subsequence）LCS就是两个字符序列的最长的公共子列

Sentence-level LCS

用LCS来度量，我们先将summary sentence视作词序列，直观的想法是如果两个summary sentence的LCS越长它们就越相似，对于长m的reference XXX和长n的candidate YYY，我们提出了基于LCS的F度量如下

其中β=Plcs/Rlcs\beta=P_{lcs}/R_{lcs}β=Plcs/Rlcs，这就是ROUGE-L，当X=Y时ROUGE-L=1，当LCS(X,Y)=0时，ROUGE-L=0

ROUGE-L的优点有两个

不需要连续的词相同，而是子列相同即可
自动求出最大的n-gram而无需预先定义n

对于下面这个例子，ROUGE-L可以捕捉到句子的结构

S1是reference，S2、S3是candidate，ROUGE-2会给它们打一样的分，因为它们的2-gram词出现的次数一样，但是ROUGE-L则可以发现句子中的主被动关系，给S2打更高的分（…敢和ROUGE-3对比吗）

ROUGE-L的缺点是只计算最长的子列，其他长度的公共序列都与最终评分无关，比如

ROUGE-L只算这两个长度为2的公共子列中的一个

Summary-Level LCS

在Summary-level中，我们取每句reference sentence rir_iri和每句candidate sentence cjc_jcj的LCS并集，给定一个包括u句话总计m个词的reference summary，和包括v句话总计n个词的candidate，summary-level的 ROUGE-L计算如下

其中LCSULCS_ULCSU表示reference rir_iri和candidate summary C的最长子列的并集，比如ri=w1w2w3w4w5r_i=w_1w_2w_3w_4w_5ri=w1w2w3w4w5,c1=w1w2w6w7w8c_1=w_1w_2w_6w_7w_8c1=w1w2w6w7w8,c2=w1w3w5c_2=w_1w_3w_5c2=w1w3w5，则rir_iri和c1c_1c1的最长子列是w1w2w_1w_2w1w2，与c2c_2c2的最长公共子列是w1w3w5w_1w_3w_5w1w3w5，则LCSU(ri,C)LCS_U(r_i,C)LCSU(ri,C)就是4

ROUGE-W:Weight Longest Common Subsequence

ROUGE-L有这样的缺点

X是reference时，Y1和Y2有一样的ROUGE-L分数，但显然，更连续的Y1应当是更好的选择，为了改进ROUGE-L，我们引入Weight LCS，为连续的子列打更高的分数，具体方法详见论文

ROUGE-S:Skip-Bigram Co-Occurrence Statistics

skip-bigram是一句话中任意两个有序的词，它们之间可以间隔任意长，基于skip-bigram的ROUGE-S计算如下

其中C是组合函数，相比与ROUGE-L来说，ROUGE-S能捕捉所有有序的两个词，为了避免匹配一些相隔过长而无意义的词比如"the the"，可以设置最长间隔，此时相应的分母也要按照这个最长距离来计算

ROUGE-SU:Extension of ROUGE-S

ROUGE-S的缺点之一就是当skip-bigram不存在时，candidate的得分是0，因此ROUGE-SU在ROUGE-S的基础上，加上了对单个词的考虑

结论

～

Idea

类似BLEU的n-gram co-occurrence统计方法可以被用来评估生成句的好坏