评估 | 自动摘要评估

1.rouge评估，英文中文都可以。

中文，都可以使用rouge评估，代码：

# -*- coding: utf-8 -*-
from rouge import Rouge
hypothesis = "我 爱 最美 的 中国"
reference = "我 爱 中国"
rouge = Rouge()
scores = rouge.get_scores(hypothesis, reference)
print("rouge-1:",scores[0]['rouge-1'])
print("rouge-2:",scores[0]['rouge-2'])
print("rouge-l:",scores[0]['rouge-l'])

效果：

rouge-1: {'f': 0.7499999953125, 'p': 0.6, 'r': 1.0}
rouge-2: {'f': 0.33333332888888895, 'p': 0.25, 'r': 0.5}
rouge-l: {'f': 0.7499999953125, 'p': 0.6, 'r': 1.0}

英文：

# -*- coding: utf-8 -*-
from rouge import Rouge
hypothesis = "there is an apple on the desktop"
reference = "there is an apple"
rouge = Rouge()
scores = rouge.get_scores(hypothesis, reference)
print("rouge-1:",scores[0]['rouge-1'])
print("rouge-2:",scores[0]['rouge-2'])
print("rouge-l:",scores[0]['rouge-l'])

效果：

rouge-1: {'f': 0.7272727226446282, 'p': 0.5714285714285714, 'r': 1.0}
rouge-2: {'f': 0.6666666622222223, 'p': 0.5, 'r': 1.0}
rouge-l: {'f': 0.7272727226446282, 'p': 0.5714285714285714, 'r': 1.0}

2.pyrouge评估，只有英文可以

# -*- coding: utf-8 -*-
from pyrouge import Rouge155
r = Rouge155()r.system_dir = 'system_summaries'
r.model_dir = 'model_summaries'
r.system_filename_pattern = '(\d+).txt' #参考摘要
r.model_filename_pattern = '#ID#_reference.txt'#生成摘要output = r.convert_and_evaluate()
print(output)

注意命名格式

效果：

区别：后者可以显示更多评估，前者是只有rouge-1、rouge-2、rouge-l三种。

评估 | 自动摘要评估相关推荐

27 FI配置-财务会计-外币评估-定义评估方范围
业务背景:定义评估方范围事务码: SPRO SPRO路径:SPRO->财务会计->总账会计->定期处理->评估->定义评估方范围第1步,SPRO路径进入第2步,通过 ...
SAP MM 评估类型评估类别
同一物料的使用,既有"自制品",又有"外购品",并且其来源不同,如同一外购品由不同的供应商提供,价格也不相同.也就是说:同一物料有不同的价值指派,即在不同的条件 ...
分类的评估标准_机器学习：模型评估之评估指标
要评估模型的好坏光有评估方法还不行,还得确定评估指标.评估指标就是衡量模型泛化能力好坏的评估标准,反映了任务需求:使用不同的评估指标往往会导致不同的评估结果. 在分类预测任务中,给定测试样例集,评估分 ...
回归模型评估_评估回归模型的方法
回归模型评估 Evaluation metrics; 评估指标: Mean/Median of prediction预测的均值/中位数 Standard Deviation of prediction ...
IQA+不懂︱图像清洗：图像质量评估（评估指标、传统检测方法）
深度学习技术如火如荼,但是训练的图像集都是标注好.质量高的,那么笔者对如何进行图像清洗表示好奇.难道只有让工人肉眼看吗?一些传统的IQA都是基于图像本身质量去评价,那么我想知道,之外的图像信息质量该如 ...
商用密码应用安全性评估量化评估规则（2021版）
量化评估框架参考 GM/T BBBB<信息系统密码应用测评要求>,本规则从三个方面进行量化评估: 密码使用安全(Cryptography Deployment security)是指,密 ...
模型评估：评估矩阵和打分
文章目录目标优先二分类问题的评价指标第一类错误和第二类错误非均匀数据集混淆矩阵.正确率.精确率.召回率和f-score 不知道标签均匀性的情况精度-召回曲线和ROC曲线精度-召回曲线( ...
计算机软件行业的环境评估,计算机软件评估研究
摘要: 随着社会的发展和科研技术的进步,计算机软件的发展日新月异,计算机软件越来越多的融入国民经济和日常生活的各方面.以计算机软件为对象的资产业务迅速发展:一方面,计算机软件作为产品而被软件生产企业大 ...
山西大学计算机科学技术学科评估排名,山西大学排名第44位，全国第四轮学科评估高校评估统计出炉...
信息来源丨大学从未如此有料青塔教育部学位与研究生教育发展中心公布全国第四轮学科评估结果.第四轮评估于2016年在95个一级学科范围内开展(不含军事学门类等16个学科),共有513个单位的7449个 ...

评估 | 自动摘要评估

评估 | 自动摘要评估相关推荐

最新文章

热门文章