基于perl的bleu得分和nist得分计算实现

首先感谢这位博主的文章
https://blog.csdn.net/liuy9803/article/details/104725092/
这里对这篇博客做了些补充和填坑工作。

首先从官网下载mteval-v14c
从中找到mteval-v14.pl文件
或者在这里下载mteval-v14.pl

然后使用按顺序下载以下几个库，下载后解压
XML-Twing https://metacpan.org/release/XML-Twig

expat-devel http://sourceforge.net/projects/expat/

XML-Parser https://metacpan.org/pod/XML::Parser

Sort-Naturally https://metacpan.org/pod/Sort::Naturally

String-Util https://metacpan.org/pod/String::Util
对于来自metacpan的库运行命令

perl Makefile.PL -y
make
make install

关于expat-devel 的安装
我们打开http://sourceforge.net/projects/expat/

直接点击download可能会下载zip后缀的win系统使用的expat，我的系统是Ubuntu，因此我下载后缀为.tar.gz的压缩包

下载后解压，执行以下命令

./configure
make
make install

如果make出现报错，尝试使用后再进行make

autoconf -ivf

下载这个博客中的python代码并将其命名为xml_transform.py
https://blog.csdn.net/angus_monroe/article/details/82943162

使用：

例：计算某个机器翻译模型的得分
把以下文件装在一个文件夹下

pred.txt # 模型预测结果
true.txt # 真实数据
mteval-v14.pl
xml_transform.py

依次执行以下命令

python xml_transform.py src text true pred true.txt
python xml_transform.py ref text true pred true.txt
python xml_transform.py tst text true pred pred.txt
perl mteval-v14.pl -s text_src.xml -r text_ref.xml -t text_tst.xml

最后得到结果

MT evaluation scorer began on 2022 Feb 18 at 22:33:13command line:  mteval-v14.pl -s text_src.xml -r text_ref.xml -t text_tst.xmlEvaluation of true-to-pred translation using:src set "text" (1 docs, 1 segs)ref set "text" (1 refs)tst set "text" (1 systems)NIST score = 2.3219  BLEU score = 0.1597 for system "pred"# ------------------------------------------------------------------------Individual N-gram scoring1-gram   2-gram   3-gram   4-gram   5-gram   6-gram   7-gram   8-gram   9-gram------   ------   ------   ------   ------   ------   ------   ------   ------NIST:  2.3219   0.0000   0.0000   0.0000   0.0000   0.0000   0.0000   0.0000   0.0000   "pred"BLEU:  1.0000   0.1250   0.0833   0.0625   0.0625   1.0000   1.0000   1.0000   1.0000   "pred"# ------------------------------------------------------------------------Cumulative N-gram scoring1-gram   2-gram   3-gram   4-gram   5-gram   6-gram   7-gram   8-gram   9-gram------   ------   ------   ------   ------   ------   ------   ------   ------NIST:  2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   2.3219   "pred"BLEU:  1.0000   0.3536   0.2184   0.1597   0.1324   0.1855   0.2359   0.2826   0.3252   "pred"MT evaluation scorer ended on 2022 Feb 18 at 22:33:13

基于perl的bleu得分和nist得分计算实现相关推荐

基于Apache Flink的爱奇艺实时计算平台建设实践
导读:随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...
Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践
前言随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...
CV之FD之HOG：图像检测之基于HOG算法、简介、代码实现(计算图像相似度)之详细攻略
CV之FD之HOG:图像检测之基于HOG算法.简介.代码实现(计算图像相似度)之详细攻略图像检测之基于HOG算法.简介.代码实现(计算图像相似度)之详细攻略相关文章:CV之FD之HOG:图像检测之 ...
matlab 电力系统分析毕设,基于MATLAB的P-Q分解法电力系统潮流计算毕业设计
基于MATLAB的P-Q分解法电力系统潮流计算毕业设计摘要电力系统潮流计算是研究电力系统稳定运行情况的一种重要的计算,在电力系统规划设计和现有电力系统运行方式的研究中,都需要利用它来定量地分析比 ...
3010基于二叉链表的二叉树高度的计算（附思路，WA的一种可能情况及代码）
基于二叉链表的二叉树高度的计算描述设二叉树中每个结点的元素均为一个字符,按先序遍历的顺序建立二叉链表,编写递归算法计算二叉树的高度. 输入多组数据.每组数据一行,为二叉树的前序序列(序列中元素为 ...
第二百六十四节，Tornado框架-基于正则的动态路由映射分页数据获取计算
Tornado框架-基于正则的动态路由映射分页数据获取计算分页基本显示数据第一步.设置正则路由映射配置,(r"/index/(?P<page>\d*)", inde ...
matlab p q的确定,基于MATLAB软件的P-Q分解法潮流计算 (1)
基于MATLAB软件的P-Q分解法潮流计算摘要电力系统潮流计算是研究电力系统稳态运行情况的一种重要的分析计算,它根据给定的运行条件及系统接线情况确定整个电力系统各部分的运行状态:各母线的电压,各元 ...
pq分解法matlab程序,基于MATLAB软件的PQ分解法潮流计算
基于MATLAB软件的PQ分解法潮流计算基于MATLAB软件的P-Q分解法潮流计算摘要电力系统潮流计算是研究电力系统稳态运行情况的一种重要的分析计算,它根据给定的运行条件及系统接线情况确定整个电 ...
R语言使用caret包的confusionMatrix函数计算混淆矩阵、基于混淆矩阵的信息手动编写函数计算accuray、准确率指标
R语言使用caret包的confusionMatrix函数计算混淆矩阵.基于混淆矩阵的信息手动编写函数计算accuray指标目录

基于perl的bleu得分和nist得分计算实现

使用：

基于perl的bleu得分和nist得分计算实现相关推荐

最新文章

热门文章