Quality-Estimation1 (翻译质量评价-复现 WMT2018 阿里论文结果)
简介
翻译质量评价(Quality Estimation,QE)是机器翻译领域中的一个子任务,大致可分为 Sentence-level QE,Word-level QE,Phrase-level QE,详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html 。 本项目针对 Sentence-level QE,试图复现论文 “Bilingual Expert” Can Find Translation Errors 的实验结果。 上述论文的开源代码如下:https://github.com/lovecambi/qebrain ,本人受服务器驱动限制,装不了高版本的tensorflow, 基于transformer开源代码 https://github.com/Kyubyong/transformer 重写了论文中的专家模型和qe模型。 由于 wmt18-qe 的测试集标签没有公布,本项目仅在 wmt17-qe 数据集上进行实验。
实验环境
python3
tensorflow == 1.2.0
实验步骤
代码见github : https://github.com/xlniu/Quality-Estimation1
1、准备数据
用于训练专家模型的数据,其数据来源是 WMT17 Translation task、WMT17 qe task中sentence-level task中训练集的数据(src+pe)。数据统计信息见下表:
Dataset | Sentences |
---|---|
Europarl v7 | 1,920,209 |
Common Crawl corpus | 2,399,123 |
News Commentary v12 | 268,328 |
Rapid corpus of EU press releases | 1,314,689 |
UFAL Medical Corpus | 2,660,314 |
Khresmoi development data | 500 |
Sentence-level QE en-de smt | 23,000 |
Sentence-level QE de-en smt | 25,000 |
total | 8,611,163 |
filter | 8,449,133 |
注:过滤后的数据总量为8,449,133
2、数据预处理
tokenize(./preprocess/token.sh);
lower(./preprocess/lower.sh);
filter(./preprocess/data_filter_merge.ipynb, we filtered the source and target sentence with length <= 70 and the length ratio between 1/3 to 3);
merge(./preprocess/data_filter_merge.ipynb,将所有数据集按照语言分别合并);
3、词表生成
分别生成源端和目标端的词表,生成后的词表按照词频排序,代码见:./prepro.py,运行代码前要先设置词表大小;
4、预训练专家模型
设置exp_hyperparams.py中的参数,运行expert_model.py;
5、联合训练专家模型和qe模型
设置qe_hyperparams.py中的参数,运行qe_model.py;
使用 Sentence-level QE en-de smt 训练en-de模型,使用 Sentence-level QE de-en smt 训练de-en模型;
实验结果
Data | Pearson’s | vocab_size | batch | steps |
---|---|---|---|---|
test 2017 en-de | 0.5974 | 30k | 128 | 500k |
state of the art(Single) | 0.6837 | 120k | - | - |
test 2017 de-en | 0.6745 | 30k | 128 | 410k |
state of the art(Single) | 0.7099 | 120k | - | - |
注:
1、state of the art 参考论文:“Bilingual Expert” Can Find Translation Errors ;
2、表中的batch和steps都是说的训练专家模型的情况,steps指训练了多少步(每一步是一个batch);
3、从我的观察来看,基本上是专家模型被训练的steps越多,后续再联合训练qe模型而得到的结果就越好,但是随着专家模型被训练步数的不断增多(比如达到350k以上),最终的结果会出现波动;
4、训练专家模型和联合训练qe模型的日志文件都放在了 ./nohup 文件夹下;
Quality-Estimation1 (翻译质量评价-复现 WMT2018 阿里论文结果)相关推荐
- Quality-Estimation0 (翻译质量评价-使用 BERT 特征训练 QE 模型)
简介 翻译质量评价(Quality Estimation,QE)是机器翻译领域中的一个子任务,大致可分为 Sentence-level QE,Word-level QE,Phrase-level QE ...
- Quality-Estimation2 (翻译质量评价-在BERT模型后面加上Bi-LSTM进行fine-tuning)
简介 翻译质量评价(Quality Estimation,QE)是机器翻译领域中的一个子任务,大致可分为 Sentence-level QE,Word-level QE,Phrase-level QE ...
- 滨州学院计算机专业毕业论文读书笔记,滨州学院毕业设计(论文)质量评价指标体系.doc...
精编资料 毕业设计(论文)教学条件及管理(25分)评价项目评价要素分值评价等级标准评价记录...每名指导教师指导设计人数最多6名,指导论文人数最多7名,同时指导设计和论文人数... 设计,体系 滨州学 ...
- 视频主观质量评价工具:MSU Perceptual Video Quality tool
MSU Perceptual Video Quality tool是莫斯科国立大学(Moscow State University)的Graphics and Media Lab制作的一款视频主观评价 ...
- 视频客观质量评价工具:MSU Video Quality Measurement Tool
MSU Video Quality Measurement Tool(msu vqmt)是莫斯科国立大学(Moscow State University)的Graphics and Media Lab ...
- 【质量评价】Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价
[质量评价]Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价 内容介绍 1. Introduction 1.1 Back ...
- 3D视频质量评价PQM(Perceptual Quality Metric)算法
该算法由英国萨里大学的P. Joveluro, H. Malekmohamadi, W.A.C Fernando, and A.M. Kondoz等人提出.该论文把2D视频质量评价上的客观评价标准推广 ...
- 视频质量评价 Zoom-VQA Patches, Frames and Clips Integration for Video Quality Assessment
来自快手 CVPR 2023 workshop的文章,聚焦于视频质量评价. 一.Motivation & 创新点: 视频质量感知会收到低级别特征(纹理.颜色)和高级别特征(语义)的多层级影响, ...
- 数量和质量评价模型_数量对于语言模型可以具有自己的质量
数量和质量评价模型 The recent advances in language modeling with GPT-3 got me thinking: at what point does a ...
最新文章
- PHP+redis实现超迷你全文检索
- 程序员敲诈老板,或面临 37 年监禁
- 机器学习降维方法总结
- 常用命令——ls tree 文件类型 目录结构 netstat
- sulin Python3.6爬虫+Djiago2.0+Mysql --实例demo
- npz文件转为npy_numpy的文件存储 .npy .npz 文件
- 如何把python文件发给别人没_如何把自己写的python程序给别人用
- J2SE核心实战开发—— 集合类框架
- eclipse maven项目 maven build 提示jdk版本不对
- 问题十六:使用初始化列表的构造函数和使用函数体的构造函数有什么区别?
- 竹林蹊径:深入浅出Windows驱动开发
- 重磅预告!企业上云的正确姿势
- STM32笔记之 SWJ(JTAG-DP和 SW-DP)
- 开juǎn有益系列(一)——Binary search(二分查找/折半查找算法)
- 安装SQL server2017提示无法打开注册表项:“Software\Microsoft\MicrosoftsQL Server\140\Bootstrap“,注册表可能已损环。
- 传真百科:电子邮件能取代传真吗
- 如何通过市场中性策略获利
- 5G网络时钟:ePRTC
- NOIP模拟测试19
- fedora dnf 指定安装目录
热门文章
- 希望计算机在未来会变成啥样,人类的未来会是什么样?一个细思恐极而又非常现实的终极归宿...
- Java元组Tuple使用实例
- php如何锁定表,PHPExcel冻结(锁定)表头的简单实现方法
- 第327场周赛6284. 使字符串总不同字符的数目相等
- 从趋势、风格和文案三方面,分析短视频封面这样设计更吸引人。
- 中国数字地球行业发展态势与投资前景展望报告(新版)2022-2027年
- 风车动漫服务器维修要多长时间,风车动漫APP是什么样的软件?风车动漫APP出现打不开的具体处理方法...
- Linux系统管理---权限管理
- Java之美[从菜鸟到高手演变]之集合类【吐血推荐!讲得太好了!!!】
- 欧拉角中各种角度的名称