subword-nmt 基本使用

一.生成bpe模型和词典

subword-nmt learn-joint-bpe-and-vocab --input corpus.path -s 30000 --output en.bpe --wirte-vovocabulary dict.en.txt
#corpus.path：语料路径
#en.bpe：bpe模型
#dict.en.txt：英文词典

二.根据bpe模型对语料进行切分

subword-nmt apply-bpe -c en.bpe < corpus.path > corpus.bpe
#corpus.bpe：bpe后的语料

三.使用fairseq根据词典和语料训练模型

1.将corpus切分出训练集、验证集、测试集

sed -n 1,1000000p corpus.bpe > train.en

2.执行preprocess文件

python $FILE/preprocess.py \--source-lang en --target-lang zh \--trainpref $DATA/train --validpref $DATA \--destdir $DATA/preprocess \--srcdict dict.en.txt \--tgtdict dict.zh.txt \

subword-nmt 基本使用相关推荐

输出不详宗教预言，Google翻译为何“水逆”了？
最近,一些网友使用的 Google 翻译"水逆"了. 在 Reddit 上,有网友截图显示,在 Google 翻译中当某些语种的词汇翻译成英语时,输出的却是毫无由头的宗教语言.比如 ...
lstm 文本纠错_工业界纠错系统
本篇文章,主要来唠嗑下工业界的纠错系统怎么设计?包括:基于规则的纠错系统(简单的英文纠错.复杂的中文纠错).基于NN的纠错系统.当然,在成熟的工业界纠错系统中,最好是结合规则&&NN方 ...
error 系统错误错误码10007_工业界纠错系统
本篇文章,主要来唠嗑下工业界的纠错系统怎么设计?包括:基于规则的纠错系统(简单的英文纠错.复杂的中文纠错).基于NN的纠错系统.当然,在成熟的工业界纠错系统中,最好是结合规则&&NN方 ...
爱丁堡大学神经机器翻译系统 nematus 使用笔记
*博客地址:http://blog.csdn.net/wangxinginnlp/article/details/64921476 *由于没有step by step instruction,被代码搞 ...
[机器翻译] 记一次多语言机器翻译模型的训练
文章目录前言数据准备数据下载数据预处理(iwslt14_preprocess_subwordnmt_old_version) 模型训练补充补充一:Key error while acces ...
NLP入门 | 通俗讲解Subword Models
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:芙蕖,Datawhale优秀学习者,东北石油大学对于英文来说,文 ...
CS224n笔记——Subword Model（十二）
系列文章 Lecture 1: Introduction and Word Lecture 2: Word Vectors and Word Senses Lecture 12: Subword Mo ...
Information from parts of words: Subword Models
1. 有关语言学(linguistics)的启发语音学(Phonetics)是一种非常基本的理论,只要是正常人,有着相同的人体器官和相同的发声结构,就会遵循着相同的发声规则和原理. 语音体系(Pho ...
NLP学习-Task 3: 子词模型Subword Models
NLP学习更新流程↓ Task 1: 简介和词向量Word Vectors Task 2: 词向量和词义Word Senses Task 3: 子词模型Subword Models Task 4: ...
cs224n学习笔记 03:Subword Models（fasttext附代码）
课程内容语言学的一点小知识词级字符级模型 n-gram思想 FastText模型 1 .人类语言声音:语音学和音系学语音学是音流,这是属于物理层面的东西词法学:一个n-grams的代替方案在 ...

subword-nmt 基本使用

subword-nmt 基本使用相关推荐

最新文章

热门文章