实践：动手搭建神经机器翻译模型

我们现在几乎每天都会用到翻译软件，无论是看论文看源码看新闻，总是会遇见一些不熟悉不认识的单词，关于机器翻译背后的原理我们在前一篇文章中已经讲到了，今天就来动手实践一下。

在这个例子中我们会用一个很小的数据集来理解一遍流程，接下来主要会有两大步骤，一个是 NMT 的训练，一个是 NMT 的推断预测。

NMT 的训练步骤：

序列的表示：主要是将文本转化为序列数据。
词嵌入：用一个低维向量浓缩表达每个单词，使用嵌入层来实现。
训练 Encoder：输入数据进入编码器，学习出隐藏状态。
连接 Encoder 和 Decoder：Encoder 的最终隐藏状态作为 Decoder 的初始状态。
训练 Decoder：Decoder 的作用是给出目标序列的一个词，可以预测出下一个词。

不过训练好的 NMT 不能直接用来翻译新的数据，因为这时并不知道目标句子是什么，所以翻译的流程和训练的流程有些不同。

NMT 的推断预测：

序列的表示：主要是将文本转化为序列数据。
词嵌入：用一个低维向量浓缩表达每个单词，使用嵌入层来实现。
Encoder：将预处理好的数据输入进编码器学习隐藏状态。
连接 Encoder 和 Decoder：Encoder 的最终隐藏状态作为 Decoder 的初始状态。
Decoder 预测：解码器的初始输入除了上面的状态向量，还有一个开始标记 <start>，然后可以预测下一个向量。
选择预测值：预

实践：动手搭建神经机器翻译模型相关推荐

可视化神经机器翻译模型（基于注意力机制的Seq2seq模型）
可视化神经机器翻译模型(基于注意力机制的Seq2seq模型) 序列到序列模型是深度学习模型,在机器翻译.文本摘要和图像字幕等任务中取得了很大的成功.谷歌翻译在2016年底开始在生产中使用这样的模型 ...
课程学习：让神经机器翻译模型像人类一样学习
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 近些年来,神经机器翻译得到了迅速发展,在特定翻译场景下甚至可以媲美人类翻译的水平.但是,在难以收集双语数据的语言方向和专业领域的情况下, ...
3步实现神经机器翻译模型处理
导读:编码器和解码器模型与语言模型中的循环神经网络相似,同时训练阶段均通过遍历每个输出单词来建立动态计算图. 作者:菲利普·科恩来源:华章计算机(hzbook_jsj) 从很多方面讲,神经翻译模型都 ...
一窥谷歌神经机器翻译模型真面貌其底层框架开源
去年,谷歌发布了 Google Neural Machine Translation (GNMT),即谷歌神经机器翻译,一个 sequence-to-sequence ("seq2seq&q ...
在PyTorch中使用Seq2Seq构建的神经机器翻译模型
在这篇文章中,我们将构建一个基于LSTM的Seq2Seq模型,使用编码器-解码器架构进行机器翻译. 本篇文章内容: 介绍数据准备和预处理长短期记忆(LSTM) - 背景知识编码器模型架构(Seq ...
使用fairseq从头开始训练一个中英神经机器翻译模型
前言本文在news-commentary-v15语料上训练了中英NMT模型,并将整个流程,包括工具和数据的准备.数据的预处理.训练及解码,以及中途遇到的问题和解决方案记录在此,希望能够给予别人一些帮 ...
论文阅读——用于自动后编辑的单语和双语神经机器翻译模型的对数线性组合
Log-linear Combinations of Monolingual and Bilingual Neural Machine Translation Models for Automatic ...
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
目录 <Effective Approaches to Attention-based Neural Machine Translation> 一.论文结构总览二.论文背景知识 2.1 ...
【赠书】重磅神经机器翻译“百科全书”，你想学习的机器翻译内容，都在这里...
‍‍ 机器翻译诞生于二十世纪四五十年代,纵观机器翻译70多年的发展历程,从最初的朴素统计模式,发展到基于规则的机器翻译.统计机器翻译,再到目前的深度学习驱动的神经机器翻译,不同技术范式在不同历史时期各 ...

实践：动手搭建神经机器翻译模型

实践：动手搭建神经机器翻译模型相关推荐

最新文章

热门文章