一窥谷歌神经机器翻译模型真面貌 其底层框架开源
去年，谷歌发布了 Google Neural Machine Translation (GNMT)，即谷歌神经机器翻译，一个 sequence-to-sequence (“seq2seq”) 的模型。现在，它已经用于谷歌翻译的产品系统。虽然消费者感受到的提升并不十分明显，谷歌宣称，GNMT 对翻译质量带来了巨大飞跃。
但谷歌想做的显然不止于此。其在官方博客表示：“由于外部研究人员无法获取训练这些模型的框架，GNMT 的影响力受到了束缚。”
如何把该技术的影响力最大化？答案只有一个——开源。
因而，谷歌于昨晚发布了 tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架。谷歌表示，它使开发者试验 seq2seq 模型变得更方便，更容易达到一流的效果。另外，tf-seq2seq 的代码库很干净并且模块化，保留了全部的测试覆盖，并把所有功能写入文件。
该框架支持标准 seq2seq 模型的多种配置，比如编码器/解码器的深度、注意力机制（attention mechanism）、RNN 单元类型以及 beam size。这样的多功能性，能帮助研究人员找到最优的超参数，也使它超过了其他框架。详情请参考谷歌论文《Massive Exploration of Neural Machine Translation Architectures》。
上图所示，是一个从中文到英文的 seq2seq 翻译模型。每一个时间步骤，编码器接收一个汉字以及它的上一个状态（黑色箭头），然后生成输出矢量（蓝色箭头）。下一步，解码器一个词一个词地生成英语翻译。在每一个时间步骤，解码器接收上一个字词、上一个状态、所有编码器的加权输出和，以生成下一个英语词汇。雷锋网提醒，在谷歌的执行中，他们使用 wordpieces 来处理生僻字词。
据雷锋网了解，除了机器翻译，tf-seq2seq 还能被应用到其他 sequence-to-sequence 任务上；即任何给定输入顺序、需要学习输出顺序的任务。这包括 machine summarization、图像抓取、语音识别、对话建模。谷歌自承，在设计该框架时可以说是十分地仔细，才能维持这个层次的广适性，并提供人性化的教程、预处理数据以及其他的机器翻译功能。
谷歌在博客表示：
“我们希望，你会用 tf-seq2seq 来加速（或起步）你的深度学习研究。我们欢迎你对 GitHub 资源库的贡献。有一系列公开的问题需要你的帮助！”
GitHub 地址：https://github.com/google/seq2seq
GitHub 资源库：https://google.github.io/seq2seq/nmt/
一窥谷歌神经机器翻译模型真面貌 其底层框架开源相关推荐
- 不用看数学公式！图解谷歌神经机器翻译核心部分：注意力机制
乾明 编译整理 量子位 出品 | 公众号 QbitAI 注意力(Attention)机制,是神经机器翻译模型中非常重要的一环,直接影响了翻译的准确度与否. 可以这么说,没有注意力机制,机器翻译的水平只 ...
- 可视化神经机器翻译模型（基于注意力机制的Seq2seq模型）
可视化神经机器翻译模型(基于注意力机制的Seq2seq模型) 序列到序列模型是深度学习模型,在机器翻译.文本摘要和图像字幕等任务中取得了很大的成功.谷歌翻译在2016年底开始在生产中使用这样的模型 ...
- 课程学习：让神经机器翻译模型像人类一样学习
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 近些年来,神经机器翻译得到了迅速发展,在特定翻译场景下甚至可以媲美人类翻译的水平.但是,在难以收集双语数据的语言方向和专业领域的情况下, ...
- 3步实现神经机器翻译模型处理
导读:编码器和解码器模型与语言模型中的循环神经网络相似,同时训练阶段均通过遍历每个输出单词来建立动态计算图. 作者:菲利普·科恩 来源:华章计算机(hzbook_jsj) 从很多方面讲,神经翻译模型都 ...
- 在PyTorch中使用Seq2Seq构建的神经机器翻译模型
在这篇文章中,我们将构建一个基于LSTM的Seq2Seq模型,使用编码器-解码器架构进行机器翻译. 本篇文章内容: 介绍 数据准备和预处理 长短期记忆(LSTM) - 背景知识 编码器模型架构(Seq ...
- 使用fairseq从头开始训练一个中英神经机器翻译模型
前言 本文在news-commentary-v15语料上训练了中英NMT模型,并将整个流程,包括工具和数据的准备.数据的预处理.训练及解码,以及中途遇到的问题和解决方案记录在此,希望能够给予别人一些帮 ...
- 论文阅读——用于自动后编辑的单语和双语神经机器翻译模型的对数线性组合
Log-linear Combinations of Monolingual and Bilingual Neural Machine Translation Models for Automatic ...
- 实践：动手搭建神经机器翻译模型
我们现在几乎每天都会用到翻译软件,无论是看论文看源码看新闻,总是会遇见一些不熟悉不认识的单词,关于机器翻译背后的原理我们在前一篇文章中已经讲到了,今天就来动手实践一下. 在这个例子中我们会用一个很小的 ...
- nlp论文-《Neural Machine Translation by Jointly Learning to Align and Translate》-基于联合学习对齐和翻译的神经机器翻译（二）
1.论文整体框架 1.1 摘要 神经机器翻译的任务定义: 传统神经机器翻译所用的编码器-解码器模型的缺陷: 本文提出一种能够自动搜索原句中与预测目标词相关的神经机器翻译模型: 所提出的模型的效果: 1 ...
最新文章
- 1.6万亿参数，秒杀GPT-3！谷歌推出超级语言模型Switch Transformer，比T5快4倍
- static关键字的作用？
- Android的启动脚本–init.rc
- mysql cluster 查看最大索引数_MySQL 数据库优化，看这篇就够了
- pypi.python.org_在Pypi上发布自己的Python包
- 译文 | 与TensorFlow的第一次接触（一）
- 不越狱 继续逆向 微信运动
- php查询对象是否有某个属性可用,JavaScript 判断对象中是否有某属性的常用方法...
- Acrel-3200远程预付费电能管理系统在福安东百城的应用
- WIN10超级终端下载链接及使用教程
- 动态二级下拉菜单html,jquery实现漂亮的二级下拉菜单代码
- win10隐藏图标按钮消失的解决办法
- Python Turtle绘图基础（一）——Turtle简介、绘图窗体与绘图区域
- Cramér‐von Mises检验
- google sdk speech-to-text(谷歌语音转文本、谷歌语音转字幕)
- 算法导论为何被称为CLRS
- 格力电器又加薪了！人均每月加薪1000元
- 旧唐书 卷一百九十六下 列传第一百四十六下
- oracle crm系统叫什么,目前市场上的CRM系统有哪些
- realme真我V15国潮锦鲤手机：携《国家宝藏》IP筑开年之作