谷歌今天宣布开源 tf-seq2seq，这是一个用于 Tensorflow 的通用编码器-解码器框架，可用于机器翻译、文本总结、会话建模、图说生成等任何序列到序列的任务。

2016年，我们宣布了谷歌神经机器翻译（GNMT），一个序列到序列（“seq2seq”）模型，现在用于谷歌翻译商用系统。虽然 GNMT 在翻译质量方面取得了巨大的进步，但影响却十分有限，主要是外部研究人员无法使用这一框架训练模型。

今天，我们很高兴向大家介绍 tf-seq2seq，这是一个TensorFlow开源代码seq2seq框架，使用seq2seq模型可以很容易地进行实验，并获得最先进的结果。为此，我们使tf-seq2seq代码库干净（clean）和模块化，记录了完整的测试情况和所有功能。

我们的框架支持标准seq2seq模型的各种配置，如编码器/解码器的深度（depth of the encoder/decode），注意力机制，RNN单元类型或 beam 大小。这种多功能性使我们能够发现最佳的超参数并且在性能上优于其他框架，如我们的文章《神经机器翻译架构的大规模探索》（Massive Exploration of Neural Machine Translation Architectures）所述。

论文地址：https://arxiv.org/abs/1703.03906

从汉语普通话到英语的seq2seq模型。在每个时间步长中，编码器接收一个汉字和自己以前的状态（黑色箭头表示），并产生一个输出向量（用蓝色箭头表示）。然后，解码器逐个生成英文翻译，每一步都会综合考虑最后一个字、先前的状态和编码器的所有输出的加权组合（也就是注意力[3]，用蓝色标记），然后产生下一个英文单词。我们在实现中，使用 wordpieces[4]处理罕见的单词。

除了机器翻译之外，tf-seq2seq还可以应用于任何其他的序列到序列任务（即，学习产生给定输入序列的输出序列），包括机器文本总结（machine summarization）、图说生成、语音识别和会话建模（conversational modeling）。我们仔细设计了框架来保持其通用性（generality），并提供教程，预处理数据和其他机器翻译实用程序。

希望使用 tf-seq2seq能加速（或开始）你自己的深度学习研究。也欢迎你对我们的GitHub库做贡献。

Github 库：https://github.com/google/seq2seq

参考资料：

[1] Massive Exploration of Neural Machine Translation Architectures, Denny Britz, Anna Goldie, Minh-Thang Luong, Quoc Le

[2] Sequence to Sequence Learning with Neural Networks, Ilya Sutskever, Oriol Vinyals, Quoc V. Le. NIPS, 2014

[3] Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio. ICLR, 2015

[4] Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Technical Report, 2016

[5] Attention and Augmented Recurrent Neural Networks, Chris Olah, Shan Carter. Distill, 2016

[6] Neural Machine Translation and Sequence-to-sequence Models: A Tutorial, Graham Neubig

[7] Sequence-to-Sequence Models, TensorFlow.org

原文链接：https://research.googleblog.com/2017/04/introducing-tf-seq2seq-open-source.html

谷歌开源 tf-seq2seq，你也能用谷歌翻译的框架训练模型相关推荐

谷歌开源的 GAN 库--TFGAN
本文大约 8000 字,阅读大约需要 12 分钟第一次翻译,限于英语水平,可能不少地方翻译不准确,请见谅! 最近谷歌开源了一个基于 TensorFlow 的库–TFGAN,方便开发者快速上手 GAN ...
继Facebook开源PyTorch3D后，谷歌开源TensorFlow 3D场景理解库
来源:机器之心本文约2000字,建议阅读5分钟谷歌于近日开源了一个基于 TF 框架的高度模块化和高效处理库 TensorFlow 3D. 继 2020 年初 Facebook 开源基于 PyTorch ...
重磅！谷歌开源TensorFlow 3D场景理解库
来源丨机器之心编辑丨杜伟.陈萍继 2020 年初 Facebook 开源基于 PyTorch 的 3D 计算机视觉库 PyTorch3D 之后,谷歌也于近日开源了一个基于 TF 框架的高度模块化和 ...
继 Facebook 开源 PyTorch3D 后，谷歌开源 TensorFlow 3D 场景理解库
转自:机器之心 [导语]:继 2020 年初 Facebook 开源基于 PyTorch 的 3D 计算机视觉库 PyTorch3D 之后,谷歌也于近日开源了一个基于 TF 框架的高度模块化和高效处理 ...
谷歌开源新模型EfficientNet，或成计算机视觉任务新基础
作者 | Mingxing Tan,Quoc V. Le,Google AI 译者 | 刘畅责编 | 夕颜出品 | AI科技大本营(id:rgznai100) 开发一个卷积神经网络(CNN)的成本 ...
150亿参数，谷歌开源了史上最大视觉模型V-MoE的全部代码
来源:机器之心本文共2400字,建议阅读5分钟本文为你介绍谷歌开源史上最大视觉模型V-MoE的全部代码. 还记得谷歌大脑团队去年 6 月份发布的 43 页论文<Scaling Vision ...
谷歌开源EfficientDet：实现新SOTA，又快又准的目标检测器
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 来源:机器之心@微信公众号什么检测器能够兼顾准确率和模型效率?如何才能实现? 去 ...
AutoML大提速，谷歌开源自动化寻找最优ML模型新平台
为了帮助研究者自动.高效地开发最佳机器学习模型,谷歌开源了一个不针对特定领域的 AutoML 平台.该平台基于 TensorFlow 构建,非常灵活,既可以找出最适合给定数据集和问题的架构,也能够最小 ...
谷歌开源 TFGAN，让训练和评估 GAN 变得更加简单
作者:思颖概要:训练神经网络的时候,通常需要定义一个损失函数来告诉网络它离目标还有多远. 三年前,蒙特利尔大学 Ian Goodfellow 等学者提出「生成式对抗网络」(Generative Ad ...

谷歌开源 tf-seq2seq，你也能用谷歌翻译的框架训练模型

谷歌今天宣布开源 tf-seq2seq，这是一个用于 Tensorflow 的通用编码器-解码器框架，可用于机器翻译、文本总结、会话建模、图说生成等任何序列到序列的任务。

谷歌开源 tf-seq2seq，你也能用谷歌翻译的框架训练模型相关推荐

最新文章

热门文章