本文（《三种提升一对多多语言翻译策略》）是搜狗和中科院自动化所合作发表在 EMNLP 2018 上的工作。搜狗翻译目前采用业界领先的神经网络机器翻译框架支持 60 种以上不同语言之间的互译，考虑到当前支持单一语言对的翻译模型需要较大规模存储和计算资源，而支持一对多多语言翻译模型虽然能较好的解决资源占用却面临着翻译质量不高的问题，所以搜狗翻译对实现和优化多语言翻译模型存在客观需要。

论文方法

当前主流的一对多的多语言翻译模型在该研究之前还存在一定的不合理性。 这种不合理性主要体现在不同语言都包含其特有的语义信息和句法结构，用同一套分布式向量表征会导致模型存在相应的偏差。

鉴于此，该工作提出了三种策略，改进了多语言翻译框架来提升多语言神经翻译模型的翻译质量。

▲ 图1. “一到多”多语言翻译示意图

该策略首先将目标端句子初始位置加上表征翻译方向的标签，指示翻译生成的方向。其次，考虑对于不同的语言而言，结构具有不一致性，这里针对不同的语言尝试使用不同的位置向量来表征相应的时序信息。该工作对比了绝对位置和相对位置两种不同的建模方式。

最后，由于神经网络结构的隐层向量包含着语义信息和句法结构，区别于使用同一套隐层单元表示不同的语言，该策略采用了共享和特有的方式，其中共享一部分隐层向量表征不同语言的共性，而其他部分隐层向量用来表示不同语言特有的属性。

▲ 图2. 解码器网络隐层状态表示图。其中，蓝色表示共享的单元，黄色、绿色、红色分别表示不同具备不同语言特征的隐层单元。

实验结果

该工作是针对当前多语言翻译模型的表征问题来提升多语言翻译性能的一次尝试，将不同语言特有属性融合到翻译模型当中，取得了显著的提升。

▲ 表1. 我们的方法在中英日和英德法两个翻译任务上的表现。其中，Indiv表示仅包含双语句对的模型翻译结果。O2M是我们复现的谷歌多语言翻译模型，作为基线系统。①， ②和 ③分别代表我们提出的三种不同的策略。

▲ 图3. 不同共享隐层单元数的比较

点击以下标题查看更多往期内容：

• 自动机器学习（AutoML）最新综述

• 自然语言处理中的语言模型预训练方法

• 从傅里叶分析角度解读深度学习的泛化能力

• 深度解读DeepMind新作：史上最强GAN图像生成器

• 两行代码玩转Google BERT句向量词向量

• 这16篇最新论文，帮你轻松积攒知识点

• TensorSpace：超酷炫3D神经网络可视化框架

• NIPS 2018：基于条件对抗网络的领域自适应方法

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？ 答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site

• 所有文章配图，请单独在附件中发送

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

?

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文