作者 | Ben Dickson

译者 | 刘旭坤

编辑 | Jane

出品 | AI科技大本营

近年来随着深度学习和神经网络技术的发展，机器翻译也取得了长足的进步。神经网络结构越来越复杂，但我们始终无法解释内部发生了什么，“黑箱问题”一直困扰着我们。我们不清楚程序在翻译过程中如何进行决策，所以当翻译出错时也很难改正。随着深度学习在各行各业中的广泛应用，深度学习的不可解释性已经成为其面临的严峻挑战之一。

今年，在德国柏林举办的 IEEE VAST 可视化分析大会上，来自 IBM 和哈佛大学的研究人员展示了为解决翻译中的 AI 黑盒问题所开发的调试工具。这款名为 Seq2Seq-Vis 的工具能将人工智能的翻译过程进行可视化，方便开发人员对模型进行调试。

Seq2Seq-Vis 主要针对机器翻译中最常用的 Seq2Seq 模型。这一模型能够将任意长度的序列，也就是原文的句子，映射到目标语言。除了机器翻译任务，在自动问答、文本摘要等任务中也都主要应用 Seq2Seq 模型。

简单来说，Seq2Seq 模型在机器翻译中的工作原理就是把源语言映射到目标语言，得到了目标语言的序列（也就是初步翻译完的句子）后再进行优化，保证语法和语义上的正确。虽然使用神经网路模型后，机器翻译的结果得到了很大的提升，但同时也非常复杂。

可视化机器翻译的过程

研究人员称研发 Seq2Seq-Vis 的初衷是想有一个类似于基于规则的传统翻译软件中的规则表，这样开发人员可以通过在规则表中对照得到错误信息就可以很简单地修改模型。

Seq2Seq-Vis.io 网站上给出了一个从德语到英语的演示程序。德语的“die längsten reisen fangen an , wenn es auf den straßen dunkel wird.”翻译成英语应该是“The longest journeys begin when it gets dark in the streets.”，但被机器翻译成了“the longest travel begins when it gets to the streets.”Seq2Seq-Vis 以可视化的方式呈现出了序列到序列模型翻译的每一步，这样用户就能像查找规则表一样来找出机器翻译翻译错误的原因。

Seq2Seq-Vis 另一个很有用的功能是它能找出与某个字词相关的训练集，这也是解决 AI 黑盒问题的一大难点。其实一个机器学习模型除了训练集一无所知，所以要解决机器翻译中的错误最终都要回到训练集中去。

将机器翻译过程可视化，用户就能确定翻译出错到底是编码器解码器使用的训练样本出了错还是注意力模型的设置或者其他环节出错了。

更正序列到序列模型

Seq2Seq-Vis 并不是第一个试图解决 AI 黑盒问题的工具，之前有很多大公司和研究机构都有进行尝试，甚至 IBM 自己也在这上面下过功夫。事实上，很多类似的工具需要的信息比 Seq2Seq-Vis 更少，比如有的工具只需要神经网络的输出就可以，而 Seq2Seq-Vis 还需要训练集，整个模型的架构和设置。但 Seq2Seq-Vis 却是第一个既能可视化模型的决策过程也能让开发人员直接修改模型的工具。开发人员可以通过可视化的方式对模型的决策过程进行修改并观察反馈来实现探索式的调试，比如修改输出序列的单词或者对注意力模型的配置进行修改。

听起来是不是很酷，不过 Seq2Seq-Vis 的目标群体是模型架构师或工程师而非机器翻译的终端用户。因为要让这一工具真正发挥作用需要用户对“序列到序列”模型有较为深入的了解。虽然目标这一工具还只是应用在IBM的内部项目中，但它是开源的，所以大家都可以来试试。

• 项目地址：http://seq2seq-vis.io

• Github地址：https://github.com/HendrikStrobelt/Seq2Seq-Vis

• 原文地址: https://venturebeat.com/2018/11/01/ibm-harvard-develop-tool-to-tackle-black-box-problem-in-ai-translation/

本文由AI科技大本营翻译，转载请联系微信1092722531

2018 中国大数据技术大会

◆

BDTC 2018

◆

BDTC 2018中国大数据技术大会携主题“大数据新应用”再度强势来袭。本次大会由华东师范大学副校长、教授周傲英，百度商业智能实验室主任熊辉，阿里巴巴副总裁李飞飞三位会议主席对大会内容把关，多位两院院士参与指导，由最了解行业痛点的一线从业者为同行打造。

八折优惠仅最后一天，扫描二维码一键抢票，预定属于你的超强干货。点击「阅读原文」查看大会详情。

推荐阅读

程序员的江湖 务必掌握这些黑话！

高达800万次下载量的npm包被黑客篡改了代码，你的设备或正成为挖矿机