云从科技上交大提出DCMN+ 模型，在多项阅读理解数据集上成绩领先

2020 年 2 月 7 日-2 月 12 日，AAAI 2020 将于美国纽约举办。不久之前，大会官方公布了今年的论文收录信息：收到 8800 篇提交论文，评审了 7737 篇，接收 1591 篇，接收率 20.6%。本文介绍了由云从科技与上海交大合作的论文《DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension》。

链接：https://arxiv.org/pdf/1908.11511.pdf

在那些寒窗苦读的学生时代，你一定碰见过阅读理解，它需要融会贯通进行主观陈述和作答，是让无数考生头疼的题目。继智能系统在围棋、国际象棋、游戏等领域超越人类后，「阅读理解」也成为了机器的「苦恼」。

在此 AAAI 2020 论文中，云从科技和上海交大针对 RACE 多项选择题提出增强的 DCMN+模型。

据介绍，DCMN+是年初论文作者们提出的 DCMN 增强模型，针对多项选择型机器阅读理解，以大规模预训练模型（如 BERT 等）作为前端编码器，在多个多项选择型机器阅读理解任务（如卡耐基梅隆大学的 RACE）上取得了最先进的水平，另外 DCMN 也适用于其他简单分类任务。

与其他技术相比，其显著特征是双向匹配策略，其他现有模型的匹配策略都是单向的，比如在文章-问题（P-Q）建模时，现有技术只有问题（Q）在文章（P）上的映射匹配，没有文章（P）在问题（Q）上的映射匹配，而 DCMN 则集成了两个方向的匹配信息。此外，还集成了文章中句子筛选-从文章（P）中筛选出与问题相关的句子用于推理，答案选项交互-引入选项之间比较信息两种阅读策略，进一步提升了模型的性能。

以下是对此论文的技术解读。

1 任务描述

本文主要聚焦多项选择型机器阅读理解，它的形式类似于英语考试中的阅读理解（选择题），给定一篇文章，通过阅读并理解文章（Passage），针对提出的问题（Question）从选项中选择正确的答案（Answers）。其中典型的数据集是卡内基-梅隆大学发起的大型深层阅读理解任务数据集 RACE（ReAding Comprehension dataset collected from English Examinations），它来源于中学考试题目的大规模阅读理解数据集，包含了大约 28000 个文章以及近 100000 个问题。除了 RACE，我们还在 SemEval-2018 Task11, ROCStories，MCTest 以及 COIN Task1 等类似多项选择型数据集上测试了我们的模型。

一个典型的多项选择型机器阅读理解的例子

2 模型框架

本文提出的 DCMN+主要包含三个模块：1）文章中句子筛选，从文章（Passage）中筛选出与问题相关的句子用于推理；2）答案选项交互，引入选项之间比较信息；3）双向匹配策略，充分利用 Passage，Question 与 Answers 之间的交互信息，作对称双向匹配。

整体模型框架，三个模块：Sentence Selection, Option Interaction 和 Bidirectional Matching

2.1 编码器

本文直接以预训练完的语言模型作为前端编码器，例如 BERT 以及 XLNet，分别编码 Passage，Question 及 Answers。

2.2 文章句子选择（Passage Sentence Selection）

为从文章中选择出与问题最相关的句子，我们分别计算了文章中每个句子与问题-选项对的相似度，选出最为相关的 K（超参数）个句子，输入到模型的以后部分作为推理依据。具体计算句子间相似度的方式有两种：余弦距离与双线性距离。

余弦距离：逐个计算文章中句子与问题-选项对中单词间的距离，取其平均值作为相似度分数：

双线性距离：通过计算文章句子与问题选项对的双线性匹配分数，然后通过线性降维来得到最后的分数：

2.3 答案选项交互（Answer Option Interaction）

通过引入答案选项之间的比较信息，使得每个答案融入了相对于其他答案的比较信息，从而每个答案选项不在是孤立的，具体计算方式是引入每对选项之间的双线性比较信息，最后使用门控机制与原始的选项信息融合。

2.4 双向匹配策略（Bidirectional Matching）

计算 Passage-Question-Answers 三元组中所有的两两二元组的双向匹配信息，即 P-Q，P-A，Q-A。接下来以 Q-A 之间的匹配方式作为说明：问题及答案选项分别被编码为 H^q 以及 H^a，则 Q-A 间的双向匹配表示 M^qa 可以用以下方式计算：

2.5 目标函数

得到文章，问题，答案选项之间双向匹配表示

之后，我们把它们串联起来过一层全连接线性层去预测最后的答案，如果 A^k 是正确的答案选项，Loss 可以计算如下：

3 实验结果

我们在各个多项选择数据集上均取得了最先进的成绩，包括 RACE，SemEval-2018 Task11, ROCStories，MCTest 以及 COIN Task1。

在 RACE 上的结果比较，我们取得了最高的成绩

在 SemEval-2018 Task11, ROCStories，MCTest 以及 COIN Task1 的成绩，我们均取得了最高的成绩

DCMN+模型在 RACE、SemEval-2018 Task11、 ROCStories、MCTest 以及 COIN Task1 不同数据集上均取得了最高成绩。

在 RACE 上的结果比较，取得最高成绩

在 SemEval-2018 Task11, ROCStories，MCTest 以及 COIN Task1 上，也均获得最高成绩

云从科技上交大提出DCMN+ 模型，在多项阅读理解数据集上成绩领先相关推荐

domain gap(域间隙)是什么？==＞在一个数据集上训练好的模型无法应用在另一个数据集上
不同数据集之间存在domain gap,在一个数据集上训练模型,在另外一个数据集上进行预测性能下降很大 re-id(视频行人重识别问题) 现有公开的数据集与真实场景存在很大不同,不同re-id的数据集 ...
机器也学会如何做「阅读理解」了？云从科技上交大提出的DCMN+ 模型为你解答！！！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 转自机器之心 2020 年 2 月 7 日-2 月 12 日,AAAI 2020 ...
比RNN快136倍！上交大提出SRNN，现在RNN也能做并行计算了
比RNN快136倍!上交大提出SRNN,现在RNN也能做并行计算论文和开源代码地址: https://arxiv.org/pdf/1807.02291.pdf https://github.com/ ...
【CVPR 2020】弱监督怎样做图像分类？上交大提出自组织记忆网络
点击上方"视学算法",选择"星标"公众号重磅干货,第一时间送达本文转载自机器之心近日,计算机视觉顶会 CVPR 2020 接收论文结果公布,从 6656 ...
CVPR | 让合成图像更真实，上交大提出基于域验证的图像和谐化
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达近日,计算机视觉顶会 CVPR 2020 接收论文结果公布,从 6 ...
【CVPR 2020】让合成图像更真实，上交大提出基于域验证的图像和谐化
本文转载自机器之心(公众号ID:almosthuman2014),未经许可请勿二次转载. 近日,计算机视觉顶会 CVPR 2020 接收论文结果公布,从 6656 篇有效投稿中录取了 1470 篇论文 ...
机器阅读理解首次超越人类！云从刷新自然语言处理新纪录
媒体动态发展历程资质荣誉人才招聘机器阅读理解首次超越人类!云从刷新自然语言处理新纪录 2019-03-11 10:06 浏览:454 近日,云从科技和上海交通大学在自然语言处理领域取得重大突破,在卡 ...
京东AI研究院获QuAC机器阅读理解竞赛冠军，EL-QA模型能力业界领先
来源:机器之心本文约2000字,建议阅读8分钟京东提出的 EL-QA 模型(登顶 QuAC Leaderboard,全部三项指标均获得第一名. [ 摘要 ]近日,在斯坦福大学.华盛顿大学.Alle ...
RACE数据集上相关的研究
根据引用RACE的文献,看看RACE数据集都被用来做了什么事情主要分为以下几个方面: 1 一些预训练模型的优化与研究. MPNet: Masked and Permuted Pre-training ...

云从科技上交大提出DCMN+ 模型，在多项阅读理解数据集上成绩领先

云从科技上交大提出DCMN+ 模型，在多项阅读理解数据集上成绩领先相关推荐

最新文章

热门文章