【论文笔记09】Teaching Machines to Read and Comprehend
本文主要做出了两个大的贡献:
- 给出了阅读理解数据集的构造方法,并开源了两个阅读理解数据集;
- 提出了三种神经网络模型作为baseline,以方便后面的研究者进行相关的研究。
1 数据构造
主要是从新闻网站中抓取新闻作为文章,新闻的摘要去掉一个实体词成为query,被去掉的单词作为答案。为了防止模型对训练数据的过度依赖,于是将文章和问题中的实体进行匿名化和随机替换。具体见官方教程
2 三种神经网络模型
(1) Deep LSTM
从上图的结构可以看到,主要是将文章和问题进行拼接(doc|||query 或者 query||| doc),实际上都是看成一个长文本,通过多层LSTM编码,得到最后的隐藏层状态,进而进行后面的任务。
(2)Attentive Reader
这个模型将document和query分开表示,其中query部分采用了问题表示法的模型三,就是用了一个双向LSTM来encode,然后将两个方向上的last hidden state拼接作为query的表示;document这部分采用文章表示法的模型二,也就是通过单词语义向量表示文章整体语义,即用一个双向的LSTM来对文章进行编码,每个token的表示是用两个方向上的hidden state拼接而成,document的表示则是用document中所有token的加权平均来表示,这里的权重就是attention,权重越大表示回答query时对应的token的越重要。最后利用g函数来处理文章语义和问题语义。
(3)Impatient Reader
这个模型在Attentive Reader模型的基础上更细了一步,即每个query token都与document tokens有关联,而不是像之前的模型将整个query考虑为整体。具体来说,文章还是采用的文章表示法模型二,而query中每处理一个单词后,都用问题表示法的模型三来对当前问题序列进行整体语义表示,这个过程就好像是你读query中的每个token都需要找到document中对应相关的token。
3 小结
这篇论文作为阅读理解任务上的经典论文,对这个领域后来的发展推进作用挺大的。这两个数据集目前是这个领域常用的数据集;三种神经网络模型也是后面提出来的哪些模型的基础。另外,张俊林博士总结的常用文章和问题表示法真的非常清晰,已看网络结构就大概知道用的什么表示方法了。
参考文献
【1】深度学习解决机器阅读理解任务的研究进展 from 张俊林
【2】Teaching Machines to Read and Comprehend from paperweekly
【论文笔记09】Teaching Machines to Read and Comprehend相关推荐
- 论文笔记:Teaching Machine to Read and Comprehend
这篇论文可以说是阅读理解领域的奠基之作. 文中最主要的收获就是,提出的三种神经网络模型 1. Deep LSTM Reader 处理过程如图,这个图是用两层的lstm来encoder document ...
- 【博文笔记】Attentive Reader\Impatient Reader:机器阅读理解之开山之作Teaching Machines to Read and Comprehend
来源 参考博客: 机器阅读理解(看经典MRC模型与花式Attention) CNN&Dailymail:Teaching Machines to Read and Comprehend 论文: ...
- 【论文笔记09】Differentially Private Hypothesis Transfer Learning 差分隐私迁移学习模型, ECMLPKDD 2018
目录导引 系列传送 Differentially Private Hypothesis Transfer Learning 1 Abstract 2 Bg & Rw 3 Setting &am ...
- Teaching Machines to Read and Comprehend
序 看博客都说<Teaching Machines to Read and Comprehend>是机器阅读理解的开山作,今天就来好好理一波. 网上没有找到对应tensorflow的代码, ...
- 机器阅读理解之开山鼻祖Teaching Machines to Read and Comprehend
原文链接:Teaching Machines to Read and Comprehend 数据的构建 命名实体替换 例子:The BBC will be closed 将BBC替换成一个entity ...
- [论文笔记]Teaching Machines to Read and Comprehend
引言 Teaching Machines to Read and Comprehend1是阅读理解一维匹配模型和二维匹配模型的开山鼻祖. 发布了CNN&Daily Mail数据集. Atten ...
- 机器阅读理解论文必读论文(二): Teaching Machines to Read and Comprehend
本文是机器阅读理解论文的第二篇,发表于2015年.论文提出了新的训练集,即CNN和每日邮报的新闻语料库,并针对此数据集构建了新的深度学习模型.以下是对论文的部分翻译和解读 摘要: 让机器阅读自然语言文 ...
- (34)[NIPS15] Teaching Machines to Read and Comprehend
计划完成深度学习入门的126篇论文第三十四篇,DeepMind的Karl Moritz Hermann等发表的人机问答的论文. Abstract 教机器阅读自然语言文档仍然是一个难以捉摸的挑战.机器阅 ...
- Teaching Machines to Read and Comprehend翻译
摘要 教机器阅读自然语言文档仍然是一项艰巨的挑战.可以对机器阅读系统回答问题的能力进行测试,该问题基于它所看到的文档被提出,但是到目前为止,对于这种类型的评估,缺少大规模的训练和测试数据集.在这项工作 ...
最新文章
- 新兴机器学习算法:在线学习
- java biginteger位数,Java之BigInteger(面试题12:打印1到最大的n位数)
- 坦克大战 - 设计模式、BIO、NIO、AIO、Netty
- 自己动手写CPU(2)流水线数据相关问题
- 最简单的基于FFmpeg的移动端样例:IOS 视频转码器
- mac可以开发php嘛_Mac自带PHP开发环境的简易使用
- 判断回文(Java和JavaScript)
- Facebook 游戏开发更新文档 API 参考文档 v5.0
- 2014年10月30日-----SQL的基础知识
- C#的set 和 get 方法
- 【笔记】如何配置kvm桥接网络
- 超过2t硬盘分区_大于2T的磁盘怎么分区呢?
- 零基础做一个微信答题小程序(三)
- 宝塔面板+腾讯云轻量应用服务器部署fiora聊天室
- 逍遥模拟器连接不到android,逍遥模拟器不能连上网怎么办?两招解决问题
- Excel基础学习(2013及以上版本)
- 非静压模型NHWAVE学习(7)——波浪变形模拟算例学习(Wave transformation over an elliptical shoal)
- 基于JAVA教学质量评价系统_java毕业设计_springboot框架的教学质量评价系统
- 详解公链,侧链,联盟链,私有链
- 7-5 超市奖票兑换 (10 分)
热门文章
- C#进程间通信的几种方式:管道通信
- Recap Language Model (LM) -- 自然语言处理中的预训练,对于Bert、ELMO、GPT的一些思考
- 《心流》| 精神熵和负熵
- Bluetooth 蓝牙介绍(四):低功耗蓝牙BLE Mesh网络Ⅲ —— 广播 PDU
- 谷歌文档_如何比较Google文档中的文档
- 数据分析——AARRR模型
- 户外便携吹尘器方案浅析
- docker安装和入门教程
- FoodDelivered-Robot---送餐机器人(六)模块驱动代码---IO采集部分
- 基于Halcon学习的车牌识别【一】