《Reading Wikipedia to Answer Open-Domain Questions》浅析
前言：
本人所写博客主要目的是记录之用，不免显得琐碎唠叨，不过分享出来如果能有只言片语帮到大家也是极好的。若您觉得一无所获，请及早退出，若有想法进一步交流，可评论。（原谅我没有时间排版）
这是陈丹琦博士（四舍五入可以算作学姐了？）的论文。
论文地址http://aclweb.org/anthology/P17-1171
论文名称：通过阅读维基百科来回答开放性问题。
1.维基不像其他的kb数据库那样方便计算机处理，（kb中的关系对于open-domin的问答很稀疏，并不好用）
2.定义一个过程叫做machine reading at scale (MRS):In order to answer any question, one must first retrieve the few relevant articles among more than 5 million items, and then scan them carefully to identify the answer.
3.像 IBM’s DeepQA，它其实是依赖于大量的知识，不仅仅是维基，还包括文章、新闻等。但是我们现在想通过单一的信息来源，比如维基，获取答案，这就要求机器一定能读懂文章，而不是简单的信息检索。
4.现有的一些数据集，比如SQUAD，它们的设置是答案就在给定的一小段文本中，这就有点easy了。现有的模型已经能够做得很好。
5.我们的模型分为两部分：Document Retriever和 Document Reader，其中Retriever已经优于维基内置的搜索引擎。并且我们的效果经过了多个数据集的检验，重点是我们用了multitask learning。
那么什么是multitask learning呢？
https://zhuanlan.zhihu.com/p/27421983该文章讲的很详细，总结来说就是 主任务（main tasks）使用相关任务（related tasks）的训练信号（training signal）所拥有的领域相关信息（domain-specific information），做为一直推导偏差（inductive bias）来提升主任务（main tasks）泛化效果（generalization performance）的一种机器学习方法。
6.回到论文中来，Document Retriever这里没有详细说明，大概方法是“A simple inverted index lookup followed
by term vector model scoring performs quite well on this task for many question types”，并且已经优于维基内置的搜索引擎。最后返回大概5篇与问题有关的文章，重点在第二部分 Document Reader。
7.这里公式较为复杂，真想研究可以看论文，认真读可以看懂。最后选择出正确答案的方法论是：找到某个位置i，使得Pstart(i)×Pend(i0)的概率最大， （i ≤ i0 ≤ i + 15），这里Pstart（i）指的是位置i是答案开头的概率。
8.还有一点要提的是SQUAD数据集有个好处，它不仅给出了“问题-答案”对，还给出了相对应的维基中的文本，这就很适用于训练DRQA这个模型。但是其他一些数据集如WEBQUESTION,没有给出对应文本。这里作者用了远程监督的方式自动产生文本，并作为训练材料 。
9.performance
10.结论与不足
本文真的用了很多综合的方法：“ Our method integrates search, distant supervision, and multitask learning to provide an effective complete system. ”，具有一定开创性。
不足在于当前DRQA的训练还停留在单个paragraph,没有利用多段之间的信息。
《Reading Wikipedia to Answer Open-Domain Questions》浅析相关推荐
- unix domain socket 浅析
unix domain socket unix domain socket 是在socket架构上发展起来的用于同一台主机的进程间通讯(IPC: Inter-Process Communication ...
- EMNLP 2020 | 基于超边融合的文本增强知识图谱开放域问答
©PaperWeekly 原创 · 作者|舒意恒 学校|南京大学硕士生 研究方向|知识图谱 论文标题: Open Domain Question Answering based on Text Enh ...
- Reading Comprehension必读paper汇总
文章目录 Must-read papers on Machine Reading Comprehension. Model Architecture Utilizing Extenal Knolwed ...
- 【论文阅读】开放域问答论文总结，文本召回与问答的另一种思路
[论文总结]开放域问答,纯文本召回与精排的另一种思路 前言 SCIVER: Verifying Scientific Claims with Evidence 任务介绍 数据样例 开放域问答 Read ...
- Facebook刷新开放域问答SOTA：模型训模型！Reader当Teacher！
文 | Sherry 不是小哀 编 | 小轶 一部问答系统发展史就是一部人工智能发展史.早在1950年的图灵测试就提出:如果人类无法通过问答将机器和人区分开,那么这个机器就可以被认为具有智能.问答系统 ...
- 论文浅尝 | 利用知识-意识阅读器改进的不完整知识图谱问答方法
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答. 来源:ACL2019 链接:https://www.aclweb.org/anthology/P19-1417/ 本文提出了一种融合不完整 ...
- 自然语言处理nlp全领域综述
************************* 精华总结,时间不够只看这个部分就行了 1.书和课 Michael Collins:COMS W4705: Natural Language Proc ...
- CS224N WINTER 2022 （六）前沿问题探讨（QA、NLG、知识集成与检索、Coreference）
CS224N WINTER 2022(一)词向量(附Assignment1答案) CS224N WINTER 2022(二)反向传播.神经网络.依存分析(附Assignment2答案) CS224N ...
- 【CS224n】(lecture11)Question Answering
学习总结 (1)陈丹琦讲到自己17年在DrQA问答系统,也算是领航人,将Open-domain (textual) question answering分为两部分:Retriever和Reader部分 ...
最新文章
- vim 插件_vim插件YouCompleteMe配置
- 剑指OFFER之二维数组中的查找（九度OJ1384）
- C++primer CH12智能指针
- final+static
- VC++判断是否连网
- 网站部署后Parser Error Message: Could not load type 的解决方案
- pytorch读取单通道图片
- Flume的Source
- 可以用来做ppt的网页效果
- 【linux所有命令——复习】
- linux本地检测如何tomcat是否启动成功tomcat端口检测
- 微信公众平台开发中提示“该公众号提供的服务出现故障”问题解决
- php如何删除数据mysql数据库_php数据库如何删除数据
- 版本管理工具 SVN和git
- RPLIDAR十分钟极速入门教程
- word打开文档很久很慢_word文档 excel文档打开速度比较慢怎么办
- java迁移框架_Java敏捷数据库迁移框架——Flyway
- Android中TextView加横线的属性
- Eclipse创建java web工程
- Vue使用keep-alive，调用 $destory() ，页面不再被缓存的解决方法