2020.07.08_Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering

论文简述：
BERT模型已成功地应用于开放域QA任务。然而，以往的工作是通过观察与独立训练实例相同的问题对应的段落来训练BERT，这可能会导致不同段落的答案得分存在不可比性。为了解决这个问题，本文提出了一个多通道的BERT模型来对同一问题的所有段落的答案得分进行全局标准化，这种变化使得我们的QA模型能够通过使用更多的段落找到更好的答案。此外，我们还发现，通过滑动窗口将文章拆分成100字的段落，可以将性能提高4%。通过利用一个通道ranker来选择高质量的通道，多通道BERT获得额外的2%提高。

翻译标准： article，指的是一整篇文章，粒度最大，翻译为篇章 passage，本文指的是篇章的中的一个段落，粒度稍小，统一翻译为文章
paragraph，跟passage类似，粒度应该更小点。翻译为段落。

模型：

bert-Rc：每个passage都是独立进行预测，但不可比较。
multi-passage bert：通过使用滑动窗口机制来划分篇章为（article）很多个100字的passage，然后进行全局的归一化，得到答案相关的所有文章的得分。
排序机制：然后排序模块是高质量的文章进行召回，用预测文章与答案的相关性，然后再进入softmax排序。最后出结果

？？？这里的高质量文章怎么评判的？(前30个)

实验：

滑动窗口效果实验
粒度
排序模块的效果
全局标准化的效果

https://zhuanlan.zhihu.com/p/93402967

2020.07.08_Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering相关推荐

论文阅读Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
利用段落检索和生成模型进行开放域问答 ACL 2021 论文地址摘要: 开放域问答的生成模型已被证明具有竞争力,无需借助外部知识.虽然这种方法很有前途,但它需要使用具有数十亿个参数的模型,这些参数的 ...
2020.07 学习日记
废话寒假到现在,在家里玩了5个月,来学校又玩了大半个月.以为会做点东西了就什么都懂了,竟然没做准备就投了字节秋招提前批.结果被挂了之后,又被捞起来面试.可以说十分幸运了,但机会都是留给有准备的人 2 ...
第十弹：网络公开课，免费学习资源，2020.07.05更新
第十弹:网络公开课,免费学习资源,2020.07.05更新按照个人兴趣整理的网络公开课资源导航网址:http://www.trochilidaetechnology.com/ 以下为[网络公开课]领 ...
猎人手游最新服务器,【猎人mm服务端】2020.07月升级經典手工制作搭建网游服务器...
[猎人mm服务端]2020.07月升级經典手工制作搭建网游服务器修改标的物的设置,并修改标的物的销售和价格.修改精制道具的价格,并与掉落的道具统一. 无人岛的经验值增加了紫圣诞鹿(经验值是圣诞怪物的 ...
312戳气球——力扣算法系列2020.07.19 Python
第25天 2020.07.19 周日难度系数:困难题目:有n个气球,编号为0到n-1,每个气球上都标有一个数字,这些数字存在数组nums中. 现在要求你戳破所有的气球.如果你戳破气球i,就可以获得 ...
【论文阅读】Dense Passage Retrieval for Open-Domain Question Answering
Comment: EMNLP 2020 一句话总结任务:开放域问答中的retriever,从海量文本中选出与问题接近的文本. 方法:采用正负样本对对比学习的方法,使得相关问题与文本对拉近,不相关的拉 ...
acl 2020 Question Answering
文章目录 2020 Fluent Response Generation for Conversational Question Answering PLATO: Pre-trained Dialog ...
预训练模型：BERT深度解析《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
目录 1. 背景 2. 什么是 Bert 及原理? 3. 论文内容<BERT: Pre-training of Deep Bidirectional Transformers for Langu ...
BERT |（3）BERT模型的使用--pytorch的代码解释
参考代码:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch 从名字可以看出来这个是做一个中文文本分类的的任务, ...

2020.07.08_Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering

模型：

实验：

2020.07.08_Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering相关推荐

最新文章

热门文章