Abstract

本文模型基于 BERT, 是 Natural Question 数据集上的新基线. 相对原始数据集论文中的结果，在长答案和短答案任务上，F1 值分别提高 30% 和 50%.
NQ leaderboard: https://ai.google.com/research/NaturalQuestions
代码：https://github.com/google-research/language/tree/master/language/question_answering/bert_joint

Introduction

大量基本 BERT 的模型不断推进多个 NLP 任务的 SOTA, 在问答领域 SQuAD 2.0 上的表现距离已报告的人类表现仅差 2.5 F1, CoQA 上距离人类表现仅差 6 F1.

本文假设 Natural Question 是比 SQuAD 2.0 和 CoQA 更难的问题，因此可能会称为接下来的研究热点，其原因如下：

NQ 中的问题都是由出于真正的好奇心或者出于找到答案来完成其他任务的需要的人们产生的
在人们产生 NQ 中的问题之前，他们并没有见过可能包含答案的文档
NQ 中问题

A BERT Baseline for the Natural Questions相关推荐

谷歌发布自然问答数据集 Natural Questions
Google 发布用于训练和评估开放领域(Open-domain)问答系统的大型语料库 Natural Questions(NQ).该数据集包含了 30 万个自然产生的问题和对应的回答注释,每个回答都 ...
论文笔记 EMNLP 2020|Event Extraction by Answering (Almost) Natural Questions
文章目录 1 简介 1.1 动机 1.2 创新 2 方法 3 实验 1 简介论文题目:Event Extraction by Answering (Almost) Natural Questions ...
bert [unused*] 特殊符号
[1] Comparing Transformer Tokenizers https://towardsdatascience.com/comparing-transformer-tokenizers ...
bert获得词向量_BERT烹饪之法：fintune 的艺术
大数据文摘授权转载自安迪的写作间作者:ANDY BERT 预训练模型就如宰好待烹的猪,则 finetune 便是烹饪之法,猪头能用来做成香糯浓醇的烧猪头肉,猪蹄能用来做成劲道十足的红烧猪蹄,身上的梅 ...
GPT-2 论文翻译
GPT-2 论文翻译基本是机器翻译,也进行了基本的人工矫正,凑活看吧原论文:<Language Models are Unsupervised Multitask Learners> ...
2020年NLP所有领域最新、经典、顶会、必读论文
本资源整理了近几年,自然语言处理领域各大AI相关的顶会中,一些经典.最新.必读的论文,涉及NLP领域相关的,Bert模型.Transformer模型.迁移学习.文本摘要.情感分析.问答.机器翻译.文本 ...
论文阅读汇总（1）-【篇数：50】
本人学习所有系列:汇总帖这一篇文章作为精读/泛读论文的一个汇总贴. 2021-2-3开始,期待数量越来越多,方向越来越具体~ 因为篇幅的原因,一个帖子就放五十篇叭. 后面的汇总: 51-100:51 ...
Google发布超难问答数据集「自然问题」：30万对问答，BERT都达不到70分
郭一璞发自凹非寺量子位报道 | 公众号 QbitAI 世界上最大的冰盖在哪里? Google现在想到了一个办法能让AI来回答这个问题,他们开放了一个名叫自然问题(Natural Questi ...
attention seq2seq transformer bert 学习总结 _20201107
https://blog.csdn.net/weixin_44388679/article/details/102575223 Seq2Seq原理详解一文读懂BERT(原理篇) 2018年的10月1 ...

A BERT Baseline for the Natural Questions

Abstract

Introduction

A BERT Baseline for the Natural Questions相关推荐

最新文章

热门文章