ACL 2021 Question Answering

1. Few-Shot Question Answering by Pretraining Span Selection

为了消除预训练与抽取式问答任务微调之间的GAP，设计了一种新的预训练方式：Recurring Span Selection。简单来说，就是利用一段文本中重复出现的span，比如下图中的"Roosevelt"，选取其中一个"Roosevelt"作为答案，其他的使用[QUESTION]代替，预训练时使用[QUESTION]的输出来寻找答案"Roosevelt"的位置。微调时采用"文本[SEP]问题[QUESTION]"的输入形式，同样是使用[QUESTION]的输出来寻找答案"Roosevelt"的位置。
小样本情况下，效果比Roberta、SpanBert好
使用了为小样本学习设计的带有偏差校正矩估计的Adam优化器（ICLR 2021）

2. A Neural Model for Joint Document and Snippet Ranking in Question Answering for Large Document Collections

联合了文档重排序和段落重排序，首先使用传统IR检索引擎检索top-N文档，然后使用模型对文档中所有段落进行打分，取出文档中得分最高的段落分数，与手工定制的文档特征拼接送入全连接层，得到每个文档的得分，再根据文档得分重写段落得分。模型结构如下：
分别计算两个损失：文档损失（hinge loss）和段落损失（cross entropy loss），总损失为这两损失的加权和。
使用了BIOASQ 7 (2019) 数据集，其中包含 2747 个问题，平均每个问题有 11 个黄金文档和 14 个黄金片段。以及使用了修改后的Natural Questions 数据集。
使用了一个可以和BERT掰手腕的轻量级模型——PDRMM，其模型结构如下：
PDRMM的几个要素：
- 三种embedding：word2vec、经卷积网络变换后的word2vec，onehot；分别采用这三种embedding对查询q（token数量为m）和文档d（token数量为n）做相似度计算，得到三个相似度矩阵 m x n；
- 三种pooling：max-pooling，average-pooling，average-k-max（对最大的k个值取平均）；分别对三个矩阵的每一行采用这三种pooling，得到三个 m x 3 的矩阵，将这3个矩阵拼接，得到一个 m x 9 的矩阵；
- 候选匹配得分：由上述 m x 9 矩阵经过MLP层得到，大小为 m x 1；
- 查询q中每个token的权重：将他们的IDF得分与经卷积网络变换后的word2vec拼接，送入MLP层，得到每个token的权重，使用权重将候选匹配得分加权求和；
- 额外的手工文档特征：比如z-score归一化后的BM25得分；d和q完全匹配的token占d中总token的比例；完全匹配的bi-grams的比例。所有的手工特征与上述求和得到的匹配得分拼接，送入MLP得到最终的文档匹配得分。

3. Addressing Semantic Drift in Generative Question Answering with Auxiliary Extraction

使用生成模型的encoder提取与答案最为相关的片段（论文中将其称为 Rationale Span，与标准答案相比，F1分数最高的 span 即确定为 Rationale Span），在encoder最后一层添加全连接层和sigmoid函数对每个token进行二分类，Rationale Span 为1，否则为0；使用二分类交叉熵 $L_{RE}$ 作为损失函数。
使用生成模型的decoder进行答案生成，使用负对数似然 $L_{GEN}$ 作为损失函数。
总的损失为 $L_{RE} + \beta L_{GEN}$ ，在训练过程中，线性地衰减 $β\beta$ 的值。
使用了MS MACRO数据集。

ACL 2021 Question Answering相关推荐

acl 2020 Question Answering
文章目录 2020 Fluent Response Generation for Conversational Question Answering PLATO: Pre-trained Dialog ...
论文阅读笔记（五）【ACL 2021】Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip P
通过生成性证据融合和往返预测回答模糊问题关键词: 生成性证据融合: 往返预测: 模糊问题摘要一般的开放域QA问题: 在开放域问答中,问题很可能是模棱两可的,因为用户在制定问题时可能不知道相关主题 ...
李宏毅机器学习2021作业7-Bert (Question Answering)
内容为自己对助教给出代码的自我理解(甚至可以理解为部分翻译..)外加一些函数的查找以及其功能,欢迎大家指出我的不足,帖子主要是作为自己的笔记记录一下,不喜勿喷.3q Task description ...
＜＜视觉问答＞＞2021：Zero-shot Visual Question Answering usingKnowledge Graph
目录摘要: 一.介绍二.相关工作 2.1.Visual Question Answering 2.2.Zero-shot VQA 三.Preliminaries 四.Methodology 4.1 ...
＜＜视觉问答＞＞2021：Learning Compositional Representation for Few-shot Visual Question Answering
目录摘要一.介绍. 二.RELATED WORK A. Visual Question Answering (VQA) B. Few-shot Learning C. Learning with ...
曾被ICLR拒稿，字节跳动今斩获最佳论文，ACL 2021各大奖项揭晓
来源:机器之心被顶会拒稿请不要灰心,说不定你的论文会成为另一个顶会的最佳. NLP 领域国际顶会 ACL 2021 公布获奖论文信息:来自字节跳动火山翻译的一篇神经机器翻译工作被评为最佳论文.此外, ...
WeaQA:Weak Supervision via Captions for Visual Question Answering 论文笔记
WeaQA:Weak Supervision via Captions for Visual Question Answering论文笔记一.Abstract 二.引言三.相关工作 3.1 VQA ...
医学自然语言处理(NLP)相关论文汇总之 ACL 2021
医学自然语言处理(NLP)相关论文汇总之 ACL 2021 [写在前面]ACL2021前段时间已经放榜,一直没时间整理,最近抽时间整理了一下该会议在医疗自然语言处理方向上的相关论文,放在这里,希望对大 ...
论文阅读：Question Answering Over Temporal Knowledge Graphs
论文阅读:Question Answering Over Temporal Knowledge Graphs 我们首先在我们的新数据集上应用大型预训练的基于 LM 的 QA 方法. 然后,我们将时间和 ...

ACL 2021 Question Answering

1. Few-Shot Question Answering by Pretraining Span Selection

2. A Neural Model for Joint Document and Snippet Ranking in Question Answering for Large Document Collections

3. Addressing Semantic Drift in Generative Question Answering with Auxiliary Extraction

ACL 2021 Question Answering相关推荐

最新文章

热门文章