【EMNLP2020】“自言自语”来实现无监督常识问答

点击上方，选择星标或置顶，每天给你送干货！

Paper: Unsupervised Commonsense Question Answering with Self-Talk
Link: arxiv.org/pdf/2004.0548

NLP中的很多任务都需要引入背景知识，也就是一些基本常识，去年EMNLP主会上的一篇文章提出一个新方法来引入commonsense——‘self-talk’，简单来说就是提出问题回答问题。模型本身并不复杂，在结果上和之前的baseline相比稍好一些，但也不是碾压式超越。不过这篇文章重点在于提出了一个新的思路，一个更符合人类思考方式的思路。

目前主流的方法是预训练语言模型和引入知识库，这篇文章中作者提出了一个无监督模型，用一个LM（language model）给答案打分，以及一个LM作为知识源。整个过程是基于提问的发现学习。我们来看下图中的例子，这个问题是，因为Brett在大学期间找了份实习然而Ian没有，所以谁在毕业后更慢找到了实习。（这是个选择题，选项是Brett和Ian）。

1）作者对于不同的QA任务提前整理了question prefix，如图中的‘What is the purpose of’

2）然后对于每个prefix使用Nucleus采样生成五个问题，一个问题最长是6个token，例如图中生成的’What is the purpose of internship？’

3）接下来对每一个问题生成多个答案，每一个question prefix都对应一个answer prefix，例如‘What is the purpose of’ 对应’The purpose of is’, 结合文本，第二步得到的问题和answer prefix得到十个答案。

在得到背景知识后，背景知识和文本加起来（如下图）一起预测答案，损失函数最小的就是被选中的答案。

下图是实验结果，一共是在六个benchmark上进行评测，标注颜色部分是作者的实验结果部分，除了上述的方法，作者一开始还介绍了LM baseline和external knowledge baseline，self-talk是针对这两个baseline的一个融合和改进。

以上是这篇论文的主体内容了，这篇长论文在后面还探讨了有用的clarification和不利的clarification，有兴趣的朋友可以仔细去看看~

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家：

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析


整理不易，还望给个在看！

【EMNLP2020】“自言自语”来实现无监督常识问答相关推荐

ACL 2023 | 用二分类解决无监督常识问答
常识推理最近在自然语言处理研究中引起了广泛关注,现有的常识推理方法一般分为两种:一种是在开源数据集上对大型语言模型进行微调 [1],另一种是借助外部知识图谱来训练.然而,构建有标注的常识推理数据集既昂 ...
Unsupervised Question Answering by Cloze Translation 通过完形填空翻译的无监督的问答
Unsupervised Question Answering by Cloze Translation 通过完形填空翻译的无监督的问答文章目录 Unsupervised Question Answ ...
ACL 2020 | 多跳问答的基于对齐的无监督迭代解释检索方法
©PaperWeekly 原创 · 作者|舒意恒学校|南京大学硕士生研究方向|知识图谱论文标题:Unsupervised Alignment-based Iterative Evidence R ...
Unsupervised Question Answering by Cloze Translation 基于完形填空转换的无监督问答
Unsupervised Question Answering by Cloze Translation(基于完形填空转换的无监督问答) Facebook research,开源,数据集为SQuAD ...
常识知识确能被捕获，西湖大学博士探究BERT如何做常识问答
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自:机器之心 BERT 是通过常识知识来解决常识任务的吗? 预训练上下文化语言模型( ...
今日 Paper | 多人姿势估计；对话框语义分析；无监督语义分析；自然语言处理工具包等
导语:为了更好地服务广大 AI 青年,AI 研习社正式推出全新「论文」版块目录基于层次表示的面向任务对话框语义分析固定的无监督语义分析斯坦福CoreNLP自然语言处理工具包 DeepCut ...
无监督领域迁移及文本表示学习的相关进展
©作者|邴立东.何瑞丹.张琰.李俊涛.叶海单位|阿里巴巴达摩院.新加坡国立大学等摘要随着基于 transformer 的预训练语言模型的广泛应用,多种自然语言处理任务在近一两年来都取得了显著突破 ...
从易到难，针对复杂问题的无监督式问题分解方法
论文标题: Unsupervised Question Decomposition for Question Answering 论文作者: Ethan Perez (FAIR,NYU), Patri ...
无监督构建词库：更快更好的新词发现算法
作者丨苏剑林单位丨追一科技研究方向丨NLP,神经网络个人主页丨kexue.fm 新词发现是 NLP 的基础任务之一,主要是希望通过无监督发掘一些语言特征(主要是统计特征),来判断一批语料中哪些字 ...
无监督端到端检索式问答系统方案实践
01 背景暨2021年"十四五"规划将数字政府提上国家顶层设计后,今年两会期间,数字经济.智慧城市再一次成为各界关注的焦点. 3月5日,<政府工作报告>提出要加强 ...

【EMNLP2020】“自言自语”来实现无监督常识问答

【EMNLP2020】“自言自语”来实现无监督常识问答相关推荐

最新文章

热门文章