近日，EMNLP 2021在官网提前公布了今年的论文审稿结果，DeepBlueAI团队的论文《MapRE: An Effective Semantic Mapping Approach for Low-resource Relation Extraction》被录用。该论文提出了在低资源关系提取任务中融合同类别样本间句子相关性信息和关系标签语义两个方面的信息的方法，并在多个关系提取类任务的公开数据集的实验中得到了SOTA结果。

EMNLP（全称Conference on Empirical Methods in Natural Language Processing）由ACL SIGDAT（语言学数据特殊兴趣小组）主办，每年举办一次，在Google Scholar计算语言学刊物指标中排名第二。主要关注统计机器学习方法在自然语言处理领域的应用，近几年随着大规模数据的机器学习方法的发展，该会议人数逐年增加，受到越来越广泛地关注。

EMNLP论文入选标准极为严格，EMNLP 2021共收到有效投稿3114篇，录用754篇，录用率仅为24.82%。按照惯例，EMNLP 2021评选了最佳长论文、最佳短论文、杰出论文和最佳Demo论文四大奖项，共7篇论文入选。

今年EMNLP 2021将于11月7日 - 11日在多米尼加共和国蓬塔卡纳和线上联合举办，会议为期五天，复旦大学计算机科学学院教授黄萱菁将担任本次会议的程序主席。在即将召开的EMNLP学术会议上将展示自然语言处理领域的前沿研究成果，这些成果也将代表着相关领域和技术细分中的研究水平以及未来发展方向。

DeepBlueAI团队的论文提出了在低资源关系提取任务中融合同类别样本间句子相关性信息和关系标签语义两个方面信息的方法，并在多个关系提取类任务的公开数据集的实验中得到了SOTA结果。

关系提取旨在发现给定句子中两个实体之间的正确关系，是NLP中的一项基本任务。该问题通常被视为有监督的分类问题，由大规模标记数据进行训练。近年来，关系提取模型得到了明显的发展。然而，训练样本过少时，模型性能会急剧下降。

在最近工作中，DeepBlueAI团队利用小样本学习的进步来解决低资源问题。少样本学习的关键思想是学习一个用来比较query和support set samples中样本相似度的模型，这样，关系抽取的目标从学习一个通用的、准确的关系分类器变为学习一个将具有相同关系的实例映射到相近区域的映射模型。

在少样本学习的设定下，标签信息，即包含关系本身语义知识的关系标签，在训练和预测时并没有被模型用到。DeepBlueAI团队的实验结果表明，在预训练和微调中结合上述标签信息和各关系类别的样本两类映射可以显着提高模型在少样本关系提取任务上的表现。

一、语义映射预训练

预训练部分的目标函数由三个部分组成：

CCR: 样本表示间损失

CRR：样本与标签间损失

MLM：语言模型损失，同BERT

DeepBlueAI团队采取类似CP (Peng et al., 2020)的方法中对模型进行预训练。不同之处在于团队还考虑了标签信息，使用Wikidata作为预训练语料库，去除了Wikidata和DeepBlueAI团队用于后续实验的数据集之间的重复部分。

本部分中，DeepBlueAI团队使用BERT base作为基础模型，采用AdamW优化器，最大输入长度设置为60。DeepBlueAI团队共训练了11,000步，其中前500步为warmup，batch size设为2040，学习比率为3e-5。

二、监督性关系抽取

本部分DeepBlueAI团队一共试验了MapRE预训练模型的两种使用方式，即MapRE-L（直接使用全连接层对文本编码输出预测关系）和MapRE-R（采用关系编码器编码关系标签，再做相似度匹配），模型结构如图：

在监督性关系抽取任务中DeepBlueAI团队评估两个基准数据集：ChemProt和Wiki80。前者包括56,000个实例和80种关系，后者包括10,065个实例和13种关系。

实验结果如下：

这里DeepBlueAI团队重点关注低资源关系抽取，选取以下三个有代表性的模型进行比较。

1)BERT：该模型在文本的头实体和尾实体部分分别增加特殊的标记token，在BERT输出后接几个全连接层用于关系分类。

2)MTB (Soares et al., 2019)：MTB模型假设无监督数据中头实体和尾实体相同的句子均为正样本对，即具有相同的关系。在测试阶段，对query和support set的相似度得分进行排名，将得分最高的关系作为预测结果。

3)CP (Peng et al., 2020)：同MTB类似，我们的方法同CP模型的不同点在于，我们在预训练和微调时均考虑了标签信息。

我们可以观察到：1）在BERT上进行预训练（即MTB, CP和MapRE）可以提高模型性能2）比较MapRE-L与CP和MTB，在预训练期间添加标签信息可以显着提高模型性能，尤其是在资源极少的情况下，例如仅1%的训练集用于微调3) 比较 MapRE-R 和 MapRE-L，其中前者在微调中也考虑了标签信息，表现出更好更稳定的实验结果

结果表明在预训练和微调中使用标签信息均可显著提高低资源监督性关系抽取任务上的模型性能。

三、少样本与零样本关系抽取

在少样本学习的情况下，模型需要在只有给定一定关系类别，每个类别少数样本的情况下进行预测。对于N way K shot问题，Support set S包含N个关系，每个关系有K个样本，查询集包含Q个样本，每个样本属于 N 个关系之一。

该模型结构如下：

模型预测结果由下式得出：

DeepBlueAI团队在两个数据集上评估提出的方法：FewRel和NYT-25。FewRel 数据集包含70,000个句子和100个关系（每个关系有700个句子），数据来源为维基百科。其中64个关系用于训练，16个用于验证，以及20个用于测试。测试数据集包含 10,000 个句子，必须在线评估。NYT-25数据集是由Gao et al., 2019。DeepBlueAI团队随机抽取 10 个关系用于训练，5 个用于验证，10 个用于测试。

实验结果如下：

如上表所示，在所有的实验设置下，DeepBlueAI团队提出的MapRE，由于在预训练和微调中均考虑了support set样本句子和关系标签信息，提供了稳定的性能表现，并大幅优于一系列baseline方法。结果证明了团队提出的框架的有效性，并表明了关系抽取中关系标签语义映射信息的重要性。

DeepBlueAI团队进一步考虑了低资源关系抽取的极端条件，即零样本的情况。在该设定下，模型输入不包含任何support set样本。在零样本条件下，以上大部分少样本关系抽取框架不适用，因为其它该类模型的每个关系类别中至少需要有一个样本。

结果表明，与其它最近零样本学习工作相比，DeepBlueAI团队提出的MapRE在所有设定下都获得了出色的表现，证明了MapRE的有效性。

总结

在这项工作中，DeepBlueAI团队提出了一种同时考虑标签信息和样本信息的关系抽取模型，MapRE。大量实验结果表明，MapRE模型对监督性关系抽取、少样本关系抽取和零样本关系抽取任务中展示了出色的表现。结果表明样本和标签信息两者在预训练和微调中都起到了重要作用。在这项工作中，DeepBlueAI团队没有研究领域迁移造成的潜在影响，我们将相关分析作为下一步的工作。

综上，深延科技提出的MapRE模型结合了零样本和少样本学习的特点，结合了同关系样本和关系语义两个方面的信息，目前已在深延科技智能数据标注平台文本关系抽取功能中得以应用，大幅提升了模型在少量训练样本下的表现，在数据的智能标注等领域可大幅节省人力，提升标注效率及标注质量。

｜关于深延科技｜

深延科技成立于2018年，是深兰科技（DeepBlue）旗下的子公司，以“人工智能赋能企业与行业”为使命，助力合作伙伴降低成本、提升效率并挖掘更多商业机会，进一步开拓市场，服务民生。公司推出四款平台产品——深延智能数据标注平台、深延AI开发平台、深延自动化机器学习平台、深延AI开放平台，涵盖从数据标注及处理，到模型构建，再到行业应用和解决方案的全流程服务，一站式助力企业“AI”化。

EMNLP2021 | DeepBlueAI团队少量数据关系抽取论文被录用相关推荐

1. 关系抽取论文总结（relation extraction）不断更新

   2000 1.Miller, Scott, et al. "A novel use of statistical parsing to extract information from te ...

2. 关系抽取论文整理，核方法、远程监督的重点都在这里

   来源 | CSDN 博客 作者 | Matt_sh,编辑 | Carol 来源 | CSDN云计算(ID:CSDNcloud) 本文是个人阅读文章的笔记整理,没有涉及到深度学习在关系抽取中的应用. 笔 ...

3. 关系抽取论文整理——早期文献

   说明 本文是个人阅读文章的笔记整理,没有涉及到深度学习在关系抽取中的应用. 笔记中一部分来自个人解读,一部分来自原文,一部分来自网上摘录.[由于文章是分开做笔记,很多参考链接没有及时保留,还请谅解.如 ...

4. SSAN 关系抽取 论文笔记

   20210621 https://zhuanlan.zhihu.com/p/353183322 [KG笔记]八.文档级(Document Level)关系抽取任务 共指id嵌入一样 但是实体嵌入的时候 ...

5. 远程监督关系抽取漫谈：结合知识图谱和图神经网络

   远程监督关系抽取是一种用知识图谱去对齐朴素文本的标注方法,属于半监督学习算法,自然而然提取特征的时候就会出现很多噪声.比如两个实体之间还有别的关系或者是没有关系,这样的训练数据会对关系抽取器产生影响. ...

6. 3种基于深度学习的有监督关系抽取方法

   摘要:本文对几种基于深度学习的有监督关系抽取方法进行了介绍,包括CNN关系抽取.BiLSTM关系抽取以及BERT关系抽取. 本文分享自华为云社区<基于深度学习的有监督关系抽取方法简介>,作 ...

7. 深度学习实体关系抽取研究综述笔记

   鄂海红,张文静,肖思琪,程瑞,胡莺夕,周筱松,牛佩晴.深度学习实体关系抽取研究综述.软件学报,2019,30(6): 1793−1818. http://www.jos.org.cn/1000-982 ...

8. 入门文档级关系抽取_数据集DocRED、CDR、GDA

   作为学习文档级关系抽取的短暂总结与记录.主要是相关数据集问题,如果能帮助到其他人,我也是很开心的. 文档级关系抽取论文 网上有很多文档级关系抽取的综述,他们会告诉你有哪些经典文献需要阅读,我就不再搬运 ...

9. 史上最大的实体关系抽取数据集！清华大学自然语言处理团队发布 FewRel...

   雷锋网 AI 科技评论按,在去年的 EMNLP2018 上,清华大学自然语言处理实验室发布了一个大规模精标注关系抽取数据集 FewRel.据了解,这是目前最大的精标注关系抽取数据集. 据清华大学自然语 ...

最新文章

1. 380v pcb 接线端子_连接器、接线端子、插针插孔三者究竟有什么区别？
2. RollingFileAppender
3. 根据文件名或文件扩展名获取文件的默认图标
4. ubuntu 下使用mysql
5. java怎么插入oracle数据库timenstamp,Sybase数据库技术，数据库恢复专家
6. php论坛思路,PHP论坛实现积分系统的思路代码详解
7. 每个程序员都该学习的5种开发语言，不可错过！
8. PostgreSQL 9.6 IO Hang问题浅析与优化
9. 分享2011年10月网上随机搜集的超酷超有趣的web开发和Javascript代码
10. Spring @Aspect、@Before、@After 注解实现 AOP 切面功能
11. 结构仿真实验，Midas多跨超静定连续梁手算电算分析
12. oracle 两表关联查询
13. Java机器学习实战——SVD（奇异值分解）完整设计
14. JAVA编写代码实现如下需求：皮球（Ball）分为足球（Football）和排球（Volleyball），各种皮球的运动（play）方法各不相同。
15. win7c盘空间越来越小_你Windows10的C盘究竟多大才合适
16. vue中报错， [WDS] Disconnected!解决方法
17. A Brief History of Just-In-Time 简读
18. 计算机培训计划方案结尾怎么写,学习计划怎么写结尾
19. C#，楔子数（Sphenic Number）的暴力算法与高效算法源代码
20. Go语言的GPM调度器是什么？

热门文章

1. 尤瓦尔·赫拉利 | 认识你自己，不要被算法操控
2. 致远OA-A8协同管理软件无需登录getshell漏洞
3. 优酷端侧弹幕穿人技术实战之：PixelAI移动端实时人像分割
4. Linux安装PHP(最新版)
5. vertical-align详解
6. mpvue【微信小程序】下拉刷新 上拉刷新
7. 为什么要用企业邮箱？企业邮箱能给公司带来哪些好处？
8. 后端思维篇：手把手教你写一个并行调用模板
9. word自动设置表格格式
10. 计算方法（四）：插值与拟合