论文浅尝 | 基于动态记忆的原型网络进行元学习以实现少样本事件探测
本文转载自公众号:浙大KG。
论文题目:Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection
本文作者:邓淑敏,浙江大学在读博士,研究方向为低资源条件下知识图谱自动化构建关键技术研究
发表会议:WSDM 2020
论文链接:https://arxiv.org/abs/1910.11621
FewEvent数据集链接: https://github.com/231sm/Low_Resource_KBP
事件抽取(EE)是一项旨在从非结构化文本中提取结构事件信息的任务,它可以分两个子任务:事件检测(event detection)与元素抽取(argument extraction)。事件检测需要找到事件描述文本中的触发词,并将其对应到指定的事件类型,元素抽取需要找到事件的参与元素,并划分它们在事件中扮演的角色。本文基于目前事件抽取数据集的稀疏问题,以及考虑到现实世界中的新事件层出不穷,重新审视了事件检测任务。在元学习的设置下,将事件检测建模成少样本学习任务(遵循N-Way-K-Shot的实验设定),称之为少样本事件检测(FSED)。
图1: 模型架构
本文提出了一个基于动态记忆的原型网络(DMB-PN),该网络利用动态记忆网络(DMN)为事件学习更好的原型,模型架构如上图所示。传统的原型网络简单地通过平均计算事件描述(event mention)文本的编码来表示事件原型,这样的做法只会用一次event mention的编码。考虑到每个事件的样本比较少,我们希望尽可能多地利用样本的信息,因此区别于传统的原型网络,DMB-PN整合了DMN,会多次从event mention中提取上下文信息,也就是说DMB-PN会多次使用event mention的编码,并且进行记忆存储和更新。我们分别在固定事件类别数N的设置下进行K-Shot的评估,以及在固定每个事件类样本数K的设置下进行N-Way的评估。实验表明,DMB-PN不仅比原型网络处理样本稀疏性的性能更好,而且在类型数目增多和样本数目减少的时候性能更加稳定。
此外,动态记忆网络还用于学习模型中的事件原型和句子编码。具体来说,我们在典型的DMN模块中使用触发词作为问题来产生存储向量,从而产生对触发词更敏感的句子编码。由于DMN的多跳机制,使得它更有利于充分利用事件实例,因此基于DMN的模型在句子编码方面更健壮,特别是在少样本场景中。
部分实验结果如下所示:
表1: 5-Way-X-Shot的实验结果比较
表2: 10-Way-X-Shot的实验结果比较
图2: X-Way-15-Shot的实验结果比较
总而言之,这篇文章研究工作的主要贡献是:
(1)正式定义和提出“少样本事件检测”的新问题,并生成了一个专门针对该问题名为FewEvent的新数据集;
(2)提出了一个基于动态记忆的原型网络的新框架DMB-PN,该框架利用动态记忆网络不仅可以为事件类型学习更好的原型,还可以为事件描述文本生成更健壮的句子编码;
(3)实验表明,与记忆机制集成的原型网络的性能优于一系列的传统模型,特别是当事件类型的种类相对较多且样本数量非常少时,这是因为它具有从事件实例中多次提取上下文信息的能力。
如果对本文的工作感兴趣,欢迎大家阅读原文,也欢迎大家和我们交流。
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | 基于动态记忆的原型网络进行元学习以实现少样本事件探测相关推荐
- ###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
- 论文浅尝 | 基于知识库的自然语言理解 01#
本文转载自公众号:知识工场. 罗康琦,上海交通大学计算机系2019届博士,研究方向为自然语义理解和知识图谱.2012年获得华中科技大学软件工程学士学位,现就职于京东数据科学实验室(Data Scien ...
- 论文浅尝 | 基于事理图谱的脚本事件预测
论文笔记整理:邱圣广,南京大学硕士,研究方向为自然语言处理. 链接:https://www.ijcai.org/proceedings/2018/0584.pdf 绪论 1. 脚本事件预测 脚本事件 ...
- 论文浅尝 | 基于异质图交互模型进行篇章级事件抽取
笔记整理:娄东方,浙江大学 & 恒生电子股份有限公司博士后,研究方向为事件抽取 来源:ACL2021 链接:https://arxiv.org/abs/2105.14924 GitHub项目地 ...
- 论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
论文链接:https://arxiv.org/pdf/1805.09927.pdf 来源:ACL2018 Motivation: 远程监督是以一种生成关系抽取训练样本的方法,无需人工标注数据.但是远程 ...
- 论文浅尝 | 基于神经网络的实体识别和关系抽取联合学习
本文转载自公众号:PaperWeekly. 作者丨罗凌 学校丨大连理工大学博士生 研究方向丨深度学习,文本分类,实体识别 联合学习(Joint learning)一词并不是一个最近才出现的术语,在自然 ...
- 论文浅尝 | 基于图卷积网络的跨语言图谱实体对齐
论文笔记整理:谭亦鸣,东南大学博士生,研究兴趣:知识图谱问答 本文提出了一种基于图卷积网络的跨语言实体对齐方法,通过设计一种属性 embedding 用于 GCN 的训练,发现GCN能同时学习到特征 ...
- 论文浅尝 | 基于属性嵌入的知识图谱实体对齐
论文笔记整理:王中昊,天津大学硕士,方向:自然语言处理. 来源:AAAI2019 论文链接: https://doi.org/10.1609/aaai.v33i01.3301297 概述 知识图谱之间 ...
- 论文浅尝 | 基于知识库的自然语言理解 04#
本文转载自公众号:知识工场. 罗康琦,上海交通大学计算机系2019届博士,研究方向为自然语义理解和知识图谱.2012年获得华中科技大学软件工程学士学位,现就职于京东数据科学实验室(Data Scien ...
最新文章
- Metasploit中aggregator插件无法使用
- 10285 - Longest Run on a Snowboard
- 学习c/c++的50个好网站(转)
- 针对永恒之蓝Wannacry勒索病毒微软Windows操作系统 MS17-010 漏洞补丁资源共享
- MIPS单周期CPU
- 干货 | 日均5亿字符翻译量,百毫秒内响应,携程机器翻译平台实践
- 腾讯安全发布远程桌面服务高危漏洞(CVE-2019-1181 / 1182)修复工具
- visual studio 版本的区别
- c百分号输出格式汇总
- Ubuntu 下安装VirtualBox主要步骤及出现的问题的解决方案
- 编程的思想是什么,如何建立编程思想,如何训练和提高编程思想?
- Linux应用开发: SQLite数据库交叉编译部署与运用
- 需求评审会议如何召开
- Platform Builder
- Nginx根据url并切割url进行路由转发
- POSIX Timer
- 计算机组成原理算术运算实验报告,《计算机组成原理》实验报告---8位算术逻辑运算实验.doc...
- 不积跬步无以至千里,不积小流无以成江海----SAX读取xml
- luajit开发文档中文版(一)下载和安装
- 虚拟人成企业形象代言新战场,虚拟数字人制作赋能品牌新商业价值
热门文章
- 写写最近吧,关于读研、找工作
- unlink(file_name)
- Android中使用软引用和弱引用避免OOM的方法
- GBT19056精要
- hive 时间转字符串_大数据面试杀招——Hive高频考点,还不会的进来挨打
- 在统计学中参数的含义是指_《统计学》名词解释及公式
- python子进程修改父进程内变量_如何将父变量传递给python中的子进程?
- 一、Vue基础语法学习笔记系列——插值操作(Mustache语法、v-once、v-html、v-text、v-pre、v-cloak)、绑定属性v-bind(绑定class、style)、计算属性
- LeetCode 1742. 盒子中小球的最大数量
- LeetCode MySQL 614. 二级关注者