ACL2021 | OntoED:利用本体表示学习实现低资源的事件抽取
点击下面卡片,关注我呀,每天给你送来AI技术干货!
来自:浙大KG
论文题目:OntoED: Low-resource Event Detection with Ontology Embedding
本文作者:邓淑敏(浙江大学),张宁豫(浙江大学),李泺秋(浙江大学),陈辉(阿里巴巴),钭怀啸(阿里巴巴),陈漠沙(阿里巴巴),黄非(阿里巴巴),陈华钧(浙江大学)
接收会议:ACL 2021
论文链接:https://arxiv.org/abs/2105.10922
数据集及代码:https://github.com/231sm/Reasoning_In_EE
论文预讲会回放地址:https://www.bilibili.com/video/BV1pQ4y1d7kz
1、总述
事件检测旨在从给定的文本中识别事件触发词,并将其分类为事件类型。目前事件检测的大多数方法在很大程度上依赖于训练实例,而几乎忽略了事件类型之间的相关性。因此,它们往往会面临数据匮乏的问题,并且无法处理新的未见过的事件类型。为了解决这些问题,我们将事件检测重构成事件本体填充的过程:将事件实例链接到事件本体中的预定义事件类型,并提出一种新颖的借助本体嵌入进行事件检测的框架——OntoED。我们通过建立事件类型之间的联系来丰富事件本体,并进一步推理出更多的事件对之间的关联。OntoED可以基于事件本体实现事件知识的利用和传播,特别是从高资源传播到低资源的事件类型。此外,OntoED可以通过建立未知事件类型与现有事件的链接,实现对新的未见事件类型的检测。
低资源场景下事件类别之间的隐含关联
2、方法
OntoED模型图
具体来说,OntoED模型分为三阶段:
(1)事件本体填充
在这一阶段,初始的事件本体包含孤立的事件类型和事件实例,这一步就是为了建立起事件类型和事件实例的初始关联,并建立起事件实例之间的联系。
Instance Encoder:我们利用BERT得到事件实例的表示
;
Class Encoder:每个事件类型由事件原型
表示,初始的事件原型是通过计算事件实例表示的均值得到;
Event Detector:通过计算事件实例表示
和事件原型 之间的向量距离进行事件检测;
Instance Relation Extractor:抽取事件实例之间的关系。我们利用
来建模两个事件实例表示之间的相互作用,并用softmax进行关系分类。
(2)事件本体学习
在事件本体学习阶段,通过事件实例之间的联系建立起事件类型之间的联系,以得到更为丰富的事件本体。
Ontology Completion:主要包含建模事件实例的内部结构(Instance-to-class Linking)以及事件类型之间关联的外部结构(Class-to-class Linking)。
Ontology Embedding:主要包含原型传播和原型更新。在原型传播阶段,每个事件原型会传播到与它邻接的事件原型上,我们用
的矩阵 来表示事件对之间的关系;在原型更新阶段,每个事件原型的表示更新成自身原本的原型表示与邻接原型传播得到表示的加权平均。
传播到每个事件原型的表示:
事件原型更新后的表示:
(3)事件关联推断
在事件关联推断阶段,通过上一阶段得到的事件之间的关联推断出更多事件对之间的联系,比如,(e1, CAUSE, e2) → (e1, BEFORE, e2);(e1, BEFORE, e2) ∧ (e2, BEFORE, e3) → (e1, BEFORE, e3)。
给定grounding
,我们通过计算它的得分来判断事件之间关联推断成立的可能性。
这里我们主要考虑了本体语言OWL2中所定义的关系的对象属性:
并利用线性映射假设对关系矩阵的表示进行约束:
最后通过计算grounding左右两边关系矩阵的表示差异来得到grounding的得分,也就是可以通过grounding右边的事件关联推断出grounding左边新的事件关联的可能性。
3、实验
(1)数据集
为了验证OntoED的效果,我们构造了包含事件之间关系的事件抽取数据集——OntoEvent(数据集链接已给出,详细的数据统计在论文的支撑材料里)。
OntoEvent与其他事件抽取数据集的比较(Doc: document, Ins: instance, SuperT: supertype, SubT: subtype, E-E Rel: event-event relation)
(2)实验结果
我们分别在全量样本、少样本、零样本的数据上做了实验。实验表明,OntoED比以往的事件检测方法效果更佳,尤其是在低资源的情况下。
全量样本的效果
少样本的效果
零样本的效果
说个正事哈
由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:
(1)点击页面最上方“深度学习自然语言处理”,进入公众号主页。
(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。
感谢支持,比心。
投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
点击上面卡片,关注我呀,每天推送AI技术干货~
整理不易,还望给个在看!
ACL2021 | OntoED:利用本体表示学习实现低资源的事件抽取相关推荐
- 【工大SCIR】AAAI20 基于反向翻译和元学习的低资源神经语义解析
论文名称:Neural Semantic Parsing in Low-Resource Settings with Back-Translation and Meta-Learning 论文作者:孙 ...
- 微软提出极低资源下语音合成与识别新方法,小语种不怕没数据!| ICML 2019
作者 | 谭旭 转载自微软研究院AI头条(ID: MSRAsia) 编者按:目前,人类使用的语言种类有近7000种,然而由于缺乏足够的语音-文本监督数据,绝大多数语言并没有对应的语音合成与识别功能.为 ...
- 《预训练周刊》第21期:FlipDA:有效且稳健的数据增强小样本学习、开放域低资源适应的生成式聊天机器人...
No.21 智源社区 预训练组 预 训 练 研究 观点 资源 活动 关于周刊 超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第21期&l ...
- 迁移学习前沿探究探讨:低资源、领域泛化与安全迁移
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 作者丨王晋东 整理丨维克多 迁移学习是机器学习的一个重要研究分支,侧重于将已经学习过的知识迁移应用于新的问题中,以增强解决新问题的能力. ...
- 领英利用深度表征学习提升人才搜索和推荐系统
本文介绍了领英利用深度表征学习模型来提升人才搜索和推荐系统. 领英征才解决方案(LinkedIn Talent Solutions,LTS)业务为领英贡献了大约 65% 的年收入,该业务方便职位提供者 ...
- 基于深度学习的低光照图像增强方法总结(2017-2019)| CSDN博文精选
扫码参与CSDN"原力计划" 作者 | hyk_1996 来源 | CSDN博客精选 之前在做光照对于高层视觉任务的影响的相关工作,看了不少基于深度学习的低光照增强(low-lig ...
- 【AAAI Oral】利用深度增强学习自动解数学题,准确率提升15%
[AI科技大本营导读]增强学习和人类学习的机制非常相近,DeepMind已经将增强学习应用于AlphaGo以及Atari游戏等场景当中.作为智能教育领域的引领者,阿凡题研究院首次提出了一种基于DQN( ...
- Talk预告 | 普渡大学王虓:如何利用合作对抗学习来提升自监督学习
本期为TechBeat人工智能社区第428期线上Talk. 北京时间8月4日(周四)20:00,普渡大学在读博士生--王虓的Talk将准时在TechBeat人工智能社区开播! 他与大家分享的主题是: ...
- 如何利用朋友圈学习和提升自己?
大多数人都开通着朋友圈,即使不经常发,也会时不时的点击刷一下,生怕错过了天下大事.但往往刷了朋友圈也就刷了,看一乐呵. 既然在朋友圈已经花时间了,那么,是否可以利用它来刷新一些认知.学习一些技能.激励 ...
- 论文浅尝 - EMNLP2020 | 低资源跨语言实体链接中的设计挑战
论文笔记整理:谭亦鸣,东南大学博士. 来源:EMNLP 2020 链接:https://arxiv.org/pdf/2005.00692.pdf 1.背景介绍 跨语言实体链接(XEL)旨在将任一非英语 ...
最新文章
- 为什么要使用String.Equals over ==? [重复]
- vue配置二级目录vue-axios跨域办法谷歌浏览器设置跨域
- .NET 5 和 C#9 /F#5 一起到来, 向实现 .NET 统一迈出了一大步
- 【转】aspx,ascx和ashx使用小结
- 百度陆奇最新内部演讲:如何成为一个优秀的工程师?
- android 颜色过渡动画效果,Android buttom textview 颜色平滑过渡的动画效果
- 说说在 Python 中如何快速复制序列
- 使用ffmpeg一行命令根据时间分割MP4文件
- 神经网络入门之RNN(三)
- 总结过去,展望2019
- 视频转mp3格式转换器怎么使用
- mysql时区重启后失效_mysql时区问题
- Netty ChannelGroup自动移除InActive的Channel实现
- aria2搭建(CentOS 7)
- 单指标时间序列异常检测——基于重构概率的变分自编码(VAE)代码实现(详细解释)
- 计算机课是怎样查出勤的,基于计算机视觉技术的课堂自动考勤系统研究
- 市场风险的度量-下行风险最大回撤
- Oracle在中国的合作伙伴
- MicroPython学习--Nokia 5110+DHT11温湿度显示
- (汇编语言)逻辑地址转换物理地址
热门文章
- vue 组件传值$attrs $listeners $bus provide/inject $parent/$children
- 车站分级 (2013noip普及组T4)(树形DP)
- COM学习(四)——COM中的数据类型
- Vue学习笔记进阶篇——多元素及多组件过渡
- [转]Java web 开发 获取用户ip
- 推荐iOS模拟器截图工具iOS-Simulator Cropper
- [2010-9-8]
- VS2010 编译 openssl 源代码(输出 libeay32 and ssleay32 静态库和动态库)
- ojective-C学习笔记(6)复合
- 参加2015年TOP100会议的零散笔记