事件抽取的目标是在非结构化的文本中确认事件的触发词(Eventtrigger)和参与者(Event argument),并判断触法词的事件类型(Eventtype),判断参与者在事件中的扮演的角色(Argument role)。有触发词和参与者的短语或文本称为EventMention。如下图的关于Transport-Person 事件的一条EventMention,dispatching是触发词,下划线是参与者,其中China作为Agent参与事件。

目前大多数的事件抽取是基于已有的手动标记样本进行训练。常见的数据集ACE,总共有8个大类,33个小类,对每个类,有人为标记的训练语料。但是对于没有样本的新事件类型,用上述语料训练的模型会显得无力。对此,一是可以用远程监督的方法标记训练样本,二是用迁移学习方法。本文基于第二点的,提出在事件抽取任务中用零样本迁移学习方法:event mention 和event ontology联合映射到共享的语义空间上,拉近两者在语义空间上的距离。

具体来说:对于新的语料,可以用AMR得到具体事件mention的结构,同时提供已定义好的关于事件类型ontology的结构。如上图所示,是对上述E1进行处理后得到mention的结构和一些已定义好的ontology结构。可以看到,事件触发词和事件类型名通常有一些共享含义,同时,两者的结构也趋于相似。本文基于这两点,将mention和ontology的结构表示联合映射到同一语义空间,最小化mention和对应的ontology的语义距离,从而学习一个通用映射函数,将已有样本训练得到的模型迁移到没有样本的事件中,整体框架如下:

分为如下几步:

1. 找出候选触发词和候选参与者,称为Tiggerand Argument Identification

用WSD找出触发词候选项,并用FrameNet中的Lexical units匹配文本扩充触发词候选项;利用ARMparser找出参与者候选项。

2. 确定触发词对应的事件类型,称为 Tigger Classification

触发词分类主要是用CNN模型,模型的输入考虑了两个部分 [V_t,V_(S_t)]:V_t 触发词本身的语义表示,可以用word2vec来训练;触发词t的结构是 S_t,V_(S_t)是 S_t 的表示; ontology的 [V_y,V_(S_y)] 输入同理。

对于 V_(S_t),分两步进行:首先结构中的每条边,可以表示为 u=<w_1,λ,w_2>,用 M_λ 表示关系,可以得到每个元组的表示 V_u,对应公式如下;之后将 t 的所有元组的表示 V_u 拼接起来,输入到CNN网络中,得到V_(S_t)。

对于 V_(S_y),ontology的每个元祖表示为 u^'=<y,r>, y 是事件类型,r 是参与者角色, V_u' 的表示如下,之后也输入到CNN中得到 V_(S_y)。

通过hinge loss来训练模型,将mention和ontology的表示学习到同一语义空间:

3. 确定参与者在事件中扮演的角色,称为ArgumentClassification

参与角色的分类是基于触发词到参与者路径的相似度。仍以E1为例,通过将dispatch-01—>:ARG0—>China和Transport-Person—>Agent的路径信息学习到同一语义空间,之后根据语义相似度判断China在Transport-Person中的扮演的角色是Agent。

4. 预测新类别

测试时候,对于新的 t',用训练好的模型得到 t' 的结构化表示和所有ontology的结构化表示,距离最近的就是预测的结果。

本文进行了比较丰富的实验:

1. 在ACE数据集上进行实验,实验中可见类设置如下,N表示可见类的数量:

上述设置下得到的效果如下,WSD-Embedding没有将结构信息考虑到迁移的过程中。可以在迁移学习过程中考虑更多的机构化信息,得到的效果更好;可见类越多,效果越好。

2. 用ACE的 Justice类的4个小类做训练,用其余三个或用其他大类下随机的一个小类作测试。可以看到,测试类跟训练类的相似度越高,效果越好。

3. 使用LSTM在所有类上进行训练和测试,和用ZSL进行训练和测试的效果对比。可以看到用ZSL训练得到的效果和用LSTM训练近500条样本得到的效果不相上下。

笔记整理:王若旭,浙江大学硕士,研究方向为知识图谱,自然语言处理.



OpenKG.CN

中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

点击阅读原文,进入 OpenKG 博客。

论文浅尝 | Zero-Shot Transfer Learning for Event Extraction相关推荐

  1. 论文浅尝 | GNN with Generated Parameters for Relation Extraction

    论文笔记整理:申时荣,东南大学博士生. 地址:https://arxiv.org/pdf/1902.00756.pdf 来源:ACL2019 在许多自然语言处理任务(例如关系提取)中,多跳关系推理是必 ...

  2. Zero-Shot Transfer Learning for Event Extraction

    [文章来源] 事件提取的Zero-Shot迁移学习:https://arxiv.org/pdf/1707.01066.pdf 摘要 大多数先前的事件提取研究严重依赖于从带注释的事件提及中派生的特征,因 ...

  3. 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述

    随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...

  4. 论文浅尝 | 图神经网络综述:方法及应用

    论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...

  5. 论文浅尝 | 利用多语言 wordnet 上随机游走实现双语 embeddings

    论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:Knowledge Based System 链接:https://www.sciencedirect.com/science/a ...

  6. 论文浅尝 | 近期论文精选

    本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...

  7. 论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读 代码

    本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...

  8. ###好好好#######论文浅尝 | 基于图注意力的常识对话生成

    论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...

  9. 论文浅尝 - IJCAI | Knowledge is NOT always you need: 外部知识注入预训练模型的利与弊...

    转载公众号 | 浙大KG 论文题目:Drop Redundant, Shrink Irrelevant: Selective Knowledge Injection for Language Mode ...

最新文章

  1. Java设计模式(访问者模式-迭代器模式-观察者模式-中介者模式)
  2. 几种常用的加密方式简单介绍
  3. python超出列表范围,(Python)列表索引超出范围 - 迭代
  4. 四个角度教你评估一个产品的用户体验好坏 | PMCAFF
  5. redis介绍以及使用 ppt_光纤收发器的工作原理以及使用方法介绍
  6. 数学--数论---欧拉筛 模板
  7. [Python]网络爬虫(11):亮剑!爬虫框架小抓抓Scrapy闪亮登场!
  8. 蘑菇街2019校招题目总结
  9. (六)使用ResNet50迁移学习进行COVID-19诊断:从头开始构建深度学习网络
  10. Hibernate的transaction嵌套
  11. 卸载驱动出现:rmmod: can't change directory to '/lib/modules': No such file or directory
  12. Nginx编译-安装-配置-优化实践总结
  13. 设计模式(1):工厂模式
  14. 移动应用开发学习笔记(一)
  15. Saltstack入门到精通教程(五):Jinja详解
  16. 如何合理的使用统计图表
  17. 佐治亚理工计算机科学,Gatech的CS「佐治亚理工学院计算机科学系」
  18. xampp运行不成功或者安装过程中提示找不到文件“-n”,没有安装vcredist_x86的解决方法
  19. 爬虫07 爬取阿里旅行特价机票
  20. Ubuntu网页微信调整全屏

热门文章

  1. 解决mysql表被crash的一次维护始末
  2. 解决循环引用--弱引用weak_ptr
  3. Linux驱动开发中与设备树相关的6种debug方法
  4. 回调函数这个是什么鬼?
  5. NILMTK——经典数据集REDD介绍和使用
  6. ms access to mysql_Access转MySQL工具
  7. vue垂直布局_vue实现长图垂直居上 vue实现短图垂直居中
  8. python如何调用阿里云接口_Python调用aliyun API设置阿里云负载均衡虚拟服务器组权重...
  9. LeetCode 1691. 堆叠长方体的最大高度(排序+最大上升子序DP)
  10. LeetCode 828. 统计子串中的唯一字符(中心扩展)