论文浅尝 | 通过共享表示和结构化预测进行事件和事件时序关系的联合抽取

论文笔记整理：邓淑敏，浙江大学在读博士，研究方向为低资源条件下知识图谱自动化构建关键技术研究。

Rujun Han, Qiang Ning, Nanyun Peng. Joint Event and Temporal Relation Extractionwith Shared Representations and Structured Prediction. EMNLP 2019.

论文链接：https://www.aclweb.org/anthology/D19-1041/

这篇文章解决的是“事件-事件关系联合抽取”问题，即给定一个候选事件对，除了判断这两个候选事件是否属于事件，还要判断出这两者之间是否存在关系（这篇文章判断的是时序关系）。在讲这篇文章的模型之前，我们首先整理一下解决这个问题的方法——端到端的事件-事件关系联合抽取模型。

端到端的事件-事件关系联合抽取模型大致可以分为四类：

（1）单任务模型，先进行事件检测，然后把检测到的事件对输入到事件关系抽取模型中，事件对的编码模型参数不共享；

（2）多任务模型，与单任务模型类似，但是事件的对的编码模型参数共享；

（3）管道联合模型，与多任务模型的区别在于训练过程，它是将事件检测模型生成的事件候选集直接用于事件关系抽取模型的训练；

（4）结构化联合抽取模型，与管道联合抽取模型的区别在于，事件检测模型和事件关系抽取模型不是序列关系，而是结构化的。注意单任务模型和多任务模型是无法处理None事件类型的，但是管道联合模型和结构化联合抽取模型可以。这篇文章提出的SSVM方法属于结构化联合抽取模型。4种方法形象化表示如下图所示。

端到端的事件-事件关系联合抽取模型分类（转载请注明出处）

Neural SSVM模型

接下来看一下本篇文章提出的Neural SSVM（神经结构化支持向量机）模型。

Neural SSVM 模型架构

上图是这篇文章提出的模型架构。事件对由BERT得到Embedding，然后经由BiLSTM编码，最后放到SSVM中进行事件与否和事件关系存在与否的判断。

SSVM的Loss函数为

其中，

表示的是事件的数目和事件关系数目的总和。

分别表示的事件对和事件关系的真实结果和预测结果。

分别表示的判断事件与否和判断事件关系存在与否的得分函数。

其他参数为超参或者模型参数。

MAP推断

这篇文章是通过最大后验概率推断来得到预测结果的，将推断问题建模为整数线性规划（ILP）问题，加入了三种约束：（1）one-labelassignment：单标签分配，事件和事件关系只有是与不是之分，并且只可能是其中一种；（2）event-relationconsistency：事件-事件关系的一致性，只有事件之间才存在事件关系，非事件之间不存在；（3）symmetryand transitivity：（时序）关系的对称性和传递性。

最后ILP的目标函数为：

Experiments

最后看一下这篇文章的实验结果。用的数据集是TB-Dense和MATRES，比较的模型就是开篇提到的四种端到端的事件-事件关系联合抽取模型。

事件-事件关系联合抽取结果

事件-事件关系联合抽取的Ablation Study

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | 通过共享表示和结构化预测进行事件和事件时序关系的联合抽取相关推荐

论文浅尝 - KDD2020 | 真实世界超图的结构模式和生成模型
论文笔记整理:毕祯,浙江大学硕士,研究方向:知识图谱.自然语言处理. 链接:https://arxiv.org/abs/2006.07060 动机图已被用作对人或物体之间的成对关系建模的强大工具.而 ...
论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
论文浅尝 | 利用多语言 wordnet 上随机游走实现双语 embeddings
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:Knowledge Based System 链接:https://www.sciencedirect.com/science/a ...
论文浅尝 | 图神经网络综述：方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读代码
本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...
###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
论文浅尝 | 将结构预测作为增广自然语言间的翻译任务
笔记整理 | 叶宏彬,浙江大学计算机博士生论文地址:https://openreview.net/pdf?id=US-TP-xnXI 摘要:我们提出了一个新的框架,即增强自然语言之间的翻译(Tran ...
论文浅尝 | 使用循环神经网络的联合事件抽取
余博涛,南京大学计算机科学与技术系,硕士研究生论文连接:http://www.aclweb.org/anthology/N16-1034 发表会议:NAACL-HLT 2016 摘要事件抽取(ev ...

论文浅尝 | 通过共享表示和结构化预测进行事件和事件时序关系的联合抽取

论文浅尝 | 通过共享表示和结构化预测进行事件和事件时序关系的联合抽取相关推荐

最新文章

热门文章