ELG: An Event Logic Graph

Xiao Ding, Zhongyang Li, Ting Liu∗, Kuo Liao
Research Center for Social Computing and Information Retrieval
Harbin Institute of Technology, Harbin, 150001, China{xding, zyli, tliu, kliao}@ir.hit.edu.cn

一、精简总结

本文提出了一种新的图谱——事理图谱（ELG）。
本质上是一个事理逻辑知识库，是一个有向有环图。
节点代表事件，有向边代表事件间的逻辑关系（顺承、因果、条件和上下位等）
本文从事件的关系抽取开始，对事件关系强度计算、事件抽象和泛化等进行介绍，给出基准和评估指标，进行了脚本预测实验。

二、Abstract

事件的演变和发展有着它们自己的基本规则，这使得事件接连发生。因此，事件之间这种演变模式的发现，对事件预测、策略决断和情景对话系统有着极大的价值。然而，传统的知识图谱主要关注实体和实体间的关系，忽视了真实世界的事件。本文中，我们提出了一种新类型的知识库——事理逻辑图谱（ELG），它可以揭露真实世界中事件的演变模式和发展逻辑。ELG是一个有向有环图，节点代表事件，有向边代表顺承、因果、条件或上下位等关系。我们构建了两个主要图谱：金融事理图谱由150多万个事件节点和180多万个有向边构成；旅游图谱由大概3万个事件节点和23.4万个有向边构成。实验的结果表明，ELG对脚本事件的预测非常有效。

三、Introduction

本文的主要研究工作包括三个方面。首先，我们是最早提出ELG定义的人。其次，我们提出了一个有前途的框架，可以从大型的非结构化文本语料库构建ELG。第三，实验结果表明，ELG能够改善下游应用程序的性能，例如脚本事件预测

四、Event Logic Graph

4.1 定义：

ELG是一个有向循环图，其节点是事件，边缘代表事件之间的顺序，因果，条件性或上下位关系。本质上，ELG是事件逻辑知识库，它揭示了现实事件的演化模式和发展逻辑

4.1.1 事理图谱的三种结构

（a) 树状
（b) 链状
（c) 环状

4.2 E = （S, P, O)

事理图谱中，事件被表示为抽象、泛化和语义完整的三元组E=（S, P, O）,其中，P表示动作，S表示执行者，O表示动作影响的实体。
在定义中，每个时间必须包含触发词（P），不同的情境下，S或O可以忽略。

4.3 抽象与泛化

我们不关心事件确切的参与者、位置和时间。比如“who watch movies"和”watch which movies“在事理图谱中无关紧要。语义完整是指人们可以准确地理解事件。

4.4 事件间关系

4.4.1 顺承关系

前一事件a发生后，后一件事b跟着发生
根据TimeML时序规则，有以下两种形式：
（1）事件a反生后，事件b紧接着发生
（2）事件a发生一段时间后，事件b发生
例如：
吃饭——点菜——买单——离开

4.4.2 因果关系

前一事件a导致后一事件b的发生
例如：
核泄漏——海洋污染

4.4.3 条件关系

前一事件a是后一事件b发生的前提条件
例如：
努力学习——获得好成绩

4.4.4 上下位关系

上位事件包含下位事件
例如：

食物{蔬菜{黄瓜，土豆}，肉{猪肉，牛肉}}

五、Architecture

我们提出了一个框架，用于从大规模非结构化文本构建ELG，包括数据清理，自然语言处理，事件提取，顺序关系和方向分类，因果关系提取和转移概率计算。清理数据后，将进行一系列自然的语言处理步骤，包括分段，词性标记和依赖性解析，以进行事件提取。Language Technology Platform (LTP)提供的工具被用于预处理。

5.1 公开事件抽取

我们使用Open IE技术和依赖解析从自由文本（腾讯新闻、百度新闻）中提取结构化事件。给定从文本中获得的句子，我们首先采用（Ding等人，2013）中描述的事件提取方法来提取事件的候选元组（S，P，O，X），然后使用LTP（Che等人（2010）提取主题，宾语和谓语。我们通过适当的阈值过滤掉低频事件元组，以排除由于分割和相关性分析错误而提取的事件元组。带有字典的正则表达式会删除一些过于笼统的事件，例如“去某处”和“做某事”。

5.2 顺承关系和方向判别

给定一个事件候选对（A, B），判断是否具有顺承关系。如果有顺承关系，则给出关系方向。

5.2.1 文本特征

Table2展示了针对这两个监督分类任务提取的多种特征
PMI-based Features：（逐点互信息）
在数据挖掘或者信息检索的相关资料里，经常会用到PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性。PMI的定义如下：

根据pmi(x, y) = p(x, y) / [ p (x) * p(y) ] , 即两个单词共现的概率除以两个单词的频率乘积

5.2.2 转移概率计算

给定一个事件对（A,B），我们使用以下等式近似估计从事件A到事件B的转变概率：

其中f（A，B）是事件对（A，B）的同时出现频率，f（A）是整个语料库中事件A的出现频率。

5.3 因果关系抽取

5.3.1 无监督因果关系抽取

构造因果关系ELG的第一步是从非结构化的自然语言文本中识别因果对。由于数据量非常大（数以百万计的文档），因此不可能获得人类注释对。我们发现，文本表达的因果关系具有多种形式。因此，我们提供了与之前的工作类似的程序（Zhao等，2017），该程序可以自动从自然语言文本中识别因果事件的提及。

我们构造了一组规则以提取因果事件。每个规则都遵循<Pattern，Constraint，Priority>的模板，其中Pattern是包含所选连接符的正则表达式，Constraintis是可应用该模式的语句的句法约束，而Priorit是匹配多个规则的规则的优先级。

5.3.2 有监督因果关系抽取

如图4所示，我们使用Bert和BiLSTM + CRF模型提取因果关系。语言模型预训练通过利用大量未标记的数据对学习通用语言表示非常有效。一些最杰出的模型是ELMo（Peters等人，2018），GPT（Rad）和BERT（Devlin等人，2019）。 BERT使用双向变压器架构。将预训练的语言模型应用于下游任务的现有策略有两种：基于功能的和微调。

在本文中，我们使用以下标记在句子中注释每个标记：B-cause，I-cause，B-effect，I-effect和O。标记“ B-cause”是指原因事件的开始标记，原因事件中的每个rest令牌都由“ I-cause”表示。标签“ O”是指与因果关系无关的普通标记。对于每个令牌，我们为BiLSTM的输入层提供隐藏的表示Ti。这些隐藏的表示可以看作是从Bert模型中学到的语义特征。然后将BiLSTM的输出表示层输入到分类层中，以预测因果标签。通过使用CRF方法，分类层中的预测以周围的预测为条件。

5.4 事件泛化

如图5（a）所示，如果我们可以在两个事件对中找到同一事件，则很容易形成图结构。但是，由于提取的事件由词袋离散表示，因此我们很难找到两个相同的事件。因此，如图5（b）所示，我们建议找到语义相似的事件（A和A’）并将其关联。

为此，我们提出了学习每个事件的分布式表示的建议，并利用余弦相似度来度量两个事件向量之间的语义相似性。我们使用神经张量网络的框架来学习事件嵌入，如我们先前的工作所述（Ding等人，2015年）

5.5 事理图谱的应用

我们研究了ELG在脚本事件预测任务中的应用（Li et al。，2018）

图6：在（b）中，训练事件链显示C和E比C和D具有更强的关系，因此基于事件对和基于链的模型很可能选择错误的随机候选E。在（c）中，事件B，C和D组成了一个紧密连接的组件。这种特殊的图结构包含密集连接信息，可以帮助学习更好的事件表示形式，以选择正确的后续事件D。

基于ELG和我们提出的比例尺图神经网络（SGNN），我们在（Li等人，2018）的工作中实现了脚本事件预测的最新性能。我们还可以将ELG集成到对话系统中，以确保自动答复的答案更加合乎逻辑。

六、实验

在本节中，我们进行三种实验。首先，我们认识到两个事件是否具有顺序关系及其方向。其次，我们根据我们提出的无监督和有监督的方法提取事件之间的偶然关系。最后，我们使用下游任务：脚本事件预测来显示ELG的有效性。

6.1 数据集

我们从数据集中为2,173个具有较高并发频率（≥5）的事件对进行了注释。每个事件对（A，B）的顺序是A在B之前发生在B之前，其发生频率比B在A之前发生的频率高。在注释过程中，提供了注释器事件对及其对应的上下文。他们需要从常识性的角度判断两个事件之间是否存在顺序关系。如果为true，则还需要给出顺序的方向。例如，“观看电影”和“听音乐”被标记为无顺序关系（负），而“去火车站”和“乘票”被标记为具有顺序关系（正），并且顺序方向是从前者到后者（正）。

表3列出了我们数据集的详细统计信息。正例和负例之间非常不平衡。因此，我们对训练集中的负面样本进行了过度抽样，以确保正面和负面训练样本的数量相等。为进行因果关系实验，我们从诸如腾讯1和网易2之类的在线网站上抓取了1,362,345个中国金融新闻文件。所有标题和主要内容被用作实验语料库。我们手动注释了1,000个句子以评估因果关系抽取的性能。脚本事件预测（Chambers和Jurafsky，2008a）是一项具有挑战性的基于事件的常识推理任务，其定义为提供一个现有的事件上下文，需要选择王等人之后。（2017），我们评估了标准多选叙述性完形填空（MCNC）数据集（Granroth-Wilding和Clark，2016年）。

6.2 基准和评估指标

6.2.1 顺承关系

对于顺承关系，将事件对的PMI分数用作基线方法。对于顺序方向识别，如果事件A发生在B之前的频率高于B发生在A之前的频率，则我们将顺序方向视为从事件A到事件B。这称为Preceding Assumption（前提假设），它用作顺序方向识别的基线方法。

对于顺序关系和方向识别，四个分类器用于这些分类任务，分别是朴素贝叶斯分类器（NB），逻辑回归（LR），多层感知器（MLP）和支持向量机（SVM）。我们探索了不同的特征组合，以找到两个分类任务的最佳特征集。所有实验均使用五重交叉验证进行。最终的实验结果是十次实施的平均性能。

两种评估指标用于评估我们提出的方法的性能：准确性和F1指标。

6.2.2 因果关系

对于因果关系挖掘，我们主要进行实验以评估因果关系抽取系统。与顺序关系实验中相同的评估指标用于评估因果关系抽取的性能。我们主要将无监督的基于规则的因果关系抽取方法与有监督的基于bert的因果关系抽取方法进行比较。

6.2.3 脚本事件预测

我们将我们的模型与以下基准方法进行比较，并使用准确性作为评估指标来遵循先前的工作（Wanget等人，2017）。

6.3 结果和分析

6.3.1 顺序关系识别

表4显示了顺承关系分类的实验结果，从中我们发现简单的PMI基准可以实现良好的性能。确实，由于正负测试示例之间的不平衡，PMI基线选择一个阈值将所有测试示例归类为正，并得出1的召回率。使用表2中所有功能的四个不同分类器的结果很差，只有NB分类器比基线方法具有更高的性能。我们探索了四种特征的所有组合，以找到每个分类器的最佳特征集。 NB分类器的最佳性能达到了77.6％的准确度，F1分数为85.7％。

表5显示了顺序方向分类的实验结果，从中我们可以得出结论，预先假设是非常强的方向分类基准，准确率达到86.1％，F1得分达到92.5％。表2中具有所有功能的四个分类器获得的效果很差，只有SVM才能实现比基线方法更高的性能。我们探索了四种功能的所有组合，以找到适用于不同分类器的最佳功能集。尽管如此，使用关联和基于上下文的功能，SVM分类器仍以87.0％的精度和92.9％的F1分数实现了最佳性能。

6.3.2 因果关系提取

表6显示了因果关系提取的实验结果，从中我们发现基于Bert的方法明显优于基于规则的方法。这主要是因为BERT模型可以从预训练中获得通用的语言知识，然后可以使用我们的注释数据对模型进行微调以提取因果关系。基于规则的方法可以实现更好的精度得分，但差的召回得分，因为人工构造的规则几乎无法覆盖整个语言现象。

6.3.3 脚本事件预测

实验结果列于表7，从中我们可以得出以下观察结果：
（1）Word2vec，DeepWalk和其他基于神经网络的模型（EventComp，PairLSTM，SGNN）取得了比基于计数的PMI和Bigram模型更好的结果。主要原因是学习事件的低维密集嵌入要比稀疏特征表示更有效，以进行脚本事件预测。
（2）比较“ Word2vec”和“ DeepWalk”以及“ EventComp，PairL-STM”和“ SGNN”与基于线对和基于链的模型相比，基于图的模型具有更好的性能。这证实了我们的假设，即事件图结构比事件对和链更有效，并且可以为脚本事件的预测提供更多的事件交互信息。
（3）比较“ SGNN-attention”和“ SGNN”表明，注意力机制可以有效地改善这表明不同的上下文事件对于选择正确的后续事件具有不同的意义。
（4）SGNN达到了最佳脚本事件预测性能52.45％，比最佳基准提高了3.2％。模型（PairL-STM）。我们还试验了不同模型的组合，以观察不同的模型是否具有互补作用。我们发现SGNN + EventComp将SGNN的性能从52.45％提高到54.15％。这表明他们可以互相受益。但是，SGNN + PairLSTM只能将SGNN性能从52.45％提高到52.71％。这是因为SGNN和PairLSTM之间的区别并不明显，这表明它们可以学习类似的事件表示，但SGNN可以更好地学习。 SGNN，EventComp和PairLSTM的组合实现了54.93％的最佳性能。这主要是因为结对结构，链结构和图结构各有优势，并且它们可以互相补充。

SGNN和PairLSTM的学习曲线（随时间变化的精度）如图8所示。我们发现SGNN快速达到了稳定的高准确度，并从头到尾都优于PairLSTM。这证明了SGNN优于PairLSTM模型的优势。

七、Conclusion

在本文中，我们提出了一个事件逻辑图（ELG），它可以揭示现实世界事件的演化模式和发展逻辑。我们还提出了从大型非结构化文本构造ELG的框架，并使用ELG来提高脚本事件预测的性能。 ELG中使用的所有技术均与语言无关。因此，我们可以轻松构造ELG的其他语言版本。

八、References

[1] Nathanael Chambers and Dan Jurafsky. 2008a. Unsu-pervised learning of narrative event chains. InPro-ceedings of ACL-08: HLT, pages 789–797. Associa-tion for Computational Linguistics.
[2] Nathanael Chambers and Daniel Jurafsky. 2008b. Un-supervised learning of narrative event chains. InACL, volume 94305, pages 789–797.
[3] Nathanael Chambers, Shan Wang, and Dan Juraf-sky. 2007. Classifying temporal relations betweenevents. InACL, pages 173–176. ACL.
[4] Wanxiang Che, Zhenghua Li, and Ting Liu. 2010. Ltp:A chinese language technology platform. InICCL,pages 13–16. Association for Computational Lin-guistics.
[5] Jacob Devlin, Mingwei Chang, Kenton Lee, andKristina Toutanova. 2019. Bert: Pre-training of deepbidirectional transformers for language understand-ing.north american chapter of the association forcomputational linguistics.
[6] Xiao Ding, Bing Qin, and Ting Liu. 2013. Buildingchinese event type paradigm based on trigger clus-tering. pages 311–319.
[7] Xiao Ding, Yue Zhang, Ting Liu, and Junwen Duan.2015. Deep learning for event-driven stock predic-tion. pages 2327–2333.
[8] Mark Granroth-Wilding and Stephen Clark. 2016.What happens next? event prediction using a com-positional neural network model. InAAAI.
[9] Bram Jans,Steven Bethard,Ivan Vuli ́c,andMarie Francine Moens. 2012.Skip n-gramsand ranking functions for predicting script events.InEACL.
[10] Zhongyang Li, Xiao Ding, and Ting Liu. 2018. Con-structing narrative event evolutionary graph forscript event prediction.international joint confer-ence on artificial intelligence, pages 4201–4207.
[11] Inderjeet Mani,Marc Verhagen,Ben Wellner,Chong Min Lee, and James Pustejovsky. 2006.Machine learning of temporal relations. InICCLand ACL, pages 753–760. ACL.
[12] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Cor-rado, and Jeff Dean. 2013. Distributed representa-tions of words and phrases and their compositional-ity. InNIPS, pages 3111–3119.
[13] Raymond Mooney and Gerald DeJong. 1985. Learningschemata for natural language processing.Urbana,51:61801.
[14] Bryan Perozzi, Rami Alrfou, and Steven Skiena. 2014.Deepwalk: online learning of social representations.KDD, 2014:701–710.
[15] Matthew E Peters, Mark Neumann, Mohit Iyyer, MattGardner, Christopher G Clark, Kenton Lee, andLuke S Zettlemoyer. 2018.Deep contextualizedword representations.north american chapter of theassociation for computational linguistics, 1:2227–2237.
[16] Karl Pichotta and Raymond J Mooney. 2014. Statis-tical script learning with multi-argument events. InEACL, volume 14, pages 220–229.
[17] Karl Pichotta and Raymond J Mooney. 2016. Learn-ing statistical scripts with lstm recurrent neural net-works. pages 2800–2806.
[18] James Pustejovsky, Patrick Hanks, Roser Sauri, An-drew See, Robert Gaizauskas, Andrea Setzer,Dragomir Radev, Beth Sundheim, David Day, LisaFerro, et al. 2003. The timebank corpus. InCorpuslinguistics, volume 2003, page 40. Lancaster, UK.
[19] Kira Radinsky,Sagie Davidovich,and ShaulMarkovitch. 2012.Learning causality for newsevents prediction. InWWW, pages 909–918. ACM.
[20] Roger C Schank and Robert P Abelson. 1977. Scripts,plans, goals, and understanding: An inquiry into hu-man knowledge structures.
[21] Zhongqing Wang, Yue Zhang, and Chingyun Chang.2017. Integrating order information and event rela-tion for script event prediction. pages 57–67.
[22] Sendong Zhao, Quan Wang, Sean Massung, Bing Qin,Ting Liu, Bin Wang, and ChengXiang Zhai. 2017.Constructing and embedding abstract event causalitynetworks from text snippets. InWSDM, pages 335–344. ACM.