Constructing and Embedding Abstract Event Causality Networks from Text Snippets【从文本片段构建和嵌入抽象事件因果关系网络】

Sendong Zhao∗, Quan Wang†, Sean Massung‡,
Bing Qin∗, Ting Liu∗∗, Bin Wang†, ChengXiang Zhai‡
∗School of Computer Science and T echnology , Harbin Institute of T echnology
†Institute of Information Engineering, Chinese Academy of Sciences
‡Computer Science Department, University of Illinois at Urbana-Champaign
{sdzhao, bqin, tliu}@ir.hit.edu.cn, {wangquan, wangbin}@iie.ac.cn,
{massung1,czhai}@illinois.edu

1 精简总结

本文提出了一个抽象的因果关系网络，并将其嵌入到一个连续的变量空间中，以方便下游任务的实现。

2 介绍

我们建议
1)建立一个抽象的新闻事件因果关系网络，从中我们可以获得一般的、频繁的和简单的因果关系模式；2)将因果网络嵌入到连续的向量空间中，以简化事件匹配，并使其易于用于其他应用，从而产生两个好处:1)一般因果模式帮助人们更好地理解特定因果事件背后的高级因果规则；
2)与匹配元组或名词短语相比，在连续向量空间中的匹配易于操作且更加灵活，这可能导致在事件预测或未来场景生成中更好的性能。

此外，事件因果关系嵌入可以改善股市预测等应用任务，原因有二:1)低维密集向量可以有效缓解特征稀疏性问题，因果关系为将事件嵌入低维密集向量提供了合理的途径；2)因果关系也得益于发现股市的因果因素

图1概述了我们的新框架，它由两个关键部分组成:一个新的因果网络构造和一个新的因果网络嵌入。

这项工作有三重贡献。首先，我们提出了一个新的概念“抽象因果网络”，并设计了一个新的层次因果生成方法来概括特定的因果网络。由此产生的抽象因果关系网络包含大量一般、频繁和简单的因果关系模式，这有助于人们更好地理解特定因果事件背后的高级因果关系规则。它们比特定的网络稀疏得多，因此可以执行以下嵌入步骤。其次，为了更好地利用事件因果关系，我们提出通过设计一个新的双重因果转换模型将抽象的因果关系网络嵌入到连续的向量空间中，该模型对事件因果关系的关键属性进行编码。据我们所知，这是第一个构建和嵌入抽象因果关系网络的工作。第三，我们的实验表明事件因果关系的嵌入是股票市场预测的一个有价值的资源。

3 网络构建

3.1 因果关系抽取

该步骤从非结构化自然语言文本中识别潜在的因果对。

参考文献25可以自动识别自然语言中因果关系（本文使用）
a）首先确定四个连接词（because，because of，lead to，after）用于因果关系提取
详情：以文献38给的文本因果关系连接词为基础，基于新闻数据人工筛选判断这些连接词，每个连接词使用100个新闻标题判断可以表示真因果关系的可能性高低，保留高频的因果连接词。实验结果得到的连接词为because，because of，lead to，after 四个。
b）基于连接词构造一组规则提取因果事件
c）详情：规则格式为<Pattern,Constraint,Priority>,pattern为连接词的正则表达式，constraint表示句法约束，priority表示规则的优先级，即当文本匹配到多个规则时，根据高优先级的规则确定是否为因果关系，若是，标记出因事件和果事件的位置。

3.2 因果事件抽取

第二步是从上一步确定的因果提及中提取因果事件。

详情：在新闻标题中，由于简单的名词或者名词短语大部分情况无法有效表示出因事件和果事件的内容，本文将因事件和果事件表示成原顺序的动词名词序列。

3.3 因果事件抽象化

在前一步中构建的因果关系网络只关注特定事件之间的因果关系，而没有发现相关事件之间的一般因果关系模式。

详情：根据具体因果关系发现抽象的因果关系模式，并构建层次因果关系网络（底层为具体的因果关系，顶层为抽象的因果关系）
具体做法：
a）因事件和果事件抽象化。
详情：使用wordNet的上位词代替具体事件中的名词，VerbNet中动词对应的类型代替具体事件中的动词
b）生成具体的因果关系到抽象的因果关系的对应关系。
详情：若具体的因果事件之间存在因果关系，则相应的抽象事件之间也存在因果关系。如图2所示

4 网络嵌入

详情：使用层次因果网络训练dual cause-effect (Dual-CET)模型，考虑了三个特征：
1）不对称（区分原因事件和效果事件）
2）多对多（可以找到果事件的多个因事件和因事件的多个果事件）
3）传递（捕捉长事件的因果关系，指因果关系链）
设计的代价函数：假设正确的因果关系代价函数值比不正确的因果关系的代价函数值小

C表示因事件，e表示果事件，公式的前半部分表示一个因事件对应多个果事件，后边部分表示一个果事件由多个因事件导致。
训练更新模型参数依据：

c’和e’分别表示假的因事件和假的果事件。基于代价函数，学习训练数据中的因果关系，使代价函数尽可能小，即真因果关系的代价小于所有假的因果关系的代价。
设计的损失函数：

P+表示正的训练样本，P-表示负的训练样本，γ>0,该参数是正样本和负样本的,α>0
通过随机梯度下降执行优化，规定每个事件X的模长为1（防止过拟合）

Constructing and Embedding Abstract Event Causality Networks from Text Snippets相关推荐

DualCor: Event Causality Extraction with Event Argument Correlations论文解读
Event Causality Extraction with Event Argument Correlations(带有事件论元相关性的事件因果关系抽取) 论文:2301.11621.pdf (a ...
【文本分类】Deep Pyramid Convolutional Neural Networks for Text Categorization
·阅读摘要: 本文提出了DPCNN(深度金字塔CNN)模型.在transformer.bert还没兴起的年代,模型越深效果越好,但是模型的复杂度会随着深度提升.粗略地说,DPCNN就是为了解决CN ...
【文本分类】Recurrent Convolutional Neural Networks for Text Classification
·摘要: 从模型的角度,本文作者将RNN(Bi-LSTM)和max_pooling结合使用,提出RCNN模型,应用到了NLP的文本分类任务中,提高了分类精度. ·参考文献: [1] Recur ...
中文短文本分类实例十四-LEAM（Joint Embedding of Words and Labels for Text Classification）
一.概述 LEAM(Joint Embedding of Words and Labels for Text Classification),是Guoyin Wang等提出的一种文本分类新方法,看论文 ...
【论文复现】Character-level Convolutional Networks for Text Classification
写在前面今天讨论的论文依然是文本分类主题的.Character-level Convolutional Networks for Text Classification这篇论文是在2016年4月份发 ...
论文阅读：Predicting Dynamic Embedding Trajectory inTemporal Interaction Networks（JODIE模型）
最近阅读了Jure组的工作,是关于时序交互图的JODIE模型,所思所想写在这篇文章中,如果有愿意讨论的伙伴可以评论或者私聊我指出我的问题. Abstract 作者在摘要部分提出处理有顺序的交互是一个十 ...
【每日一读】A Hyperbolic Embedding Method for Weighted Networks
目录简介论文简介 Abstract I. INTRODUCTION II. R ELATED W ORK III. PRELIMINARIES IV. H YPERBOLIC E MBEDDING ...
「论文翻译」Predicting gene-disease associations via graph embedding and graph convolutional networks
BIBM 2019(B类) 文章目录 Abstract 1. Introduction 2. Methods A. Datasets B. Graph Representation C. Graph ...
Generating Event Causality Hypotheses through Semantic Relation
通过语义关系生成事件因果关系基本思想:通过名词之间的语义关系从网络中提取的已知事件因果来假设未知的事件因果关系.假设与具有语义关系并构成事件因果关系的名词对有相同语义关系的名词对也可构成事件因果关系 ...

Constructing and Embedding Abstract Event Causality Networks from Text Snippets