论文浅尝 | 采用多层注意力机制的事件检测

笔记整理：杨帆，浙江大学计算机学院硕士，研究方向知识图谱。

动机

事件编码（event encoding）之前的工作集中在提取实体，检测触发单词以及匹配预定义的模板，这些方法存在以下缺点：首先它们依赖于细粒度的标记数据进行训练，但是这些数据很难获得；其次它们使用句子级别的嵌入来去除导致错误的上下文信息，但是一个事件的信息并不只是包含在一个单一的句子中。作者提出的模型引入多层的注意力机制来生成句子和文档的表示，旨在更好地捕获全局信息来进行事件分类及编码。

模型

本文提出的模型包含以下三个模块：

1. Sequence Encoder

该模块使用双向GRU生成每个单词的表示。

2. Word-Level Attention

该模块包含以下三部分：

2.1 Bilinear Attention

第一部分将 Sequence Encoder 生成的单词表示通过一层的MLP得到其对应的隐藏层表示，然后利用和计算得到attention ，代表句子的全局信息。

2.2 Factorized Bilinear Multi-Aspect Attention (FBMA)

第二部分通过矩阵分解将之前单层的attention转换为多层的attention，用来抽取更丰富的全局信息。

2.3 Sentence Representation

第三部分通过单词的表示以及对应的attention计算得到每个句子的表示。

3. Attention-Level Attention

3.1 Document representation

文档表示的计算方式与句子表示类似，此处不再赘述。

3.2 Loss

该模型采用交叉熵作为损失函数，并且引入惩罚项P防止生成的多层attention的各层权重相同。

实验

1. Dataset

2.Baselines

3.Results

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | 采用多层注意力机制的事件检测相关推荐

论文浅尝 | 采用成对编码的图卷积网络用于知识图谱补全
笔记整理:姚祯,浙江大学在读硕士,研究方向为知识图谱表示学习,图神经网络. 论文引用:Liu S, Grau B, Horrocks I, et al. INDIGO: GNN-based induc ...
论文浅尝 | 基于知识图谱注意力网络的商品推荐
论文笔记整理:康矫健,浙江大学计算机科学与技术系,硕士研究生. 论文链接:https://arxiv.org/pdf/1905.07854.pdf 发表会议:KDD 2019 任务定义输入:协同过滤 ...
论文浅尝 | 基于事理图谱的脚本事件预测
论文笔记整理:邱圣广,南京大学硕士,研究方向为自然语言处理. 链接:https://www.ijcai.org/proceedings/2018/0584.pdf 绪论 1. 脚本事件预测脚本事件 ...
论文浅尝 | 使用循环神经网络的联合事件抽取
余博涛,南京大学计算机科学与技术系,硕士研究生论文连接:http://www.aclweb.org/anthology/N16-1034 发表会议:NAACL-HLT 2016 摘要事件抽取(ev ...
论文浅尝 | 图神经网络综述：方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
论文浅尝 | 面向多语言语义解析的神经网络框架
论文笔记整理:杜昕昱,东南大学本科生. 来源:ACL2017 链接:https://aclweb.org/anthology/P17-2007 论文训练了一个多语言模型,将现有的Seq2Tree模型扩 ...
论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...

论文浅尝 | 采用多层注意力机制的事件检测

论文浅尝 | 采用多层注意力机制的事件检测相关推荐

最新文章

热门文章