【论文笔记】EMNLP2019: 基于层次多图卷积网络的实体类型分类
作者:Carrie
来自:深度学习的知识小屋
EMNLP2019: Fine-Grained Entity Typing via Hierarchical Multi Graph Convolutional Networks
链接: https://www.aclweb.org/anthology/D19-1502/
代码: https://github.com/SIGKDD/HMGCN
介绍
Motivation
在知识库中,一些实体的类型信息(entity type)是缺失的。但是,可以通过如下图所示的 Description, Property 和 Category 信息对entity type进行预测。现有的方法提出可以通过Description, Property 和 Category生成每个entity的特征向量,通过预测函数对实体类型进行分类。然而这一方法的缺点是,忽略了实体间的内部关系, 是以一种独立/隔绝的方法对实体类型进行预测。
Jin等人在 ACL2018提出,实体间的关系可以看作是实体间的结构信息,可以构建起 Entity Graph 对实体及其间的关系进行建模。[Jin et al.2018: https://www.aclweb.org/anthology/C18-1024/]
基于以上考虑,本文提出了用GCN对Entity Graph建模,进行实体分类的方法。
另外,Entity Graph 中存在不同的语义信息,因此本文分别构建不同的子图对不同信息进行建模;另外,为了能够同时考虑到不同子图中编码的信息, 不同的子图都采用共享的卷积参数矩阵。
Contribution
本文提出一种用GCN解决KB中 Entity Typing 问题的方法,它能够同时利用entity本身的信息以及entites之间关系带来的结构信息;
本文根据实体间不同类型的语义关系分别构建了不同的邻接矩阵(子图);同时,一种 递归正则(recursive regularization) 的方法被提出对subClassof关系建模。
本文方法超越了已有的四个 SOTA 试验效果。
方法
Connectivity Matrix Designing
首先介绍本文的构图方法, 本文根据实体间不同的语义关系,构建了三种无向图(邻接矩阵):
co-occurence Graph(
): 这是从 textual description 中直建模实体彼此的共现信息。用 表示实体e的描述文本中所包含的全部实体,则若 , 则认为是 出现在了 的上下文,或在描述中引用了; 基于此, 的构建规则如下:
category-based Graph(
): category 是知识库本身为实体打上的一些标签。例如,Wikipedia 为姚明打上的标签是Olympic basketball players of China,要注意这并不是实体的类型。这是通过实体间的 category 相似性信息进行构图,是基于假设 category 相似的实体倾向于属于同一类型( type); 用 表示实体的category集合,则根据Jaccard相似性构建:
property-base Graph(
): 对实体间的 property-proximity 进行编码; 类似于 , 构图方法如下:
基于以上三个邻接矩阵,分别通过
, , 对不同信息建模;且这三个GCN共享参数且都使用本文设计的递归正则化方法来处理实体类型(type)间subClassOf的关系。
GCN and Type Classificatin
构图完成后,基于以下GCN公式分别对
, , 进行计算:
同时,基于模型对实体类型的预测结果
和 实体实体实际的类型 , 构建如下损失函数:
Parameters Sharing and Consistency Regularization
令
, , 分别表示 , , 的输出结果, 为了联合考虑 和 编码的不同信息,则添加如下的正则项:
同理,对于
和 也添加类似的正则项 :
三个GCN以不同邻接矩阵作为输入编码实体间的不同语义关系,尽管三者参数共享但也可能出现三者输出的预测结果差异较大的情况。因此,对
进行最小化操作,使得 可以兼容到三个子图的信息。
Recursive Hierarchical Regularization
实体类型存在不同的层次,对于最底层的实体类型(叶子类型), 其样本数量往往较少,这类实体类型的判断往往需要借助父类型,因此本文引入实体类型间的依赖关系来提高分类结果。借鉴前人工作,本文在模型的最后一层上添加了递归的正则项,特别地,父子实体类型的embedding应该是相似的,例如Athlete是BasketballPlayer实体类型的父节点,则它们应该具有相似的类型表示。
对于有
层的模型架构,最后一层的参数 的每一行代表了一种类型的表示,假设代表类型的子类型,则通过如下方式进行参数正则化:
Model Training
基于以上讨论,定义如下的Loss Function:
其中,
是一个动态的权重方程;在训练的开始阶段, 较小,HMGCN 更倾向于根据 做出的决策; 随训练时间逐渐增大,HMGCN 会逐渐开始"考虑到" 带来的信息。 是根据 dev 上实验结果,在固定数值集合里选择的超参。
实验
实验部分首先介绍了 数据集、评价指标、baseline模型、实验结果,然后进行了如下实验分析:
HMGCN的变体: 如上表下栏所示,分别证明了考虑实体间不同类型关系建立图模型以及recursive regularization的作用;
标注数据量对实验结果的影响: 作者分析了标注数据量对实验结果的影响,根据实验结果证明即便没有十分充足的标注数据,本文模型也能得到较好的实验结果, 作者将这归因于GCN信息交融的结果;
实体类型频率对实验结果的影响: 作者分析了模型在不同出现频率实体类型上的实验结果,虽然对于低频类型实体的实验结果低于高频类型实体的实验结果,但在低频类型实体上仍然取得了比其他方法更好的效果, 这证明了本文方法处理稀有类型数据的能力;
正则化权重
的影响: 如下图所示,作者采取不同的 weight function 并记录了对于的实验结果,随着增大实验结果逐步增高,说明了加入 , 所编码信息对实体类型的判断是十分必要的。
交流学习,进群备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
广告商、博主勿入!
【论文笔记】EMNLP2019: 基于层次多图卷积网络的实体类型分类相关推荐
- 论文阅读笔记:《一种改进的图卷积网络半监督节点分类》
论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 文章目录 论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 摘要: 引言 非欧几里得数据 1 深度池化对偶图神经网络 ...
- 【Graph Neural Network 图神经网络】3.Spatial-based Graph Convolutional Networks 基于空间的图卷积网络
前言 类似于图像上传统的卷积运算,基于空间的方法根据节点的空间关系定义图卷积.图像可以看作是一种特殊的图形式,每个像素代表一个节点.每个像素都直接连接到它附近的像素,如下图左所示.对3*3的区域应用一 ...
- (18) 基于时空多图卷积网络的网约车需求预测
交通预见未来(18): 基于时空多图卷积网络的网约车需求预测 1.文章信息 <Spatiotemporal Multi-Graph Convolution Network for Ride-ha ...
- 基于空间的图卷积网络和基于谱的图卷积网络(spectral-based GCN and spatial-based GCN)
目录 废话: 基于空间的图卷积网络(spatial-based GCN) 基于谱的图卷积网络(spectral-based GCN) 第一部分,从0到1(从传统的傅里叶变换+卷积-->图上的傅里 ...
- 【论文阅读】基于视图的图卷积神经网络3D物体形状识别算法
原文地址:点击访问 本期,为大家推送CVPR 2020一篇关于图神经网络与3D相关的文章.自我感觉挺有趣的,有兴趣的同学推荐一读. 论文题目:View-GCN: View-based Graph Co ...
- 基于域对抗图卷积网络的多变环境下故障诊断
恕我直言:这篇文章与"GCAN: Graph Convolutional Adversarial Network for Unsupervised Domain Adaptation CVP ...
- 论文笔记 -SNIP 基于灵敏度的单次网络剪枝
基于连接灵敏度的显著性标准,该标准为给定任务识别网络中结构上重要的连接,这消除了预训练和复杂的修剪计划的需要,同时使其对架构变化具有健壮性. 一.特性 1.简单.由于网络在训练前修剪一次,因此不需要预 ...
- ICCV 2021 | 用于细粒度 3D 形状分割的基于持久同源的图卷积网络
标题:Persistent Homology based Graph Convolution Network forFine-grained 3D Shape Segmentation 细粒度3D语 ...
- LightGCN:用于推荐任务的简化并增强的图卷积网络 SIGIR 2020
论文链接:https://arxiv.org/abs/2002.02126 代码链接:https://github.com/gusye1234/LightGCN-PyTorch 论文来源:SIGIR ...
- 生物信息学|利用层注意图卷积网络预测药物-疾病关联
本篇推文引自:Predicting drug–disease associations through layer attention graph convolutional network 1. 摘 ...
最新文章
- 最长连续子序列nlogn算法
- Zabbix 3.2 短信报警配置
- OpenCV图像去噪
- 计算机算法的发展动态,计算机算法动态规划讲解.ppt
- HDU 1848 Fibonacci again and again
- Win7备份的取消与磁盘空间恢复
- TIME_WAIT状态的一些总结
- aix mysql日志,一次AIX 操作系统ASM添加磁盘的操作日志
- 《HBase权威指南》读书笔记 第八章:架构,HFile格式
- CenterOs升级gcc
- 成都学计算机的大学有哪些专业学校,成都市计算机类专业开设的院校有哪些
- 传教士与野人过河问题
- Oracle 校验统一社会信用代码函数
- [Android App] iPhoneX朋友圈小尾巴工具
- 传奇GOM引擎——添加NPC
- 【深入理解JVM】:HotSpot垃圾收集器
- 联想小新 Pad和联想小新 Pad Pro有什么区别 哪个好详细性能配置对比
- Centos7 下搭建小幺鸡接口管理工具
- web字体格式及几种在线格式转换工具介绍
- 数据挖掘学习——SOM网络聚类算法+python代码实现
热门文章
- ef core中使用code first
- 配置gem5-gpu docker版
- OpenWrt网络结构
- 简短总结一下C#里跨线程更新UI(转)
- Redhat Linux安装JDK 1.7
- Android中导入Unity项目,界面点击事件失去焦点问题
- Android中文URL乱码问题 解决
- C++数据类型之结构体的练习(用到结构体的赋值,利用结构体元素排序以及查找)
- spring---aop(10)---Spring AOP中AspectJ
- jQuery - slice( start, [end] ) Method