论文解读《Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment》
论文解读《Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment》
论文题目：Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment
论文来源：IJCAI-20, Hao Nie, Xianpei Han, Le Sun, Chi Man Wong, Qiang Chen, Suhui Wu and Wei Zhang
论文地址：https://www.ijcai.org/Proceedings/2020/0506.pdf
代码链接：
1.解决的问题
以往都是通过实体的向量表示来对齐实体，主要有两类实体向量表示方法：
1）基于翻译模型的实体嵌入方法，利用局部语义信息来表示实体；
2）基于图神经网络的方法，利用全局结构信息来表示实体，这种全局信息集成了中心实体所有邻居的特征，拥有更强的综合性和可靠性，因为不容易丢失信息和不同知识图谱之间的模式异构性。
下图1中的两个实体New York(state)-纽约州和New York(city)-纽约城是两个不同的实体，实体对齐的过程只依靠局部语义信息或是全局结构信息是无法进行区分的，因为他们的邻居是完全相同的。值得注意的是，图中红字标识出的关系hasRiver和adjoin提供更细粒度的信息，如果能够同时考虑结构信息和局部语义信息考虑到实体的嵌入表示之中，这两个实体的嵌入向量就会出现差异。
图1. 实体对齐案例
2.整体框架
整体结构划分为两部分，全局结构保留嵌入部分和基于语义的局部细化部分。首先通过映射已对齐的种子集将两个知识图谱合并为一个知识图谱，然后学习实体表示，通过相似性度量找到新的可对齐实体对。
这部分描述了如何在实体对齐的过程充分的利用全局结构信息和局部语义信息。首先，利用GCN来编码结构信息，然后，通过修改过的基于翻译的模型来得到局部语义。都以端到端的方式进行学习。
2.1 全局结构保留网
利用GCN来编码全局结构信息。GCN采用邻居聚合方案，通过递归聚合并变换邻域节点的表示向量来生成节点的表示向量。
GCN的输入：l是GCN的层数，n是合并的图谱中的节点数目，d(l)是第l层的特征数目，
通过前一层的卷积计算来获得下一层的输出特征（层特征传播工具）
其中A是n*n的邻接矩阵，定义了节点之间的结构特征，A=A+I，I是单位矩阵，D是A的节点度的对角线矩阵，D-1/2是D^的算术平方根，W是权重矩阵。
在GCN的基础上添加了一个分层高速公路闸门，所谓Highway网络就是输入某一层网络的数据一部分经过非线性变换，另一部分直接从该网络跨过去不做任何转换，而多少的数据需要非线性变换，多少的数据可以直接跨过去，是由一个权值矩阵和输入数据共同决定的。其实就是对输入一部分进行处理（和传统神经网络相同），一部分直接通过.
这个高速公路闸门控制向节点传递多少邻域信息的平衡并减少噪声传播。高速公路闸门有两个非线性转换层，一个是 T（transform gate） 和一个是 C（carry gate），通俗来讲，T表示输入信息经过convolutional或者是recurrent的信息被转换的部分，C表示的是原始输入信息x保留的部分 ，其中 T为第一个公式，C为第二个公式。
其中，X(l)是第L+1层的输入，WT是权重矩阵，bT是偏差向量。
上述公式中，可以考虑一下特殊的情况，T= 0的时候，X(l+1）=X(l)，原始输入信息全部保留，不做任何的改变，T = 1的时候，X(l+1）=X(l+1)，原始信息全部转换，不在保留原始信息，仅仅相当于一个普通的神经网络。
2.2基于语义信息的局部细化网络
只用结构信息无法区分实体，提出一种上下文相关的基于翻译的方法来学习关系的嵌入rc。本文的方法是基于这样的假设，即在不同的实体环境中发生的关系无论是否具有相同的表面形式，都应该具有不同的嵌入性。根据这一思想，我们根据相邻实体和关系本身计算关系嵌入。这是直观的，即使是在相同的表面形式，但发生在不同的语境下的关系，在语义上也应该有细微的差异。
对头实体和尾实体的连接，使用带有非线性激活函数的MLP压缩实体内容。MLP是多层感知机，指的是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。
关系的上下文嵌入表示通过向量映射由下述公式来表示：
通过向量投影得到关系的上下文嵌入rc
细化实体嵌入
获得了上下文关系嵌入后，将其应用于翻译模型以细化实体嵌入。 像TransE一样，定义一个评分函数以估算相对合理三元组的可靠性。
实体对齐预测
通过度量嵌入实体之间的相似性来进行实体对齐预测，对于每个要对齐的实体，本文根据所有候选实体与目标实体的相似性对候选实体进行排名。
2.3端到端的学习
将所有的关系元组视为正样本，其余未观察到的样本视为负样本。正样本应当比负样本能量更低。利用最小化边界损失函数将正样本从负样本中分离出来。
其中B是正边界0.2和负边界2.0，a0.8是平衡正负样本的超参
3.实验结果
本文的SSP算法取得了最好的结果。主要是利用了全局结构信息和局部语义信息进行实体表示，较以前的方法添加了高速公路闸门，和关系上下文。
高速公路闸门的有效性度量：SSP(-HW)移除了本文方法中的高速公路闸门，可以看到与本文的结果产生了很大的距离。高速公路闸门可以利用选通单元来调节通过网络的信息流，并减少更新节点特征时的噪声传播。
关系上下文的有效性：SSP(-RC）用标准的迁移方法替代了本文关系上下文的嵌入，可以看到对性能的影响很大，但是低于移除高速公路闸门的影响，更是说明了高速公路闸门可以减少噪声、调节信息流。
对齐的种子对数目对模型的影响
从图中可以看到，随着对齐种子比例的增加，所有模型的性能在所有数据集上都持续增加。
实体稀疏性的影响
在真实的KG中，实体的度通常有着长尾分布，这就意味着有一大部分度适中的实体，还有一小部分度特别小或特别大的实体。稀疏性很高的实体无法学习到高质量的实体嵌入，从而影响实体对齐结果。
实验在数据集EN-CH上验证了节点度的影响。首先，为每一个节点计算度信息，然后为其分类至 {Low, Medium, High}，最后计算了这三组中直接对齐的实体，并计算了各自的对齐精度。
上图验证了本文的假设-节点的度更高，结构信息越丰富，对齐效果越好。
论文解读《Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment》相关推荐
- 论文解读PCT: Point Cloud Transformer（用于点云处理的Transformer)
最近几年transformer越来越火,在NLP.CV等领域都取得了很大的成功.这篇文章作者利用了transformer能够处理无序数据的特点,将transformer应用到点云的处理上.它的想法是基 ...
- CVM2021| PCT: Point cloud transformer（分类+分割任务SOTA）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨paopaoslam 来源丨 泡泡机器人SLAM 标题:PCT: Point cloud tra ...
- PCT: Point Cloud Transformer
PCT:点云Transformer Meng-Hao Guo Tsinghua University gmh20@mails.tsinghua.edu.cn Jun-Xiong Cai Tsinghu ...
- FastFormers 论文解读：可以使Transformer 在CPU上的推理速度提高233倍
自Transformers诞生以来,紧随其后的是BERT,在几乎所有与语言相关的任务中,无论是问题回答,情感分析,文本分类还是文本生成,都占据着NLP的主导地位. 与RNN和LSTM消失的梯度问题(不 ...
- Point Cloud Transformer(PCT)代码实现
Point Cloud Transformer(PCT)代码实现 目前最火热的Transformer在自然语言和图像识别中扮演了极其重要的角色,在点云数据集中也不例外,清华大学近期提出在点云中运用Tr ...
- 论文解读：《基于BERT和二维卷积神经网络的DNA增强子序列识别transformer结构》
论文解读:<A transformer architecture based on BERT and 2D convolutional neural network to identify DN ...
- Point Cloud Transformer（PCT）阅读翻译
PCT: Point Cloud Transformer 1. Introduction transformer是一种 encoder-decoder结构,包含了三个模块:输入词嵌入,位置(顺序)编码 ...
- 论文阅读 PCT：Point Cloud Transformer
论文阅读 PCT:Point Cloud Transformer PCT 介绍 Input Embedding native 版本 enhanced 版本 Attention PCT 介绍 PCT是基 ...
- AI论文解读：基于Transformer的多目标跟踪方法TrackFormer
摘要:多目标跟踪这个具有挑战性的任务需要同时完成跟踪目标的初始化.定位并构建时空上的跟踪轨迹.本文将这个任务构建为一个帧到帧的集合预测问题,并提出了一个基于transformer的端到端的多目标跟踪方 ...
- 论文解读：《功能基因组学transformer模型的可解释性》
论文解读:<Explainability in transformer models for functional genomics> 1.文章概括 2.背景 3.相关工作 4.方法 4. ...
最新文章
- swift集成alamofire的简单封装
- 获取线程结束代码（Exit Code）
- 单片机C语言拉高1位,第二讲 单片机C语言之12864液晶显示
- excel 打开csv中文乱码
- RabbitMQ code=200, text=Goodbye比较萌新的问题大佬绕道，乌拉~！
- 第三次学JAVA再学不好就吃翔(part92)--Map集合的遍历
- Python3函数和代码复用
- 浅谈XSS攻击的那些事（附常用绕过姿势）
- Java基础题笔记1
- antares harmony engine安装_PS CC2017安装教程
- 在Linux下使用dnw和u-boot烧写系统
- hyperledger fabric超级账本java sdk样例e2e代码流程分析
- 负载均衡器/LB - 学习/实践
- 自然语言处理面试基础
- 工程管理系统源码-专注项目数字化管理-工程管理
- CIMPLICITY 历史数据存储及趋势显示示例
- [渝粤教育] 西南交通大学 大学生的智慧篮球 参考 资料
- 机器学习中的特征选择——决策树模型预测泰坦尼克号乘客获救实例
- html5废弃html4什么,HTML5废弃的标签及属性
- 视频剪辑中的视频素材是从哪里找的？