TCKGE: Transformers with contrastive learning for knowledge graph embedding

概述：

以前的一些知识图谱嵌入方法由于其浅层的网络结构，不能解决复杂的多关系知识图谱。因此文中针对此种现象，提出了TCKGE——针对于学习多关系知识图谱中复杂的语义信息。TCKGE能够有效的捕获知识图谱中丰富的语义信息，其利用了Transformer来建立深度的等级结构去动态的学习实体和关系的embedding，同时，为了保证获得健壮的embedding，作者也加入了对比学习策略，通过探索几种不同的数据增强策略的有效性来促进优化。

具体方法：

一句话总结就是在分等级transformer的基础上加入了对比学习。

TCKGE由四部分组成：

1，底部的Shared Entity Encoder：提供了实体-关系对的embedding。其输入的数据类型是三元组，包含了三个embedding部分：一个特殊的token[CLS]，原实体embedding，和在一个三元组内相应的关系embedding。将输入的三部分看做一个序列，为了辨别三者在序列中的位置，加入了position embedding。

2，一个数据augmentation模型：产生不同的视图。其输入是源实体embedding的一跳关系图

3，顶部的shared context encoder：聚合来自实体邻居的信息,与实体编码器类似，context编码器输入包含三部分——一个特殊的token[GCLS]，原实体-关系对表达和领居实体-关系对表达

目标实体的得分如下计算公式：

之后再使用softmax进行归一化：

作者也引入了MEM策略来平衡在contextualization 过程中源实体和图context信息的利用

最后使用average pooling来存储图context信息

4，一个对比损失层：它最大化了一个图表示和从同一个图扩充的相应版本之间的一致性，同时保持它与同一批中的其他图表示之间的距离。

在每个训练步骤中，首先从G中随机抽样N个三元组，然后统一抽样原实体的邻居去构建N个子图作为一个batch，当augmentation后就有2N个子图。负对没有明确的采样，而是从同一批中的其他2（N-1）个子图中生成。最后其损失函数表达如下：

将上述三种损失函数相加，即是最终TCKGN的损失函数：

TCKGE: Transformers with contrastive learning for knowledge graph embedding相关推荐

HAKE笔记：Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
原文:Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction 代码:https://github.com/MIR ...
知识图谱与推荐系统之《Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation》MKR
依次训练的方法主要有:Deep Knowledge-aware Network(DKN) 联合训练的方法主要有:Ripple Network 交替训练主要采用multi-task的思路,主要方法有:M ...
论文阅读笔记（1）：Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation
Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation 原文链接:https://arxiv.org/pdf/1 ...
【论文阅读笔记】Multi-Task Feature Learning for Knowledge Graph Enhanced
Multi-Task Feature Learning for Knowledge Graph Enhanced 1.框架 MKR是一个通用的.端对端深度推荐框架, 由三个主要部分组成:推荐模块.KG ...
【论文阅读】Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
<Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction> 论文来源:EMNLP2020 论文链接: ...
论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
目录问题创新 1.Introduction 2.相关工作 3.HAKE模型原文:[1911.09419] Learning Hierarchy-Aware Knowledge Graph Emb ...
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
Knowledge Graph Embedding: A Survey of Approaches and Applications【翻译】
原文地址:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8047276 论文名称:Knowledge Graph Embed ...
RKGE Recurrent Knowledge Graph Embedding for Effective Recommendation 论文
Paper-RKGE [ Recurrent Knowledge Graph Embedding for Effective Recommendation ] Abstract 关于KG应用于推荐,现 ...

TCKGE: Transformers with contrastive learning for knowledge graph embedding

概述：

具体方法：

TCKGE: Transformers with contrastive learning for knowledge graph embedding相关推荐

最新文章

热门文章