论文浅尝 | 对于知识图谱嵌入表示的几何形状理解
论文链接:http://anthology.aclweb.org/attachments/P/P18/P18-1012.Presentation.pdf
发表会议:ACL 2018
摘要
知识图谱的嵌入表示在近几年已经成为一个非常活跃的研究领域,众多相关方法相继被提出,这些嵌入方法是将知识图谱中的实体和关系表示成同一向量空间中的向量。虽然知识图谱的嵌入表示在各种任务中被广泛应用,但是对嵌入表示的几何理解尚未被探索,本文旨在填补这项空白。本文深入分析知识图谱嵌入表示的几何形状,并分析其与任务性能和其他超参数之间的关联。通过在真实数据集上进行广泛的实验,本文发现了一些值得注意的现象,例如不同类别的嵌入方法学习到的嵌入表示在几何形状上存在明显差异。
度量标准
1. ATM
ATM(alignment to mean)是指向量集合 V 中的一个向量 v 与平均向量的余弦相似度。
2. Conicity
Conicity是指向量集合 V 中所有向量 ATM 的平均值。
3. VS
VS(vector spread)是指向量集合V中所有向量ATM的方差。
图1给出了一个实例来帮助理解这几个指标,图中是一个三维坐标系(展示的点是随机生成的),左图表示的是高锥度(conicity)和低向量分散度(VS)的情形,而右图表示的是低锥度和高向量分散度的情形。
4. AVL
AVL(average vector length)是指向量集合V中所有向量的平均长度( L_2范数)。
实验分析
本文的主要考虑6个知识图谱的嵌入表示模型,并把6个方法分为两类。一类是加法(additive)模型,有TransE[2]、TransR[3]和STransE[4];另一类是乘法(multiplicative)模型,有DistMult[5]、HolE[6]和ComplEx[7]。同时,本文采用了两个常见数据集FB15K和WN18。本文主要从以下4个发现展开实验分析。
1. 模型类型对几何形状的影响
不同模型在实体向量的几何形状上存在明显差异。乘法模型的ATM值均为正值且向量分散度较低。加法模型此形成鲜明对比,加法模型的ATM值正负皆有且分布较为均衡,同时向量分散度较高。这说明乘法模型得到的嵌入向量不是均匀的分散在向量空间中,而加法模型得到的嵌入向量则是均匀的分散在向量空间中。
2. 反例数量对几何形状的影响
乘法模型的锥度(conicity)随着反例数量的增加而增大,而加法模型的锥度对反例数量不敏感。在平均向量长度(AVL)方面,乘法模型中的DistMult和ComplEx随着反例数量的增加而减小,HolE则几乎没有变化,这是因为HolE把实体向量限制在了单位球内。所有加法模型的AVL也对反例数量不敏感,而它们也有和HolE类似的限制。
3. 向量维数对几何形状的影响
随着向量维数的增加,乘法模型的锥度呈现出下降的趋势,而平均向量长度则呈现出上升趋势。加法模型的锥度和平均向量长度则对向量维数不敏感。
4. 几何形状与性能的联系
本实验以链接预测任务为例,采用与TransE相同的实验设定。当反例数量相同时,锥度小的乘法模型的性能更优;当反例数量增加时,乘法模型表现更好。加法模型的性能与锥度并无太大关系。在平均向量长度方面,对于除HolE之外的乘法模型而言,当反例数量一定时,平均向量长度越大性能越好;而对于加法模型和HolE而言,平均向量长度与性能的关系并不显著,这个现象是由于这些方法使用单位向量长度来限制嵌入向量所导致的。
参考
[1] Chandrahas, Aditya Sharma, Partha Talukdar: Towards Understanding the Geometry of Knowledge Graph Embeddings. ACL 2018: 122-131.
[2] Antoine Bordes, Nicolas Usunier, Alberto Garciaduran, Jason Weston, Oksana Yakhnenko: Translating Embeddings for Modeling Multi-relational Data. NIPS 2013: 2787-2795.
[3] Yankai Lin, Zhiyuan Liu, Maosong Sun, Yang Liu, Xuan Zhu: Learning entity and relation embeddings for knowledge graph completion. AAAI 2015: 2181-2187.
[4] Dat Quoc Nguyen, Kairit Sirts, Lizhen Qu, Mark Johnson: STransE: anovel embedding model of entities and relationships in knowledge bases.NAACL-HLT 2016: 460-466.
[5] Bishan Yang, Wentau Yih, Xiaodong He, Jianfeng Gao, Li Deng: Embedding Entities and Relations for Learning and Inference in Knowledge Bases. ICLR2015.
[6] Maximilian Nickel, Lorenzo Rosasco, Tomaso Poggio: Holographic embeddings of knowledge graphs. AAAI 2016: 1955-1961.
[7] Theo Trouillon, Johannes Welbl, Sebastian Riedel, Eric Gaussier, Guillaume Bouchard: Complex embeddings for simple link prediction. ICML 2016: 2071-2080.
OpenKG.CN
中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | 对于知识图谱嵌入表示的几何形状理解相关推荐
- 论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取
论文笔记整理:王狄烽,南京大学硕士,研究方向为关系抽取.知识库补全. 链接:https://arxiv.org/pdf/1903.01306.pdf 发表会议:NAACL2019 动机 现有的利用远程 ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | 动态知识图谱对齐
论文笔记整理:谭亦鸣,东南大学博士生 来源:AAAI'21 链接:https://ojs.aaai.org/index.php/AAAI/article/view/16585 概述 本文提出了一种动态 ...
- 论文浅尝 - ICLR2020 | 知识图谱中数值规则的可微学习
论文笔记整理:许泽众,浙江大学博士研究生.研究方向:知识图谱,规则挖掘等. 论文链接:https://openreview.net/pdf?id=rJleKgrKwS 本文解决的是规则的学习问题,学习 ...
- 论文浅尝 \ 联合知识图谱实例和本体概念的通用表示学习
论文笔记整理:周虹廷,浙江大学研究生.研究方向:知识图谱,图表示学习等. 论文链接: http://web.cs.ucla.edu/~yzsun/papers/2019_KDD_JOIE.pdf 本文 ...
- 论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
本文转载自公众号:机器之心. 推理知识图谱中缺失的连接已经吸引了研究界的广泛关注.在本论文中,加州大学圣塔芭芭拉分校的王威廉等研究者在知识图谱推理中引入了变分推理框架,并将路径搜索和路径推理紧密结合从 ...
- 论文浅尝 - ESWA | 知识图谱的自动扩充方法
论文笔记整理:谭亦鸣,东南大学博士. 来源:ESWA141(2020) 链接:https://www.sciencedirect.com/science/article/abs/pii/S095741 ...
- 论文浅尝 | 解决知识图谱补全中的长尾关系和不常见实体问题
论文笔记整理:汪寒,浙江大学硕士. 链接:https://www.aclweb.org/anthology/P19-1024.pdf 动机 KG的分布遵循长尾分布,大部分关系只有很少的三元组,且大体趋 ...
- 论文浅尝 | 从知识图谱流中学习时序规则
论文笔记整理:汪寒,浙江大学硕士,研究方向为知识图谱.自然语言处理. 链接:http://ceur-ws.org/Vol-2350/paper15.pdf 动机 知识图谱是现在十分流行的数据管理方式, ...
最新文章
- 微软开源可解释机器学习工具包lnterpretML
- asp.net序列化
- python【力扣LeetCode算法题库】695- 岛屿的最大面积(深搜)
- 十五天精通WCF——第十一天 如何对wcf进行全程监控
- spring boot配置dubbo(XML)
- nio2 java_java nio2
- win7下的python2.7和pip的环境安装
- 国税计算机基础知识,国税系统计算机基础知识培训课件精要.ppt
- 计算机一黑屏就显示当前账户已锁定,电脑黑屏用户已锁定账户怎么办?
- CF417D--- Cunning Gena(排序+状压dp)
- 鼠标画上去图片旋转360度
- python2和python3的区别
- 基于上下文感知计算的APT攻击组织追踪方法
- Mysql技术-innodb引擎-笔记
- 05.Laravel post提交失败 返419 | Page Expired
- pip install mysqlclient安装
- Cocos2d-x 3.X, IOS版添加广点通广告平台
- 第一行代码Android(第三版)学习第一天
- HTML5期末大作业:静态购物网站设计——静态购物网站模板11页(前台+后台) HTML+CSS+JS
- 【指标】GMV和销售额、SPU、SKU、商品、单品