知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义

2024-05-19 19:13:47

知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义

本文将介绍用于衡量知识图谱嵌入（Knowledge Graph Embedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10。

文章目录

知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义
- 一、MRR
- 二、MR
- 三、HITS@n
- 四、从论文上发现的观点
- 四、从论文上发现的观点

一、MRR

MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。具体的计算方法如下：

其中 $S$ 是三元组集合， $|S|$ 是三元组集合个数， $rank_i$ 是指第 $i$ 个三元组的链接预测排名。该指标越大越好。例如，对于三元组(Jack，born_in，Italy)，链接预测的结果可能是

s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jack   born_in   Thomas         0.234      5

那么，三元组(Jack，born_in，Italy)的链接预测排名则是2。

二、MR

MR的全称是Mean Rank。具体的计算方法如下：

上述公式涉及的符号和MRR计算公式中涉及的符号一样。该指标越小越好。

三、HITS@n

该指标是指在链接预测中排名小于n的三元组的平均占比。具体的计算方法如下：

其中，上述公式涉及的符号和MRR计算公式中涉及的符号一样，另外II(.)

是indicator函数（若条件真则函数值为1，否则为0）。一般地，取n等于1、3或者10。该指标越大越好。

四、从论文上发现的观点

、3或者10。该指标越大越好。

四、从论文上发现的观点

MRR和HITS@10是两个重要指标，不可缺少。MR则不被认为是一个好的指标。

知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义相关推荐

论文浅尝 - CIKM2021 | DT-GCN: 一种双曲空间中的数据类型感知的知识图谱表示学习模型...
论文作者:申雨鑫,天津大学硕士发表会议:CIKM 2021 链接:https://dl.acm.org/doi/pdf/10.1145/3459637.3482421 动机知识图谱表示学习旨在将实 ...
【知识图谱论文】使用强化学习对时间知识图中的路径进行多跳推理
Article 文献题目:Multi-hop reasoning over paths in temporal knowledge graphs using reinforcement learnin ...
知识图谱在信息检索中的应用_如何使用知识图谱增强信息检索模型？
©PaperWeekly 原创 · 作者|刘布楼学校|清华大学博士生研究方向|信息检索传统的信息检索模型中,文本通常使用词袋模型表示.该方法有两个较为明显的缺陷:1)只能通过 TF-IDF 等相 ...
论文浅尝 | BoxE：一种基于Box的知识图谱表示学习模型
笔记整理 | 耿玉霞,浙江大学直博生.研究方向:知识图谱,零样本学习等. 论文链接: https://arxiv.org/pdf/2007.06267.pdf 本文是发表在NeurIPS 2020上 ...
收藏 | 最新知识图谱论文清单（附解读、下载）
来源:开放知识图谱本文约9100字,建议阅读10+分钟. 解读今年顶会的知识图谱相关论文,带你快速了解知识图谱领域最新研究进展. 精选 6 篇来自 EMNLP 2018.COLING 2018.IS ...
最新知识图谱论文清单，就算看不懂也会忍不住收藏
精选 6 篇来自 EMNLP 2018.COLING 2018.ISWC 2018 和 IJCAI 2018 的知识图谱相关工作,带你快速了解知识图谱领域最新研究进展. 本期内容选编自微信公众号「开放 ...
中国人民大学张静：知识图谱融合中歧义性与异质性问题的讨论
⬆⬆⬆ 点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 2020 年 9 月 25 日,在由中国科协主办,清华大学计算机科学与技术系.AI TIME 论道承办的<2020 中国科 ...
首次公开！深度学习在知识图谱构建中的应用
在智能化时代的今天,搜索引擎不仅能理解用户检索的信息.并总结出与搜索话题相关的内容,更在逐步构建一个与搜索结果相关的完整知识体系,让用户获得意想不到的发现.神马搜索的知识图谱与应用团队就在这条路上不断 ...
如何使用知识图谱增强信息检索模型？
©PaperWeekly 原创 · 作者|刘布楼学校|清华大学博士生研究方向|表示学习传统的信息检索模型中,文本通常使用词袋模型表示.该方法有两个较为明显的缺陷:1)只能通过 TF-IDF 等相 ...

最新文章

热门文章