知识图谱常用指标：MRR、Hits@1、Hits@10、MR

2024-06-16 09:27:34

知识图谱常用指标：MRR、Hits@1、Hits@10、MR

一、MRR

MRR的全称是Mean Reciprocal Ranking，其中Reciprocal是指“倒数的”的意思。具体的计算方法如下：

$\mathbf{MRR}=\frac{1}{|S|}\sum_{i=1}^{|S|}\frac{1}{rank_i}=\frac{1}{|S|}(\frac{1}{rank_1}+\frac{1}{rank_2}+...+\frac{1}{rank_{|S|}})$

其中是三元组集合，是三元组集合个数，是指第个三元组的链接预测排名。该指标越大越好。例如，对于三元组(Jack，born_in，Italy)，链接预测的结果可能是：

s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jack   born_in   Thomas         0.234      5

二、MR

MR的全称是Mean Rank。具体的计算方法如下：

$\mathbf{MR}=\frac{1}{|S|}\sum_{i=1}^{|S|}{rank_i}=\frac{1}{|S|}({rank_1}+{rank_2}+...+{rank_{|S|}})$

上述公式涉及的符号和MRR计算公式中涉及的符号一样。该指标越小越好。

三、HITS@n

该指标是指在链接预测中排名小于的三元组的平均占比。具体的计算方法如下：

$\mathbf{HITS@}n=\frac{1}{|S|}\sum_{i=1}^{|S|}{\mathbb{I}(rank_i\leqslant n)}$

其中，上述公式涉及的符号和MRR计算公式中涉及的符号一样，另外是indicator函数（若条件真则函数值为1，否则为0）。一般地，取等于1、3或者10。该指标越大越好。

四、注意

MRR和HITS@10是两个重要指标，不可缺少。MR则不被认为是一个好的指标。

知识图谱常用指标：MRR、Hits@1、Hits@10、MR相关推荐

知识图谱常用评价指标：MRR，MR，HITS@K，Recall@K，Precision@K
一.MRR MRR的全称是Mean Reciprocal Ranking(排名的倒数),其中Reciprocal是指"倒数的"的意思.该指标越大越好(即预测排名越靠前,倒数就越大, ...
机器学习知识图谱常用术语
算法常用术语 1. 机器学习 1.1 什么是机器学习什么是"学习"?学习就是人类通过观察.积累经验,掌握某项技能或能力.就好像我们从小学习识别字母.认识汉字,就是学习的过程.而机 ...
强化学习和知识图谱实体对齐
<Deep Reinforcement Learning for Entity Alignment>精读在本文中,作者将实体对齐建模为一个顺序决策任务,其中agent(智能体)根据实体的 ...
虚拟专题：知识图谱 | 流程工业控制系统的知识图谱构建
来源:智能科学与技术学报流程工业控制系统的知识图谱构建牟天昊1, 李少远1,2 1 上海交通大学电子信息与电气工程学院 2 上海交通大学系统控制与信息处理教育部重点实验室摘要:近年来,工业控制系 ...
时空AI核心技术：时空知识图谱 | 维智科技
时空AI核心技术:时空知识图谱 | 维智科技时空知识图谱不单单是一个"增强型"的开放域知识图谱,而是需要结合业务场景和领域知识,并针对时空知识自身的特点,对知识的概念.实体和关系 ...
史上最全《知识图谱》2020综述论文！！！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 知识图谱是当下的研究热点.最近18位学者共同撰写了一篇<知识图谱>综述 ...
《知识图谱》2020综述论文，18位作者, 130页pdf，547篇参考文献
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :arvix.2003.02 ...
事件知识图谱项目整理
事件知识图谱常用命令一.PyCharm连接MongoDB (一)MongoDB 1.启动MongoDB 2.向 MongoDB Compass 导入json文件 (二)PyCharm连接MongoD ...
知识图谱和语义网概述
知识图谱和语义网概述文章目录知识图谱和语义网概述一.知识图谱 1.1 知识图谱的发展 1.2 知识图谱与深度学习区别 1.3.知识图谱相关技术 1.4 经典的知识图谱 1.5 知识图谱的表示二 ...

最新文章

热门文章