知识图谱常用评价指标:MRR,MR,HITS@K,Recall@K,Precision@K
一、MRR
MRR的全称是Mean Reciprocal Ranking(排名的倒数),其中Reciprocal是指“倒数的”的意思。该指标越大越好
(即预测排名越靠前,倒数就越大,求和结果越大越好)。具体的计算方法如下:
M R R = 1 ∣ S ∣ ∑ i = 1 ∣ S ∣ 1 r a n k i = 1 ∣ S ∣ ( 1 r a n k 1 + 1 r a n k 2 + ⋅ ⋅ ⋅ + 1 r a n k i ) MRR=\frac{1}{|S|} \sum_{i=1}^{|S|} \frac{1}{rank_i}=\frac{1}{|S|}(\frac{1}{rank_1}+\frac{1}{rank_2}+\cdot\cdot\cdot+\frac{1}{rank_i }) MRR=∣S∣1∑i=1∣S∣ranki1=∣S∣1(rank11+rank21+⋅⋅⋅+ranki1)
其中 S S S是三元组集合, ∣ S ∣ |S| ∣S∣是三元组集合个数, r a n k i rank_i ranki是指第 i i i个三元组的链接预测排名。例如,对于三元组(Jack,born_in,Italy),链接预测的结果可能是:
h | r | t | score | rank |
---|---|---|---|---|
Jack | born_in | Ireland | 0.789 | 1 |
Jack | born_in | Italy | 0.753 | 2 |
Jack | born_in | Germany | 0.695 | 3 |
Jack | born_in | China | 0.456 | 4 |
Jack | born_in | Thomas | 0.234 | 5 |
那么,三元组(Jack,born_in,Italy)的链接预测排名则是2.
二、MR
MR的全称是Mean Rank。该指标越小越好
(排名越靠前rank越小,求和也就更小),具体的计算方法如下:
M R = 1 ∣ S ∣ ∑ i = 1 ∣ S ∣ r a n k i = 1 ∣ S ∣ ( r a n k 1 + r a n k 2 + ⋅ ⋅ ⋅ + r a n k i ) MR=\frac{1}{|S|} \sum_{i=1}^{|S|} rank_i=\frac{1}{|S|}(rank_1+rank_2+\cdot\cdot\cdot+rank_i) MR=∣S∣1∑i=1∣S∣ranki=∣S∣1(rank1+rank2+⋅⋅⋅+ranki)
三、HITS@K
top-k推荐:从最后的按得分排序的推荐列表中返回前k个结果。
该指标是指在链接预测中排名小于 k k k的三元组的平均占比。具体的计算方法如下:
H I T S @ K = 1 ∣ S ∣ ∑ i = 1 ∣ S ∣ I ( r a n k i ≤ k ) HITS@K=\frac{1}{|S|} \sum_{i=1}^{|S|} \mathbb{I}(rank_i\le k) HITS@K=∣S∣1∑i=1∣S∣I(ranki≤k)
其中,上述公式涉及的符号和MRR计算公式中涉及的符号一样,另外 I ( ⋅ ) \mathbb{I}(\cdot) I(⋅)是indicator函数(若条件真则函数值为1,否则为0)。一般地,取k等于1、3或者10。该指标越大越好。
四、Recall@K,Precision@K
首先需要搞清Recall和Precision的含义,具体含义参考:分类之混淆矩阵(Confusion Matrix)
;类比HITS@K。
Precision@K准确率是指前topK结果中检索出相关结果数与检索出的结果总数的比率,衡量的是检索系统的查准率;
Recall@K召回率是指前topK结果中检索出的相关结果数和库中所有的相关结果数的比率,衡量的是检索系统的查全率。
参考链接
- KGE性能指标:MRR,MR,HITS@1,HITS@3,HITS@10
- 评测标准召回率Recall@K的理解与实例解析
- 知识图谱-常用评价指标-MRR、MR和HIT@n
- MRR,MAP等评估方法(常用与IR和QA任务)
知识图谱常用评价指标:MRR,MR,HITS@K,Recall@K,Precision@K相关推荐
- 知识图谱常用指标:MRR、Hits@1、Hits@10、MR
知识图谱常用指标:MRR.Hits@1.Hits@10.MR 一.MRR MRR的全称是Mean Reciprocal Ranking,其中Reciprocal是指"倒数的"的意思 ...
- 机器学习 知识图谱常用术语
算法常用术语 1. 机器学习 1.1 什么是机器学习 什么是"学习"?学习就是人类通过观察.积累经验,掌握某项技能或能力.就好像我们从小学习识别字母.认识汉字,就是学习的过程.而机 ...
- 叮!请查收本周份「知识图谱」专题论文解读
本期内容选编自微信公众号「开放知识图谱」. TKDE ■ 链接 | https://www.paperweekly.site/papers/2194 ■ 解读 | 花云程,东南大学博士,研究方向为自然 ...
- 论文浅尝 | 利用类比推理优化知识图谱向量表示
链接:https://arxiv.org/pdf/1705.02426.pdf 本文的主要创新点就是把类比推理应用到 KG embedding 中,通过对模型的 score function 添加某些 ...
- 强化学习和知识图谱实体对齐
<Deep Reinforcement Learning for Entity Alignment>精读 在本文中,作者将实体对齐建模为一个顺序决策任务,其中agent(智能体)根据实体的 ...
- 事件知识图谱项目整理
事件知识图谱常用命令 一.PyCharm连接MongoDB (一)MongoDB 1.启动MongoDB 2.向 MongoDB Compass 导入json文件 (二)PyCharm连接MongoD ...
- 虚拟专题:知识图谱 | 流程工业控制系统的知识图谱构建
来源:智能科学与技术学报 流程工业控制系统的知识图谱构建 牟天昊1, 李少远1,2 1 上海交通大学电子信息与电气工程学院 2 上海交通大学系统控制与信息处理教育部重点实验室 摘要:近年来,工业控制系 ...
- 知识图谱和语义网概述
知识图谱和语义网概述 文章目录 知识图谱和语义网概述 一.知识图谱 1.1 知识图谱的发展 1.2 知识图谱与深度学习区别 1.3.知识图谱相关技术 1.4 经典的知识图谱 1.5 知识图谱的表示 二 ...
- 时空AI核心技术:时空知识图谱 | 维智科技
时空AI核心技术:时空知识图谱 | 维智科技 时空知识图谱不单单是一个"增强型"的开放域知识图谱,而是需要结合业务场景和领域知识,并针对时空知识自身的特点,对知识的概念.实体和关系 ...
最新文章
- 每个人都应该懂点函数式编程
- python画图哆啦a梦-python 绘制哆啦A梦
- java panel 左对齐,将Shape的中心与JPanel的中心对齐 - java
- 为啥JS/TS里都会有“use strict“
- linux 异步信号的同步处理方式
- SQL数据库中日期时间类型,按日期group by 实现
- SMARTS决策引擎:实时决策分析
- RPLIDAR最强参数详解
- freemarker加载模板目录的方法
- 智能穿戴及传感器调研
- Linux 基本操作
- python日常实用技能:如何用Python将图片批量从png格式转换至WebP格式
- MATLAB | 如何使用MATLAB绘制甘特图(gantt chart)
- 报表数据源之Hadoop
- 哪里有模板建站配云服务器销售,模板建站配云服务器费用
- window系统如何禁止运行指定程序
- ubuntu kylin mysql_Ubuntu Kylin 安装和配置mysql
- Windows安装配置Python Scrapy环境
- JMP用于分析程序开发
- CnOpenData全国兴趣点(POI)数据