机器学习中的MR和MRR

设有一个test集，大小为M，对其进行分类，label的数目共有N个。那么预测结果共有M个，每个结果是对于N个label的评分，设第i个test目标的groud-truth排名为 $r_i\in\[1,N\]$ 。

MR（Mean Rank，平均排名）：

$MR=\frac1M\sum_{i=1}^{M}{r_i}$

MRR（Mean Reciprocal Rank，平均倒数排名）：

$MRR=\frac1M\sum_{i=1}^{M}{\frac{1}{r_i}}$

可见，MR越小越好，MRR越大越好。

MR的取值范围： $1,N$

MRR的取值范围： $\frac{1}{N},1$ ，（注意倒数，即1除以原数，而不是倒着数）

举例：

N=1000，M=10，

eg1：排名结果是前9个都是1，最后一个是1000，

那么MR=100.9，MRR=0.9001

当rank非常不均衡，MR不如MRR

eg2：排名结果是全都是4

那么MR=4，MRR=0.25

当rank非常均衡，MRR不如MR

所以为充分考虑，需要同时考察MR和MRR

机器学习中的MR和MRR相关推荐

lu分解法matlab_MIT 18.065—机器学习中的矩阵方法02 矩阵乘法与矩阵分解
数据分析.信号处理和机器学习中的矩阵方法第02讲矩阵乘法与矩阵分解新MIT 线性代数|机器学习(中英机翻字幕)18.065 by Gilbert Strang_哔哩哔哩 (゜-゜)つロ干杯~- ...
KGC的衡量指标（MR、MRR、Hits@n）
KGE,知识图谱嵌入(Knowledge Graph Embedding),衡量kge模型性能主要有以下几个常见的指标,有MR.MRR和Hits@n MR(Mean Rank):是平均排名 MRR(M ...
MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记
文章目录 MIT18.065 数据分析.信号处理和机器学习中的矩阵方法 Lecture 1 The Column Space of A Contains All Vectors Ax A=CR A=C ...
机器学习中使用的交叉熵（cross entropy）透彻分析
从字面分析交叉熵,1是交叉.2是熵(熵与信息量有关):首先交叉熵涉及信息论里面的东西,想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解. (1)信息量衡量信息量可以用大小或者多少来 ...
机器学习中的数学基础（4.1）：支持向量机Support Vector Machine（SVM）
SVM可以说是一个很经典的二分类问题,属于有监督学习算法的一种.看过那么多的博客知乎解释SVM我一定要自己总结一篇,加深一下自己的理解. 带着问题去读文章会发现,柳暗花明又一村,瞬间李敏浩出现在眼前的 ...
机器学习中的数学基础：(3)主成分分析（PCA）及其应用
主成分分析主要用于数据的降维?什么是降维? 比如说有如下的房价数据: 这种一维数据可以直接放在实数轴上: 房价样本数据用X表示,则以上数据的均值为: 以均值为原点: 将上述表格以均值,做&quo ...
机器学习中的模型评价、模型选择及算法选择
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 正确使用模型评估.模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要.本文将对这三个任务的相关技术 ...
机器学习中的梯度下降法
1. 机器学习中为什么需要梯度下降梯度下降是机器学习中常见优化算法之一,梯度下降法有以下几个作用: (1)梯度下降是迭代法的一种,可以用于求解最小二乘问题. (2)在求解机器学习算法的模型参数,即无 ...
一文介绍机器学习中的三种特征选择方法
作者 | luanhz 来源 | 小数志导读机器学习中的一个经典理论是:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.也正因如此,特征工程在机器学习流程中占有着重要地位.广义的特征 ...

机器学习中的MR和MRR

机器学习中的MR和MRR相关推荐

最新文章

热门文章