信息检索系统常用的评价指标（准确率，召回率，F1，MAP，NDCG）

1. 准确率，召回率，F1值

首先介绍三种最常用的无序的评价指标，它们适用于一种相对简单的情况：在搜索结果中仅考虑返回的文档是否与查询相关，而不考虑这些返回文档在结果列表中的相对位置和顺序。

准确率（Precision）是返回的结果中相关文档所占的比例

召回率（Recall）是返回的相关文档占所有相关文档的比例

具体可以根据混淆矩阵来理解


	相关	不相关
返回	真正例（tp）	伪正例（fp）
未返回	伪反例（fn）	真反例（tn）

已知上述矩阵，那么准确率和召回率可以按如下方法计算：

举个例子，假设针对某个查询词，某搜索引擎返回10个结果，其中有5个是相关的，那么准确率就等于5/10 = 50%, 如果索引中与该查询词相关的文档共有8个（也就是说还有3个没有返回），那么召回率就等于5/8 = 67.5%.

通常而言，一个好的搜索引擎需要兼顾准确率(P)和召回率(R)，因此有了结合两者的指标—— F值，它是准确率和召回率的调和平均值，定义如下：

其中，，表示强调正确率，而表示强调召回率。当时，表示准确率和召回率的权重相等，通常记为,此时F值的计算公式可以简化为

这里为什么使用调和平均而不是算术平均来计算F值呢？考虑极端的情况，如果搜索结果返回所有的文档，那么此时召回率就是100%，这时的F值至少为50%，这显然是不合理的。而调和平均值小于等于算术平均值和几何平均值，如果两个求平均的数之间差距比较大，那么调和平均值更接近其中较小的值。

2. MAP

准确率，召回率和F值都是利用无序的文当集合进行计算，而搜索引擎返回的结果通常是有序的，因此有必要对这些指标进行扩展以考虑位置信息。

MAP(Mean Average Precision)是近年来比较流行的评价指标, MAP在准确率的基础上考虑了位置的因素。

首先对于单个查询，其平均准确率的具体计算方法如下：

其中r是相关文档的总数，Q是查询总数。

查询集合的平均准确率由所有单个查询的MAP值的平均。

总的来说，系统检索出来的相关文档在列表中越靠前，MAP的值就越高。如果系统没有返回相关文档，则MAP=0.

3.NDCG

NDCG（normalized discounted cumulative gain，归一化折损累计增益）是一种近年来逐渐被采用的指标，尤其是在基于机器学习的排序方法中。NDCG是针对连续值的指标，它基于前k个检索结果进行计算。设R(j,d)是评价人员给出的文档d对查询j的相关性得分（通常是一个概率），那么有：

其中，用于保证对于查询j最完美系统的NDCG在k的位置得分是1，m是返回文档的位置。

如果某查询返回的文档数，,那么上述公式只需要计算到k‘为止。

信息检索系统常用的评价指标（准确率，召回率，F1，MAP，NDCG）相关推荐

【数据挖掘】K-NN 分类 ( 简介 | 分类概念 | K-NN 分类实例 | K-NN 分类准确度评估 | K-NN 分类结果评价指标 | 准确率 | 召回率 )
文章目录 I . K-NN 简介 II . K-NN 分类 III . K-NN 分类实例 IV . K-NN 分类准确性评估方法 V . 保持法 VI . kkk-交叉确认法 VII . K-NN ...
准确率，召回率，mAP，ROC，AUC，特异性，敏感性，假阴性，假阳性
P/R和ROC是两个不同的评价指标和计算方式,一般情况下,检索用准确率.召回率.F1.AP和mAP,分类.识别等用ROC和AUC(特异性和敏感性是ROC当中的一个部分). 准确率.召回率.F1.AP和 ...
准确率-召回率 - Precision-Recall
Precision-Recall 准确率-召回率本文翻译自 Precision-Recall 更多翻译可以看 Scikit-learn 某部分的中文翻译用于评估分类器输出质量的准确率-召回率指 ...
准确率,召回率,F值,ROC,AUC
准确率,召回率,F值,ROC,AUC 责任编辑:词汇网发表时间:2016-4-23 20:08:08 度量表 1.准确率 (presion)p=TPTP+FP 理解为你预测对的正例数占你预测正例总量 ...
图像分类图像分割的评价指标（混淆矩阵正确率精准率召回率 F1分数 IOU dice系数）
在图像分类或者图像分割中,为评价模型的预测效果,在训练过程中通常需要比较预测值与真实标签值的差距,即误差. 目录图像分类过程的评价指标混淆矩阵正确率/准确率精准率召回率 F1分数图像分割过 ...
准确率/召回率/精准率/F值_模型评价
准确率/召回率/精准率/F值模型选择:对特定任务最优建模方法的选择或者对特定模型最佳参数的选择. 在训练数据集上运行模型(算法)并在测试数据集中测试效果, 迭代进行数据模型的修改, 这种方式被称为交 ...
目标检测 YOLOv5 - 如何提高模型的指标，提高精确率，召回率，mAP等
目标检测 YOLOv5 - 如何提高模型的指标,提高精确率,召回率,mAP等 flyfish 文中包括了YOLOv5作者分享的提高模型指标小技巧和吴恩达(Andrew Ng)在做缺陷检测项目( ste ...
精确度/召回率/F1值/Micro-F1和Macro-F1的理解
如下图所示,假设有若干张图片,其中12张是狗的图片其余是猫的图片．现在利用程序去识别狗的图片,结果在识别出的8张图片中有5张是狗的图片,3张是猫的图片(属于误报)．图中,实心小圆代表狗的图片,虚心小 ...
准确率召回率_机器学习tips（四）：精确率（precision）和召回率（recall）
精确率(precision)和召回率(recall) 混淆矩阵 True Positive(真正, TP):将正类预测为正类数. True Negative(真负 , TN):将负类预测为负类数. F ...

信息检索系统常用的评价指标（准确率，召回率，F1，MAP，NDCG）

信息检索系统常用的评价指标（准确率，召回率，F1，MAP，NDCG）相关推荐

最新文章

热门文章