[搜索]一种改进的召回率准确率公式计算方式

在信息检索系统中，召回率和准确率的定义为：

召回率：（Recall Ratio,简称R)是衡量信息检索系统在实施某一检索作业时检出相关文献能力的一种测度指标，其计算方法为：Recall=检出的相关文献量/检索系统中的相关文献总量.

准确率：（Precision Ratio,简称P)是衡量系统在实施某一检索作业时检索精准度的一个测度指标，其计算方法为：

Precision=检出的相关文献量/检出的文献总量.

比如一个系统中有100篇文档，对于某一次查询，有10篇相关的文档，在这次检索中，共检出8篇文档，其中4篇为相关文档，则

召回率为：4/10 = 40%

准确率为：4/8 = 50%

但是如果另外一个系统中有10000篇文档，针对同样的一次查询，有10篇相关文档，并且也检出8篇文档，其中4篇为相关文档，则

召回率为：4/10 = 40%

准确率为：4/8 = 50%

也就是两个系统针对的这两次查询，检索效果一样，其实直观的感觉，第二个系统的检索效果明显好于第一个检索系统，打个比方，第一个系统的检索好像是从一把沙中挑出几个贝克，而第二个检索系统是从一箩筐沙中挑出那几个贝克，显然第二个系统的难度大多了。这就是传统召回率和准确率的弊端，并不能反映这些差别。

所以，需要一种新的召回率和准确率的度量方法来克服这个弊端，我们可以考虑非相关文档在文档集中的比重，因为在一个真实的检索系统中，非相关文档总是远远大于相关文档，在此定义一个新的召回率和准确率公式，以不相关文档与总文档数的比值作为系数。公式如下：

新召回率=召回率*(不相关文档数/总文档数)
确率=准确率*(不相关文档数/总文档数)

我们用新的公式再来计算一下这两个检索系统的召回率和准确率，则

第一个系统的

新召回率=40%*(90/100) = 40%*90% = 36%

新准确率=50%*(90/100) = 50%*90 = 45%

第二个系统的

新召回率=40%*(9990/10000) = 40%*99.9%=39.6%

新准确率=50%*(9990/10000) = 50%*99.9%=49.5%

从新的公式来看，第二个系统的召回率和准确率都要比第一个系统要高，体现出来这种差别。

[搜索]一种改进的召回率准确率公式计算方式相关推荐

精确率/召回率/准确率
TP: Ture Positive 把正的判断为正的数目 True Positive,判断正确,且判为了正,即正的预测为正的. FN: False Negative 把正的错判为负的数目 False ...
Recall（召回率） Precision（准确率） F-Measure E值 sensitivity（灵敏性） specificity（特异性）漏诊率误诊率 ROC AUC
Berkeley Computer Vision page Performance Evaluation 机器学习之分类性能度量指标 : ROC曲线.AUC值.正确率.召回率 True Positiv ...
一文详尽混淆矩阵、准确率、精确率、召回率、F1值、P-R 曲线、ROC 曲线、AUC 值、Micro-F1 和 Macro-F1
文章目录二分类的评价指标一.混淆矩阵与 TP.TN.FP.FN 二.准确率.精确率.召回率.F1值三.P-R 曲线四.ROC 曲线.AUC 值五.P-R曲线和ROC曲线有什么区别,如何选择? ...
Precision(精确率，正确率)， Recall(召回率，查全率)，Accuracy(准确率)，F-Measure(F值)...
一.指标概念 TP - 将正类预测为正类 FN - 将正类预测为负类, 类似假设检验中的第一类错误,拒真 FP - 将负类预测位正类,类似假设检验中的第二类错误,取伪 TN - 将负类预测位负类假设 ...
准确率、精准率、召回率
参考:准确率.精确率.召回率 - 知乎以一个二分类系统来讲,通常情况下我们会将数据分为两类:正确(T),错误(F) ,但是在我们实际操作的运行模型的结果中会出现四种不同的分类结果 P(positiv ...
python计算召回率_序列标注的准确率和召回率计算
最近在用BiLSTM+CRF做命名实体识别问题.关于模型效果评估,很多提到用conlleval.pl来实现,conlleval.pl是perl语言写的,原谅我没看懂.最后还是决定自己写个程序算一算准确 ...
python计算召回率代码_序列标注的准确率和召回率计算
最近在用BiLSTM+CRF做命名实体识别问题.关于模型效果评估,很多提到用conlleval.pl来实现,conlleval.pl是perl语言写的,原谅我没看懂.最后还是决定自己写个程序算一算准确 ...
准确率、召回率、F-measure值
准确率.召回率和 F 值是在鱼龙混杂的环境中,选出目标的重要评价指标.不妨看看这些指标的定义先: TP-将正类预测为正类 FN-将正类预测为负类 FP-将负类预测为正类 TN-将负类预测为负类准确率 ...
模型测试集上准确率(ACC)、精确率precision、召回率recall、AUC评估指标计算
TP: 预测为正,实际为正 TN: 预测为负,实际为负 FP:预测为正,实际为负 FN: 预测为负,实际为正准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+T ...

[搜索]一种改进的召回率准确率公式计算方式

[搜索]一种改进的召回率准确率公式计算方式相关推荐

最新文章

热门文章