准确率(Precision)、召回率(Recall)以及综合评价指标(F1-Measure )
在信息检索和自然语言处理中经常会使用这些参数,下面简单介绍如下:
准确率与召回率(Precision & Recall)
我们先看下面这张图来加深对概念的理解,然后再具体分析。其中,用P代表Precision,R代表Recall
一般来说,Precision 就是检索出来的条目中(比如:文档、网页等)有多少是准确的,Recall就是所有准确的条目有多少被检索出来了。
下面这张表介绍了True Positive,False Negative等常见的概念,P和R也往往和它们联系起来。
Relevant | NonRelevant | |
Retrieved | true positives (tp) | false positives(fp) |
Not Retrieved | false negatives(fn) | true negatives (tn) |
那么,
\[ P=\frac{tp} {tp+fp} \hfill (1) \]
\[ R=\frac{tp} {tp+fn} \hfill (2) \]
我们当然希望检索的结果P越高越好,R也越高越好,但事实上这两者在某些情况下是矛盾的。比如极端情况下,我们只搜出了一个结果,且是准确的,那么P就是100%,但是R就很低;而如果我们把所有结果都返回,那么必然R是100%,但是P很低。
因此在不同的场合中需要自己判断希望P比较高还是R比较高。如果是做实验研究,可以绘制Precision-Recall曲线来帮助分析。
F1-Measure
前面已经讲了,P和R指标有的时候是矛盾的,那么有没有办法综合考虑他们呢?我想方法肯定是有很多的,最常见的方法应该就是F-Measure了,有些地方也叫做F-Score,其实都是一样的。
F-Measure是Precision和Recall加权调和平均:
\[ F = \frac{(a^2+1)P*R} {a^2(P+R)} \hfill (3) \]
当参数a=1时,就是最常见的F1了:
\[ F1 = \frac{2PR} {P+R} \hfill (4) \]
很容易理解,F1综合了P和R的结果,当F1较高时则比较说明实验方法比较理想。
转载于:https://www.cnblogs.com/bluepoint2009/archive/2012/09/18/precision-recall-f_measures.html
准确率(Precision)、召回率(Recall)以及综合评价指标(F1-Measure )相关推荐
- python垃圾分类准确率计算公式_准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure...
机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision), ...
- 【机器学习】准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
在机器学习.数据挖掘.推荐系统完成建模之后,需要对模型的效果做评价. 业内目前常常采用的评价指标有准确率(Precision).召回率(Recall).F值(F-Measure)等,下图是不同机器学习 ...
- 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure(对于二分类问题)
首先我们可以计算准确率(accuracy),其定义是: 对于给定的测试数据集,分类器正确分类的样本数与总样本数之比.也就是损失函数是0-1损失时测试数据集上的准确率. 下面在介绍时使用一下例子: 一个 ...
- 真阳假阳真阴假阴指标(TP,FP,TN,FN)精度Precision 准确率Accuracy 召回率Recall 总结
检测相关指标(TP,FP,TN,FN)总结表格 指标 定义 公式 备注 真阳性 (True Positive, TP) 预测为阳性,实际为阳性 - - 假阳性 (False Positive, FP) ...
- 目标检测评价标准(mAP, 精准度(Precision), 召回率(Recall), 准确率(Accuracy),交除并(IoU))
1. TP , FP , TN , FN定义 TP(True Positive)是正样本预测为正样本的数量,即与Ground truth区域的IoU>=threshold的预测框 FP(Fals ...
- Python混淆矩阵(confusion_matrix)FP、FN、TP、TN、ROC,FROC,精确率(Precision),召回率(Recall),准确率(Accuracy),F1分数详述与实现
目录 一.FP.FN.TP.TN 二.准确率(Accuracy).精确率(Precision).召回率(Recall).F1score 2.1.准确率(Accuracy) 2.2.召回率(Recall ...
- 机器学习分类问题指标理解——准确率(accuracy)、精确率(precision)、召回率(recall)、F1-Score、ROC曲线、P-R曲线、AUC面积
2020.08.25更新: 修改了ROC曲线中TPR公式的错误. 2020.07.25更新: 修改了混淆矩阵,每一行为实际值,每一列与预测值. 机器学习分类问题指标理解 0. 一个例子 1.准确率(A ...
- 自然语言处理(NLP)遇到的准确率与召回率
自然语言处理(NLP)遇到的准确率与召回率 准确率(Accuracy),召回率(Recall)是作为机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域的评价指标 计算: 召回率(Reca ...
- 机器学习模型评价指标:准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
转自机器学习:准确率(Precision).召回率(Recall).F值(F-Measure).ROC曲线.PR曲线 摘要: 数据挖掘.机器学习和推荐系统中的评测指标-准确率(Precision).召 ...
- 机器学习各种模型评价指标:准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
周志华老师的西瓜书的第2章:模型评估与选择 摘要: 数据挖掘.机器学习和推荐系统中的评测指标-准确率(Precision).召回率(Recall).F值(F-Measure)简介. 引言: 在机器学习 ...
最新文章
- MySQL-基础操作之增删改查
- CUDA Libraries简介
- 09 numpy 聚合函数 - 极值,方差,标准差
- boost::graph模块实现内部pmap捆绑的测试程序
- AVIO内存输入模式
- 性能测试用例(转载)
- 如何让自己的视频号作品上热门
- Python学习---深浅拷贝的学习
- AACL2022会议征稿
- aspx中如何加入javascript
- du-查看文件夹大小-并按大小进行排序
- 计算机网络期中考试题周静,zj474~093期中考试反思
- 商业智能BI全解析,探寻BI本质与发展趋势
- [免费分享]微信小程序从入门到精通视频教程 [8.2G]
- ISO C 与POSIX 的关系
- 用D3.js绘制完整的流程图demo
- 已知银行整存整取存款不同期限的月息利率分别为: 月息利率= 0.63% 期限=1年 0.66% 期限=2年 0.69% 期限=3年 0.75% 期限=5年
- 面试笔记:面经-猿辅导-一面
- 实验一 词法分析程序设计与实现 (Java实现)
- 黑磷量子点/无机荧光量子点/石墨烯量子点水凝胶/量子点/纳米水凝胶荧光探针的研究制备