一、简介

（一）查准率与查全率

定义：
对于二分类问题，分类结果混淆矩阵与查准/查全率定义如下

副贴另外一张图：

关系：查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低;而查全率高时，查准率往往偏低。
P-R图：以查准率为纵轴、查全率为横轴作图，就得到了查准率-查全率曲线

P-R图直观地显示出学习器在样本总上的查全率、查准率在进行比较时，若一个习器的 P-R 曲线被另一个学习器的曲线完全"包住，则可断言后者的性能优于前者，如图2.3学习器A的性能优学习器 C; 如果两个学习器 P-R 曲线发生了交叉例如图2.3中的 A与B，则难以一般性地断两者孰优孰劣，只能在具体的查准率或者全率条件下进行比较，然而，在很多形下，人们往往仍希望把学习器A与B比出个高低，这时一个比较合理的判据是比较 P-R 曲线节面积的大小，它在定程度上表征了学习器在查准率和查全率上取得相对"双高"的比例。但这个值不太容易估算，因此人们设计一些综合考虑查准率、查全率的性能度量。
"平衡点 "(Break-Event Point ，简称 BEP)就是这样一个度量，它是"查准率= 查全率"时的取值，如图 2.3 学习器C的 BEP 是0.64，而基于 BEP的比较，可认为学习器 A优于B。

（二）F-Score

定义：P和R指标有时会出现矛盾的情况，这样就需要综合考虑他们，最常见的方法就是F-Measure，又称F-Score。F-Measure是P和R的加权调和平均，即：
F1-score：特别地，当β=1时，也就是常见的F1度量，是P和R的调和平均，当F1较高时，模型的性能越好。

二、实例

（一）问题

假如某学校准备招标采购一套宿舍行人目标图像识别系统，选择2家公司的产品来测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。
实验结果如下：
1）算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；
2）算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；
3）经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。
请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少？你认为哪个更优秀？

（二）解决

1.算法1

由题意得：
- 正例为：828282
- 真正例：TP=78TP=78TP=78
- 假正例：FP=4FP=4FP=4
- 反例为：181818
- 真反例：TN=16TN=16TN=16
- 假反例：FN=2FN=2FN=2
所以有：
- 查准率：P=TPFP+TP≈0.95P=\frac{TP}{FP+TP}≈0.95P=FP+TPTP≈0.95
- 查全率：R=TPFN+TP=0.975R=\frac{TP}{FN+TP}=0.975R=FN+TPTP=0.975
- F1-score:F1=2∗P∗RP+R≈0.96F1=\frac{2*P*R}{P+R}≈0.96F1=P+R2∗P∗R≈0.96

2.算法2

由题意得：
- 正例为：888888
- 真正例：TP=80TP=80TP=80
- 假正例：FP=8FP=8FP=8
- 反例为：121212
- 真反例：TN=12TN=12TN=12
- 假反例：FN=0FN=0FN=0
所以有：
- 查准率：P=TPFP+TP≈0.91P=\frac{TP}{FP+TP}≈0.91P=FP+TPTP≈0.91
- 查全率：R=TPFN+TP=1R=\frac{TP}{FN+TP}=1R=FN+TPTP=1
- F1-score:F1=2∗P∗RP+R≈0.95F1=\frac{2*P*R}{P+R}≈0.95F1=P+R2∗P∗R≈0.95

3.结论
因为算法一的F1-score的值比算法二的F1-score的值高，所以算法一更好。

三、参考资料

西瓜书学习笔记(2)–模型的评估与选择.

机器学习的查准率、查全率和F1-score相关推荐

机器学习：PR曲线及F1 score
PR曲线及F1 score Pecision 和 Recall PR曲线 PR曲线的绘制 PR曲线的性能比较 F1 score F1 的一般形式 macro-F1 micro-F1 Pecision ...
[吴恩达机器学习笔记]11机器学习系统设计3-4/查全率/查准率/F1分数
11. 机器学习系统的设计觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 11.3 偏斜类的误差度量 Error Metr ...
机器学习指标(Precision、Recall、mAP、F1 Score等)
以下文章摘录自: <机器学习观止--核心原理与实践> 京东: https://item.jd.com/13166960.html 当当:http://product.dangdang.co ...
F1 Score详解查准率较高召回率较低怎末处理？
[机器学习]F1分数(F1 Score)详解及tensorflow.numpy实现_zjn-ai的博客-CSDN博客_f1分数西瓜好坏二分类:模型预测出来:A分为好西瓜类(A中有好的有坏的) B分为 ...
查准率/查全率/F1指标
查准率/查全率/F1指标查准率(precision)(正确率):检索出来的条目有多少是正确的查全率(recall)(查全率):所有正确条目有多少被检索出来了用预测值与实际值之间的真假关系也可以说 ...
查准率、查全率与 F1 值
查准率.查全率与 F1 值混淆矩阵⾸先定义混淆矩阵 (Confusion matrix): 其中: • TP (True Positive):表⽰将正样本预测为正例的数⽬.即真实结果为 1,预测结 ...
机器学习中的 precision、recall、accuracy、F1 Score
1. 四个概念定义:TP.FP.TN.FN 先看四个概念定义: - TP,True Positive - FP,False Positive - TN,True Negative - FN,F ...
机器学习中精准度、召回率、准确率、F1 Score、G分数计算学习笔记
目录 1.基本符号表示 2.类别下的精准度计算(precision) 3.类别下的召回率计算(recall) 4.准确率的计算(accuracy) 5.F1 Score 6.G分数 1.基本符号表示 ...
模型评价ROC\AUC\查准率\查全率\F-score\混淆矩阵\KS曲线\PR曲线等
文章目录一.ROC_AUC 1.1 ROC_AUC 概念 1.2 常见评价指标 1.3 sklearn.metrics.roc_curve()参数解释 1.4 ROC_AUC 曲线二.混淆矩阵 2 ...

机器学习的查准率、查全率和F1-score

目录