Pecision 和 Recall

首先，我们把数据和对应的标签称为一个example。
在二分类问题中，example可分为真正例（true positive），假正例（fake positive），真反例（true negative），假反例（fake negative）
下面这个矩阵称为混淆矩阵。

precision 和 recall的计算公式如下：

PR曲线

PR曲线的绘制

预测结果按照最有可能是正例的样本到最不可能是正例的样本的顺序排序。
把每个样本作为正例进行预测，计算出P和R。
以R作为横轴，P为纵轴

对上述进行解释：
a) 设置一个从高到低的阈值，大于等于阈值的认为正例，小于阈值的认为负例。
b) 有n个样本, score是分类器对于样本属于正例的可能性的打分。
c) n个阈值，就得到n种标注结果，n对（P，R）。
d) 将n对（P，R）在图上表示出来，就是PR曲线。

PR曲线如下图所示，但实际上PR曲线是非单调的，不平滑的，在局部有很多波动。

PR曲线的性能比较

不同的方法得到的PR曲线不同。
由上图可以看到A的性能好于C，A和B发生交叉，只通过曲线不好判断，要在具体的P或R下进行比较。

为了综合评价性能，提出两种度量方法：

平衡点（P=R），可见A的平衡点高于B，因此A>B
F1 score
这个公式称为F1是标准形式。

F1 score

F1 的一般形式

不同的应用对P，R的重视程度不同，F1的表现形式也会的发生变化。
其中 β 度量R对P的相对重要性。

β=1 F1的标准形式
β>1 R的影响大
β<1 P的影响大

macro-F1

进行多次训练测试时，每次得到一个混淆矩阵，或者执行多分类任务时，估计算法的全局性能。
总之，在n个二分类混淆矩阵上综合考察PR。
计算每个混淆矩阵的P，R，这样就得到(P1, R1 ),(P2,R2 ),…,(Pn, Rn )
计算平均值，就得到了macro-P, macro-R,macro-F1

micro-F1

机器学习：PR曲线及F1 score相关推荐

【机器学习－西瓜书】二、性能度量：召回率；P-R曲线；F1值；ROC;AUC
关键词:准确率(查准率,precision):召回率(查全率,recall):P-R曲线,平衡点(Break-Even Point, BEP):F1值,F值:ROC(Receiver Operatin ...
目标检测评价指标汇总—mAP，PR曲线，F1分数，FPPI，log-average miss rate等
对于了解目标检测的评价指标是很重要的,否则自己不懂这个代表什么意思,如何调参.网上有太多资料,可是杂乱,甚至有一乱说,记录下自己所学,总结下,也分享出来,也便于自己自己复习. 分为三块,1.解释相关概 ...
分类模型评估体系：混淆矩阵、PR曲线、F1、Weighted F1、Micro F1、Macro F1、ROCAUC、KS曲线、Lift曲线、GAIN曲线
目录混淆矩阵一类错误+二类错误查准率(precision)和查全率(recall) PR曲线调和参数F1
分类评估指标之家族成员：ROC、AUC、Lift、Gain、Gini、KS、PR曲线、F1、洛伦兹曲线
关于AUC.KS评价指标.洛伦兹曲线.Gini系数.Lift曲线和Gain曲线.在别人的博客里看到下面的一个小故事: 故事是这样的(向善于总结的大佬致敬): 首先,混淆矩阵是个元老,年龄最大也资历 ...
如何直观的理解机器学习PR曲线和ROC曲线？
机器学习笔记--PR曲线和ROC曲线
最近在看周志华老师的机器学习,本文主要是对PR图和ROC曲线的整理. 一.PR图对于二分类问题,根据分类结果能形成"混淆矩阵". P是查准率,R是查全率,定义如下: 查准率P类似 ...
【机器学习】ROC曲线与PR曲线
一.前置概念 1.混淆矩阵预测为Positive 预测为Negative 实际值为P TP FN 实际值为N FP TN 前一个字母:预测正确为T,预测错误为F:后一个字母:预测为正例为P,预测为负 ...
YOLOv5的参数IOU与PR曲线,F1 score
YOLOv5的参数IOU与PR曲线,F1 score conf_thres Confidence Threshold,置信度阈值. 只显示预测概率超过conf_thres的预测结果.想让YOLO只标记 ...
机器学习之类别不平衡问题 (2) —— ROC和PR曲线
机器学习之类别不平衡问题 (1) -- 各种评估指标机器学习之类别不平衡问题 (2) -- ROC和PR曲线完整代码 ROC曲线和PR(Precision - Recall)曲线皆为类别不平衡问题 ...

机器学习：PR曲线及F1 score

PR曲线及F1 score