一、分类结果混淆矩阵

1、T、F、P、N辨析

P(Positive)、N(Negative)针对的是预测值的结果。
P表示对样本的预测结果为正例，
N表示对样本的预测结果为反例。
T(True)、F(False)针对的是预测值的结果是否预测对了。
TP表示对该样本预测结果为正例，同时预测对了，真实标签和预测标签都为正例，
FP表示对该样本预测结果为正例，但是预测错了，真实标签为反例，预测标签为正例，
TN表示对该样本预测结果为反例，同时预测对了，真是标签和预测标签都为反例，
FN表示对该样本预测结果为反例，但是预测错了，真实标签为正例，预测标签为反例。

2、举例说明

二、精准率、召回率、F1-score、PR曲线

准确率指的是对于所有预测结果为正例的样本中，真实标签真的是正样本的个数在其中的比例
召回率指的是对于所有真实标签为正例的样本中，预测结果真的是正样本的个数在其中的比例

1、准确率(Accuracy)

准确率，指的是正确预测的样本数占总预测样本数的比值，它不考虑预测的样本是正例还是负例，反映的是模型算法整体性能。
A=TP+TNTP+FP+FN+TNA=\frac{TP+TN}{TP+FP+FN+TN}A=TP+FP+FN+TNTP+TN

2、精准率(Precision)

精准率，指的是正确预测的正样本数占所有预测为正样本的数量的比值，也就是说所有预测为正样本的样本中有多少是真正的正样本，它只关注正样本。
P=TPTP+FPP=\frac{TP}{TP+FP}P=TP+FPTP

3、召回率(Recall)

召回率，指的是正确预测的正样本数占真实正样本总数的比值，也就是指能从这些预测样本中能够正确找出多少个正样本。
R=TPTP+FNR=\frac{TP}{TP+FN}R=TP+FNTP

4、F1-score

F1-score，被定义为精确率和召回率的调和平均数。
F1=2∗P∗RP+RF_1=\frac{2*P*R}{P+R}F1=P+R2∗P∗R

5、P-R曲线

横轴是召回率，纵轴是精准率。二者的值矛盾且统一，通常精准率高时，召回率往往偏低，召回率高时，精准率往往偏低。
图片来源：机器学习，周志华
衡量模型A、B、C性能
1、A曲线完全包住C曲线、B曲线完全包住C曲线。说明A、B两个模型无论在精准率还是召回率都优于C模型，所以A、B两个模型优于C模型。
2、A、B两条曲线有交叉部分
1）计算A、B曲线与坐标轴之间围成的面积，但这个值不太好估算。
2）平衡点(Break-Even Point)，精准率等于召回率时的取值。由此可得A模型优于B模型。
3）优于平衡点衡量标准过于简单，更常使用的就是F1-score。
精准率、召回率关系
在某些实际场景中，对精准率和召回率的重视程度不相同。
比如疾病诊断，大多数情况下真实标签中没病的很多，有病的很少。如果判断时把所有病例都判断为无病，精准率同样会很高，但召回率极低。这个时候需要重点关注召回率这个指标。

三、真正例率、假正例率、ROC曲线、AUC曲线

P-R曲线横纵坐标分别为召回率和精准率，ROC曲线横纵坐标则不同，分别为假正例率和真正例率
真正例率指的是对于所有真实标签为正例的样本中，预测结果真的是正样本的个数在其中的比例
真正例率就是召回率
假正例率指的是对于所有真实标签为负例的样本中，预测结果真的是负样本的个数在其中的比例

1、真正例率(True Positive Rate, TPR)

PPP为真实标签中正例的数量。P=TP+FNP=TP+FNP=TP+FN。TPR=TPP=TPTP+FNTPR=\frac{TP}{P}=\frac{TP}{TP+FN}TPR=PTP=TP+FNTP

2、假正例率(False Positive Rate, FPR)

NNN为真实标签中负例的数量。N=FP+TNN=FP+TNN=FP+TN。FPR=FPN=FPFP+TNFPR=\frac{FP}{N}=\frac{FP}{FP+TN}FPR=NFP=FP+TNFP

3、ROC曲线(Receiver Operating Characteristic Curve)

横轴是假正例率，纵轴是真正例率。
左上角代表真正率高，假正率低。模型效果更好。
图片来源：https://baike.sogou.com/v472808.htm;jsessionid=2C527CDD2A1BFE2BAB595A696A676FB9

4、AUC曲线(Area Under ROC Curve)

AUC曲线为ROC曲线下的面积大小，该值能够量化地反映基于ROC曲线衡量出的模型性能。
面积越大，说明模型越能把真正的正样本排到前面，性能就越好。

面经：P-R曲线与ROC曲线有什么关系？

如果正负样本分布发生变化，P-R曲线收到的波动更大，ROC曲线基本保持不变。使得ROC曲线能够尽量降低不同测试集的干扰，更客观衡量模型本身性能。

四、参考文献

[1] 《机器学习》周志华
[2] 《百面机器学习》诸葛越、葫芦娃

模型评估指标_精准率、召回率、F1-score、ROC曲线、AUC曲线相关推荐

kmeans及模型评估指标_机器学习模型评估指标总结
常用机器学习算法包括分类.回归.聚类等几大类型,以下针对不同模型总结其评估指标一.分类模型常见的分类模型包括:逻辑回归.决策树.朴素贝叶斯.SVM.神经网络等,模型评估指标包括以下几种: (1)二 ...
kmeans及模型评估指标_模型评估常用指标
一. ROC曲线和AUC值在逻辑回归.随机森林.GBDT.XGBoost这些模型中,模型训练完成之后,每个样本都会获得对应的两个概率值,一个是样本为正样本的概率,一个是样本为负样本的概率.把每个样本 ...
kmeans及模型评估指标_如何评估聚类模型？兰德指数、轮廓系数、Calinski Harabaz指数...
我们可以通过对一系列曲目进行聚类来创建歌曲的自动播放列表,我们可以展示如何自动创建相似歌曲的子组.通过我们现有的歌曲知识,我们能够验证该聚类练习的结果. 但是,如果我们对数据没有这种先验知识怎么办?如 ...
kmeans及模型评估指标_聚类分析的过程和两个常用的聚类算法
聚类分析过程一般聚类分析的数据源是需要相对干净的,即需要做统一的特征清洗.特征变换过程,即空值.非法值.异常值.类别变量等的处理.主要过程如下: 数据采集:我们可以认为是统一的ETL过程,这里涉及埋 ...
准确率(Auccary)，精确率(Precision)，召回率(Recall)，F1，ROC，AUC说明
符号解释: TP : 所有被正确预测为正的样例数(真阳)(正正) FP : 所有被错误预测为正的样例数(假阳)(负正) TN : 所有被正确预测为负的样例数(真阴)(负负) FN ...
kmeans及模型评估指标_基于K-MEANS聚类模型和RFM价值分类模型的订单交易用户价值分析...
用户数据化运营是互联网运营工作必备工作之一,且产品的生存必须有用户.而会员价价值度是用来评估用户的价值情况,是区分会员价值的重要性模型和参考依据,也是衡量不同营销效果的关键指标之一,我们可以通过复购率 ...
kmeans及模型评估指标_使用sklearn评估器构建聚类模型
原标题:使用sklearn评估器构建聚类模型作者:徐瑶佳来源:人工智能学习圈工作内容: 聚类算法是在没有给定划分类别的情况下,根据数据样本的相似度进行样本分组的一种算法.聚类算法过程是无监督的, ...
[机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
一为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...
精度,精确率,召回率_了解并记住精度和召回率
精度,精确率,召回率 Hello folks, greetings. So, maybe you are thinking what's so hard in precision and recall ...

模型评估指标_精准率、召回率、F1-score、ROC曲线、AUC曲线