混淆矩阵、召回率、精确率、正确率、F1、真阳性率、假阳性率、ROC、AUC

ConfusionMatrix:Confusion Matrix:ConfusionMatrix:

		真实
		1	0
预测	1	TP(命中)	FP(虚报)
预测	0	FN(漏报)	TN(正确拒绝)

召回率Recall=TPTP+FNRecall = \dfrac{TP}{TP + FN}Recall=TP+FNTP，关注真实情况，关注positive。“好瓜被挑出来的概率”

精确率Precision=TPTP+FPPrecision = \dfrac{TP}{TP + FP}Precision=TP+FPTP，关注预测情况，关注positive。“挑出来的瓜有多少真的是好瓜”

正确率Accuracy=TP+TNTP+FN+FP+TNAccuracy = \dfrac{TP + TN}{TP + FN + FP + TN}\quadAccuracy=TP+FN+FP+TNTP+TN，positive与negative预测的准确性

FFF值：
β2+1F=β2R+1P\dfrac{\beta^2 +1}{F} = \dfrac{\beta^2}{R} + \dfrac{1}{P}Fβ2+1=Rβ2+P1

β2=1\beta^2 = 1β2=1时，对于FFF，RRR、PPP 影响权重相同,即常用的F1F_1F1；
β2>1\beta^2 > 1β2>1时，对于FFF，RRR相比于PPP影响权重大，当重视召回率R时可以选择β2>1\beta^2>1β2>1；
β2<1\beta^2 < 1β2<1时，对于FFF，RRR相比于PPP影响权重小，当重视精确率P时可以选择β2<1\beta^2<1β2<1；

真阳性率TPR，又可称为灵敏度，关注真实情况，关注positive,TPR=TPTP+FNTPR = \dfrac{TP}{TP + FN}TPR=TP+FNTP。
灵敏度：正例被挑出的概率。如果一项诊断试验的灵敏度比较低，那么会出现很多假阴性的患者。这会延误患者的就诊，影响病程发展和愈后，甚至导致患者过早死亡。

假阳性率FPR，又等于1-特异度，关注真实情况，关注negative,FPR=FPFP+TNFPR = \dfrac{FP}{FP + TN}FPR=FP+TNFP。
特异度：负例被挑出的概率。如果一项诊断试验的特异度比较低，那么会出现很多假阳性的患者。这样会浪费医疗资源、造成患者无端的恐慌和焦虑。

当选择不同的threshold时，TPR、FPRTPR、FPRTPR、FPR值会随之变化，遍历所有的threshold后，会得到一系列的TPR、FPRTPR、FPRTPR、FPR，用TPRTPRTPR作为YYY轴，用FPRFPRFPR作为XXX轴，即得到ROCROCROC。

ROCROCROC主要作用:

ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。
有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。
可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

AUC就是ROC曲线下的面积，衡量学习器优劣的一种性能指标。

在风控中，我们常用KS指标来评估模型的区分度（discrimination）

KS=max⁡(∣TPR−FPR∣)KS = \max(|TPR-FPR|)KS=max(∣TPR−FPR∣)
即ROC曲线切线位置。

《风控模型—区分度评估指标(KS)深入理解应用》

混淆矩阵、召回率、精确率、正确率、F1、真阳性率、假阳性率、ROC、AUC相关推荐

混淆矩阵中的精确率和召回率与置信度之间有什么关系
True 表示正样本,False 表示负样本,Positive 表示预测为真,Negative 表示预测为假 -- 题记混淆矩阵假阳性 F P FP FP 在左下角,假阴性 F N FN F ...
论文图片绘制 Python绘制多分类混淆矩阵及可视化(颜色随正确率渐变)
论文图片绘制 Python绘制duofenlei 混淆矩阵及可视化(颜色随正确率渐变) 需求论文中对多分类评价需要混淆矩阵已获得,需要可视化给出数据混淆矩阵的定义以及如何读图不再描述,这里仅给 ...
笔试-混淆矩阵-召回率
已知一个分类器在测试集上的混淆矩阵如下表所示,该分类器对各个类别的召回率为: M = [[69, 3, 13, 11, 4],[14, 70, 3, 7, 6],[3, 3, 80, 9, 5],[3 ...
【深度学习中模型评价指标汇总（混淆矩阵、recall、precision、F1、AUC面积、ROC曲线、ErrorRate）】
深度学习中模型好坏的所有评价指标汇总(混淆矩阵.recall.precision.F1score.AUC面积.ROC曲线.ErrorRate) 导航 0.混淆矩阵 1.AUC面积 2.ROC曲线 3. ...
机器学习（15）精确率召回率F1-score（查看癌症预测结果的精确率、召回率）
目录一.基础理论 1.混淆矩阵 2.精确率 3.召回率 4.F1-score 二.查看癌症预测结果的精确率.召回率 API 查看癌症预测结果的精确率.召回率总代码一.基础理论 1.混淆矩阵预测 ...
Python混淆矩阵（confusion_matrix）FP、FN、TP、TN、ROC，FROC，精确率(Precision)，召回率(Recall)，准确率(Accuracy)，F1分数详述与实现
目录一.FP.FN.TP.TN 二.准确率(Accuracy).精确率(Precision).召回率(Recall).F1score 2.1.准确率(Accuracy) 2.2.召回率(Recall ...
图像分类图像分割的评价指标（混淆矩阵正确率精准率召回率 F1分数 IOU dice系数）
在图像分类或者图像分割中,为评价模型的预测效果,在训练过程中通常需要比较预测值与真实标签值的差距,即误差. 目录图像分类过程的评价指标混淆矩阵正确率/准确率精准率召回率 F1分数图像分割过 ...
深度学习--TensorFlow（5）BP神经网络（混淆矩阵、准确率、精确率、召回率、F值）
目录一.混淆矩阵二.准确率三.召回率四.精确率五.综合评估指标 -- F值一.混淆矩阵也程误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示.在机器学习领 ...
详解准确率、精确率、召回率、F1值的含义
机器学习问题之中,通常需要建立模型来解决具体问题,但对于模型的好坏,也就是模型的泛化能力,如何进行评估呢? 很简单,我们可以定一些评价指标,来度量模型的优劣.比如准确率.精确率.召回率.F1值.ROC ...
评价指标之准确率、精确率、召回率、F1值
机器学习问题中,通常需要建立模型来解决具体问题,但对于模型的好坏,也就是模型的泛化能力,如何进行评估呢? 这就需要定义一些评价指标,来度量模型的优劣.比如准确率(accuracy).精确率(preci ...

混淆矩阵、召回率、精确率、正确率、F1、真阳性率、假阳性率、ROC、AUC

混淆矩阵、召回率、精确率、正确率、F1、真阳性率、假阳性率、ROC、AUC相关推荐

最新文章

热门文章