二分类模型评价指标-总结

2024-04-20 02:08:23

knitr::opts_chunk$set(echo = TRUE)

介绍评价二分类模型的一些指标。

1. 混淆矩阵

	预测为正类	预测为负类
实际为正类	TP	FN
实际为负类	FP	TN

符号标记：
TP—将正类预测为正类数
FN—将正类预测为负类数
FP—将负类预测为正类数
TN—将负类预测为负类数

1.1 准确率*Accuracy

通俗地说就是所有样本被正确预测的占比。

P=TP+TNTP+FP+TN+FNP=TP+TNTP+FP+TN+FN

P{\rm{ = }}\frac{{TP+TN}}{{TP+FP+TN+FN}}

1.2 精确率*Precison

通俗地说就是预测为正类的样本中，实际为正类的占比。定义：

P=TPTP+FPP=TPTP+FP

P{\rm{ = }}\frac{{TP}}{{TP + FP}}

1.3 召回率*Recall

通俗地说就是实际为正类的样本中，正确预测为正类的占比。定义：

R=TPTP+FNR=TPTP+FN

R{\rm{ = }}\frac{{TP}}{{TP + FN}}

1.4 F1F1F_1得分*F-Measure

F1F1F_1相当于精确率和召回率的调和平均数。定义：

2F1=1P+1RF1=2TP2TP+FP+FN2F1=1P+1RF1=2TP2TP+FP+FN

\begin{array}{l} \frac{2}{{{F_1}}} = \frac{1}{P} + \frac{1}{R}\\ {F_1} = \frac{{2TP}}{{2TP + FP + FN}} \end{array}

2. ROC曲线和AUC

2.1 ROC

先定义TPR和FPR:
TPR—真阳性，同召回率
FPR—假阳性，负样本中错误预测为正的占比
二分类模型返回一个概率值，通过调整阈值，即大于该阈值为正类，反之负类，可以得到多个(FPR,TPR)点，描点画图得到的曲线即为ROC曲线。如下图所示：

knitr::include_graphics("../Picture/Pic1-Roc.png",dpi = 600)

2.2 AUC

AUC为ROC曲线下的面积，越接近1说明分类效果越好。
直观的解释AUC，可以这样理解：
从正负样本各随机抽取一个样本Sample1、Sample2，分类器返回概率值P1、P2，AUC=P(P1>P2)。其反应的是分类器对样本的排序能力，好的分类器应该返回正样本以更高概率值。
具体的可以看这里

2.3 KS值

和ROC曲线类似，通过调整阈值可以得到多个(FPR,TPR)点，描点画图时把阈值作为横轴，FPR描点形成一条曲线，TPR描点形成一条曲线。KS值就为Max(TPR-FPR)，KS值越大，表示模型能够将正、负样本区分开的程度越大，但是分隔并不一定表示正确。通常来讲，KS>0.2即表示模型有较好的预测准确性。

knitr::include_graphics("../Picture/Pic2-KS.png",dpi = 600)

2018-02-27 于杭州
2018-07-13 改于南京市建邺区新城科技园

二分类模型评价指标-总结相关推荐

机器学习100天（二十）：020 分类模型评价指标-PR曲线
机器学习100天!今天讲的是:分类模型评价指标-PR曲线! <机器学习100天>完整目录:目录上一节我们已经了解了混淆矩阵的概念,并掌握了精确率.召回率的计算公式,在这里.现在我们来学习 ...
机器学习100天（二十二）：022 分类模型评价指标-Python实现
机器学习100天!今天讲的是:分类模型评价指标-Python实现! <机器学习100天>完整目录:目录打开spyder,首先,导入标准库. import numpy as np impo ...
[机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
一为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...
机器学习分类模型评价指标详述
问题建模机器学习解决问题的通用流程:问题建模--特征工程--模型选择--模型融合其中问题建模主要包括:设定评估指标,选择样本,交叉验证解决一个机器学习问题都是从问题建模开始,首先需要收集问题的资 ...
深入探讨分类模型评价指标
每天给你送来NLP技术干货! 来自:AI算法小喵前言众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型最常用指标有MAE和 ...
分类模型评价指标说明
分类模型评价指标说明分类涉及到的指标特别容易搞混,不是这个率就是那个率,最后都分不清谁是谁,这份文档就是为此给大家梳理一下. 文章目录分类模型评价指标说明混淆矩阵例子混淆矩阵定义混淆矩阵代 ...
AI：神经网络IMDB电影评论二分类模型训练和评估
AI:Keras神经网络IMDB电影评论二分类模型训练和评估,python import keras from keras.layers import Dense from keras import ...
【Kay】机器学习——二分类模型的评价
一.评价二分类模型的好坏二分类问题:预测这条数据是0还是1的问题 1.混淆矩阵数字代表个数 2.准确率.精确率.召回率 ①准确率: ②精确率(查准率): ③召回率(查全率recall) : ④ ...
衡量二分类模型的统计指标（TN,TP,FN,FP,F1,准确,精确,召回,ROC,AUC）
文章目录 - 衡量二分类问题的统计指标分类结果混淆矩阵准确率精确率召回率 F1评分推导过程 ROC曲线.AUC - 衡量二分类问题的统计指标分类结果二分类问题,分类结果有以下四种情 ...
机器学习中的二分类问题评价指标之精确率、召回率、F1值通俗理解
引言:对于分类问题,我们在评估一个模型的好坏时,通常想到的是把该模型在测试集上分类结果正确的样本数量比上测试集的样本数量的比值结果,即准确率(精确率)作为评价准则.但除此之外,还有精确率和召回率作为二 ...

最新文章

热门文章