[基本功]分类模型评价标准

混淆矩阵：

	预测阳性	预测阴性	总计
实际阳性	TP	FN	P
实际阴性	FP	TN	N
总计	X	Y	ntotaln_{total}ntotal

准确率(accuracy)
TP+TNntotal=TP+TNTP+TN+FP+FN\frac{TP+TN}{n_{total}}=\frac{TP+TN}{TP+TN+FP+FN} ntotalTP+TN=TP+TN+FP+FNTP+TN
缺点：无法应对样本不均衡情况。当负样本占99%时，吧所有样本预测为负样本也能获得99%的准确率
精确率(precision)
TPX=TPTP+FP\frac{TP}{X}=\frac{TP}{TP+FP} XTP=TP+FPTP
召回率(recall)
TPP=TPTP+FN\frac{TP}{P}=\frac{TP}{TP+FN} PTP=TP+FNTP
F1值
2∗precision∗recallprecision+recall2*\frac{precision*recall}{precision+recall} 2∗precision+recallprecision∗recall
ROC曲线(Receiver operating characteristic Curve, 受试者工作特征曲线)

横坐标：假阳性率，FPR=FPNFPR=\frac{FP}{N}FPR=NFP，负样本中预测为正样本的比例

纵坐标：真阳性率，TPR=TPPTPR=\frac{TP}{P}TPR=PTP，衡量敏感度，召回率

绘制：

法1：不断移动分类器的阈值，计算TPR和FPR标在图中，最后连接

法2：横坐标刻度间隔设为1N\frac1NN1，纵坐标刻度间隔设为1P\frac1PP1，根据模型输出结果降序排列，依次遍历样本，每遇到一个正样本就沿纵轴方向绘制一个单位间隔，否则沿横轴绘制一个单位间隔。
AUC(Area under the curve)

ROC曲线下的面积，沿着横轴做积分即可。实际中ROC曲线都会在y=xy=xy=x上方，所有AUC一般在0.5和1之间。AUC值越大，说明模型性能越好。

含义：表示预测的整理排在负例前面的概率。
PR曲线和ROC曲线的区别？

当正负样本的分布发生变化时，ROC曲线形状基本不变，而P-R曲线一般变化剧烈

若将表中N，即负样本个数扩大10倍，则对于ROC来说，计算横坐标的分子(FP)和分母(N)都会相应扩大，计算纵坐标的分子(TP)和分母§保持不变，故ROC曲线基本不变。

而对于P-R曲线，横坐标召回率基本不变，纵坐标精确率的TP和TP+FP只有FP有变动，故会带来较大变化

ROC曲线可以尽量降低不同测试集带来的干扰，更加客观的衡量模型本身性能。在实际中，正负样本数量往往不平衡，若选择不同测试集，P-R曲线的变化就会非常大，而ROC能更加稳定的反应模型本身的好坏。

如果研究者希望看到模型在特定数据集上的表现，则P-R曲线更加直观。

[基本功]分类模型评价标准相关推荐

二分类最优阈值确定_分类模型评价标准，AUC还是Macro F1？
在人工智能领域,分类任务占据了很大的比例,例如物体识别(计算机视觉).信用卡欺诈(数值型预测).情感分析(自然语言处理)等等.针对众多的分类需求,模型的评价标准只是简单的准确率(Accuracy)吗? ...
复练-软考网规-IDS和IPS概念、分类、评价标准
时间戳:2020年10月13日15:44:01 前情提要:IDS和IPS概念.分类.评价标准 IDs是英文" Intrusion Detection Systems'的缩写,中文意思是&qu ...
机器学习分类常见评价标准
目录 1.准确率(Accuracy) 2.精确率(Precision) 3.召回率(Recall) 4.PR曲线与F1值(F1 Score) 5.ROC曲线与AUC 评价分类器性能的指标一般是分类准确 ...
OVR模式和sklearn模型评价标准学习
OvR则是每次将一个类的样例作为正例.所有其他类的样例作为反例来训练N个分类器.在测试时若仅有一个分类器预测为正类,则对应的类别标记作为最终分类结果如图3.4所示若有多个分类器预测为正类.则通常考虑分 ...
深度学习模型评价标准
1.查准率,精度(precision)和召回率,查全率(recall) 查准率:预测为正例中实际的正例数比例查全率:有多少个正例被分为正例 ROC曲线横坐标是特异性(FPR):负正类 FP / ( ...
关于模型评价标准的例子
昨天一道笔试题,举例解释说明如下模型评价指标的含义 accuracy = (TP + TN) / (TP + FP + TN + FN) TPR = TP /(TP + FN) TNR = TN ...
python决策评价模型_Python 构建并评价分类模型_Python Classify - 树懒学堂
构建并评价分类模型分类是指构造一个分类模型,输入样本的特征值,输出对应的类别,将每个样本映射到预先定义好的类别.分类模型建立在已有类标记的数据集上,属于有监督学习.在实际应用场景中,分类算法被用于行 ...
python程序题求roc-auc是一种常用的模型评价指标_模型评价方法
第五章模型评价方法 5.1 模型的评价方法介绍 5.1.1~5 accuracy,precision,recall,F1-score,ROC曲线分别画图举例,要说出应用场景,例如什么情况用什么评价 ...
机器学习分类模型中的评价指标介绍：准确率、精确率、召回率、ROC曲线
文章来源:https://blog.csdn.net/wf592523813/article/details/95202448 1 二分类评价指标准确率,精确率,召回率,F1-Score, AUC, ...

[基本功]分类模型评价标准

[基本功]分类模型评价标准相关推荐

最新文章

热门文章