Imbalanced class problem(ROC, Confusion Matrix)

2024-06-08 06:12:37

1 何为 Imbalanced class problem

在分类问题中，有时候一种类别的数据会远远的多于另外一种类别，

但正是这些少量的类别的数据，往往又是极其重要的。

比如信用卡欺诈事件，该事件远远地小于信用卡未被欺诈的事件。

要从信用卡操作的数据中，识别出欺诈这一类别的事件，比例极其小，但确是及其重要的。

在大量的操作数据中找到欺诈事件，犹如大海捞针。

这个时候如果继续使用精度来评估分类器就不准确了。

因为即使把所有的信用卡操作数据，都判断为未欺诈类别，

其正确率也可以达到99.999......%，这种分类器明显是无用的。

针对Imbalanced class problem, 研究者提出了许多其它的参数来评估模型。

2 Confusion Matrix

2.1 相关概念

在Confusion Matrix中，

由Confusion Matrix 定义一些参数：

2.2 计算实例

实例中的分类器，虽然正确率达到了99.1%，但是Recall参数只有0.1，对于class=Yes 类别的预测，

正确率只有10%，非常低。

2.3 分类问题的拓展参数

还是类似的的confusion matrix

3 ROC（Receiver Operating Characteristic）

ROC 发展于20世纪50年代的信号检测理论, 用于显示检测率和误报警率之间的权衡。

ROC曲线显示TPR与FPR的关系，用ROC曲线上的一个点表示模型的性能，

改变分类器的阈值参数会改变点的位置

（TPR，FPR）

（0，0）：把所有数据判别为负类；
（1，1）：把所有数据判别为正类；
（1，0）：理想情况

对角线是一条假想线，低于该线表示于正确的类别相反。

4 基于ROC的模型比较

没有一种模型总是好于另一种

上图中，对于小的FPR值，M1 更好

对于大的FPR值，M12更好

5 如何构建一个ROC曲线

为每个实例，使用分类器产生一个连续值的分数，该实例在+ class 的可能性越高，得分越高
根据分数，按照降序排列实例
应用一个阈值在每个独特价分数值
在每个阈值计算TPFP, TN, FN的数量,

TPR = TP / (TP + FN)

FPR= FP / (FP + TN)

Imbalanced class problem(ROC, Confusion Matrix)相关推荐

算法模型评价详解：confusion matrix Accuracy Precision Recall F1 调和平均加权F1 Micro-F1 Macro-F1 PRC ROC AUC
目录问题定义 confusion matrix Accuracy Precision和Recall和PRC F1和调和平均加权F1 Micro-F1和Macro-F1 ROC和AUC PRC对比R ...
模型评估指标（Confusion Matrix、ROC、AUC）
文章目录 1.选择合适的模型评估指标的依据 2.混淆矩阵(Confusion Matrix) 2.1 模型整体效果:准确率 2.2 捕捉少数类:精确率(Precision).召回率(Recall)和F ...
多分类问题中混淆矩阵(Confusion Matrix)的Matlab画法
在多分类问题中,有一种很实用的分类问题结果统计图. 比如说多类别文类问题,那么每一个类别分到其他类别都有一些数据,但是分到自己类别的毕竟多,这样计算百分比之后就形成了一个矩阵,如果分类正确率高的话,那 ...
WEKA “Detailed Accuracy By Class”和“Confusion Matrix”含义
原文 === Summary ===(总结) Correctly Classified Instances(正确分类的实例) 45 90 % I ...
matlab 分类学习工具箱 Classification Learner的使用及导出其生成的图，混淆矩阵confusion matrix的画法
声明:转自https://blog.csdn.net/qq_27914913/article/details/71436838 https://blog.csdn.net/evil_xue/artic ...
分类模型之混淆矩阵(Confusion Matrix)
目录混淆矩阵简介混淆矩阵及其参数混淆矩阵的其他指标混淆矩阵简介混淆矩阵是ROC曲线绘制的基础,同时它也是衡量分类型模型准确度中最基本,最直观,计算最简单的方法. 可以简单理解为:将一个分类模 ...
R语言使用caret包的confusionMatrix函数计算混淆矩阵、使用编写的自定义函数可视化混淆矩阵（confusion matrix）
R语言使用caret包的confusionMatrix函数计算混淆矩阵.使用编写的自定义函数可视化混淆矩阵(confusion matrix) 目录
R语言自定义多分类混淆矩阵可视化函数（mutlti class confusion matrix）、R语言多分类混淆矩阵可视化
R语言自定义多分类混淆矩阵可视化函数(mutlti class confusion matrix).R语言多分类混淆矩阵可视化目录
sklearn使用投票器VotingClassifier算法构建多模型融合的软投票器分类器（soft voting）并计算融合模型的混淆矩阵、可视化混淆矩阵（confusion matrix）
sklearn使用投票器VotingClassifier算法构建多模型融合的软投票器分类器(soft voting)并计算融合模型的混淆矩阵.可视化混淆矩阵(confusion matrix) 目录

最新文章

热门文章