机器学习中精准率/召回率/PR曲线/AUC-ROC曲线等概念
目录
TP/TN/FP/FN
accuracy(准确率)
precision(精确率/查准率)
recall(召回率/查全率)
F1分数与Fβ分数
PR曲线(precision recall curve)
AUC-ROC曲线
如何将AUC-ROC曲线用于多分类模型
预测类别 | |||
正 | 负 | ||
实际类别 |
正 |
真正例(TP) | 假负例(FN) |
负 |
假正例(FP) | 真负例(TN) |
TP/TN/FP/FN
- TP:真正例,被分类器预测为正类的正样本;
- TN:真负例,被分类器预测为负类的负样本;
- FP:假正例,被分类器预测为正类的负样本;
- FN:假负例,被分类器预测为负类的正样本。
accuracy(准确率)
表示总样本中分类器正确分类的样本数量占比。
precision(精确率/查准率)
表示预测为正的样本中分类器判断正确的样本数量占比。
recall(召回率/查全率)
表示正样本中分类器判断正确的样本数量占比。
F1分数与Fβ分数
F1分数是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率,可以看作是精确率和召回率的一种调和平均数,数值介于0-1之间。
Fβ是对F1分数的拓展,在统计学中也经常使用F2和F0.5分数。F2分数表示召回率的权重高于精确率,而F0.5分数表示精确率的权重高于召回率。
PR曲线(precision recall curve)
纵轴:precision(精确率/查准率);横轴:recall(召回率/查全率)。
对分类器预测正例的概率倒序排列,移动阙值使得预测正例的概率从最大到最小移动(大于阈值的认为是正例,小于阈值的认为是负例),在每个阈值处标记precision和recall,通过这种方式画出一条曲线,即PR曲线。
precision和recall是相互矛盾的一组指标,recall提高,precision就会降低。
如果有两个算法,或者一个算法用两个不同参数进行训练,那么通常曲线与x/y轴相交面积更大的模型会更好。因为面积更大的曲线,每个点的精确率和召回率都可能更好。
AUC-ROC曲线
在机器学习中,性能评估是必不可少的任务。AUC-ROC曲线是针对各种阈值设置下分类问题的性能度量。ROC(the Receiver Operating Characteristic)是概率曲线,AUC(Area Under Curve)表示可分离的程度,它告诉我们模型多大程度上能够正确区分类别。
1)ROC曲线
纵轴:真阳性率(TPR) = TP/(TP+FN) ,与recall等价,即正样本中分类器判断正确的样本数量占比;
横轴:假阳性率(FPR) = FP/(FP+TN) ,即负样本中分类器判断错误的样本数量占比。
类似于PR曲线,不同的点在于ROC曲线是用TPR和FPR来绘制的。
TPR和FPR呈现正向的相关关系,FPR提高,TPR也会提高。
2)AUC指标
AUC越高,正确分类的概率越高。出色的模型的AUC接近1,这意味着它具有良好的可分离性,较差的模型的AUC接近于0,这意味着它的可分离性程度最差。当AUC为0.5时,表示模型没有类别分离能力,与随机分类效果差不多。
如何将AUC-ROC曲线用于多分类模型
在多分类模型中,可以使用One VS All的方法绘制n个分类器的n个AUC-ROC曲线
参考资料:机器学习中的精确率召回率和PR曲线_GwentBoy的博客-CSDN博客_精确率和召回率曲线
机器学习中精准率/召回率/PR曲线/AUC-ROC曲线等概念相关推荐
- 机器学习中的precision, recall, accuracy, F值,ROC曲线
参考: 假设用机器学习方法解决某个二元分类问题,在分析比较不同模型时常看到这些指标. 四个概念:TP,FP,TN,FN TP(True Positive):在判定为positive的样本中,判断正确的 ...
- 机器学习笔记--PR曲线和ROC曲线
最近在看周志华老师的机器学习,本文主要是对PR图和ROC曲线的整理. 一.PR图 对于二分类问题,根据分类结果能形成"混淆矩阵". P是查准率,R是查全率,定义如下: 查准率P类似 ...
- 机器学习中的性能指标:精度、召回率,PR曲线,ROC曲线和AUC,及示例代码
机器学习中的性能指标:精度.召回率.PR曲线,ROC曲线和AUC 精度.召回率 基本概念 F-Score 度量曲线 PR曲线 ROC曲线 PR曲线和ROC曲线的比较 AUC 精度.召回率 基本概念 可 ...
- 分类算法的评价指标-混淆矩阵,精准率召回率,pr曲线,roc曲线等
文章目录 前言 一.混淆矩阵(confusion matrix)? 二.精准率和召回率 1.精准率 2.召回率 3.自己实现精准率和召回率以及混淆矩阵 4.sklearn中的精准率召回率以及混淆矩阵 ...
- 02_混淆矩阵、准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值(F-Measure) +Roc曲线和PR曲线+sklearn中分类模型评估API+ 自己补充整理
此博文参考: 关于ROC绘制参考博文: https://blog.csdn.net/u011630575/article/details/80250177 Python+ROC相关的博文: https ...
- 百面机器学习 #2 模型评估:0102 精确率与召回率,假阳性与真阳性率,PR曲线和ROC曲线
文章目录 1. P-R(Precision-Recall)曲线 F1 score 2. 平方根误差的局限性 3. ROC曲线 ROC曲线绘制 4. AUC predict Positive predi ...
- 【机器学习入门】(13) 实战:心脏病预测,补充: ROC曲线、精确率--召回率曲线,附python完整代码和数据集
各位同学好,经过前几章python机器学习的探索,想必大家对各种预测方法也有了一定的认识.今天我们来进行一次实战,心脏病病例预测,本文对一些基础方法就不进行详细解释,有疑问的同学可以看我前几篇机器学习 ...
- 一文详尽混淆矩阵、准确率、精确率、召回率、F1值、P-R 曲线、ROC 曲线、AUC 值、Micro-F1 和 Macro-F1
文章目录 二分类的评价指标 一.混淆矩阵与 TP.TN.FP.FN 二.准确率.精确率.召回率.F1值 三.P-R 曲线 四.ROC 曲线.AUC 值 五.P-R曲线和ROC曲线有什么区别,如何选择? ...
- 正确率/精度(precision),召回率(recall),F1-score,ROC 曲线,AUC值
准确率(accuaracy)= (TP+TN)/ ALL 即(TP+TN+FP+FN),是我们最熟知的. 正确率/精度(precision),召回率(recall),F1-score,ROC 曲线,A ...
最新文章
- Overleaf-LaTex表格制作
- mycat和MySQL版本兼容_mycat下mysql jdbc connector使用高版本报PacketTooBigException异常
- TADOStoredProc返回多个数据集
- boost::spirit模块实现展示不同容器类型的输出格式化的统一和简单的方法
- Block CONNECT method in httpd.conf
- Docker storage driver 选择
- dataguard mysql,[dataguard同步数据库]Dataguard环境下数据库的备份与恢复
- php 中class,PHP5中的类(class) (转)
- 算法笔记_132:最大流量问题(Java)
- 非常全面的讲解SpringCloud中Zuul网关原理及其配置,看它就够了!
- 五笔输入法 快速入门 二小时基本了解五笔
- 微信公众号数据2019_微信公众号精准数据对比 让公众号运营更顺利
- 2007年牛人牛语录
- 玩转Luat——导读
- 1047: 字符图形3-平行四边形
- 使用bootstrap时下拉菜单失效问题解决
- Wol 网络远程唤醒技术,通过TP-LINK路由器远程一键开启电脑
- 实现带头结点单链表的就地逆置问题。
- python话费充值_Python 登录移动查询话费
- java 鱼眼照片的矫正_使用OpenCV校准鱼眼镜头