模型评估方法(AUC等)
1. 混合矩阵介绍
预测1 |
预测0 |
|
实际1 |
TP |
FN |
实际0 |
FP |
TN |
- TP (True Positive):实际为正,预测为正。
- FP(False Positive):实际为负,预测为正。
- TN (True Negative):实际为负,预测为负。
- FN (False Negative):实际为正,预测为负。
2. 模型评估方法
2.1 准确度
Accurray使用范围广,计算容易,但容易造假,即很容易训练一个准确较高的但用处不大的模型。如正样本90,负样本10个,直接把样本全部判正,则准确度90%,实际是没有意义的。
2.2. F1-score
- 精准率precision = TP / (TP + FP),即被分类器判正的数据中正样本占比,对象是模型判定结果。用于判断是否有误判。
- 召回率recall = TP / (TP + FN),即正样本数据中被模型判正的占比,对象是所有正样本数据。用于判断是否有漏判。
F1-score计算的是precision和recall的调和平均数,综合考量了模型查全率和查准率的计算结果,结果更偏向于较小的那个。
2.3 ROC & AUC
定义两个概念:伪阳率FPR和真阳率TPR
- 伪阳率FPR = FP / (FP + TN)
- 真阳率TPR = TP / (TP + FN)
ROC(Receiver Operating Characteristic)曲线,即在二维平面画的曲线-ROC curve,横坐标为FPR(false positive ratio),纵坐标为TPR。针对一个分类器,取不同的阈值,可以得到多组(FPR,TPR),即可绘制ROC曲线。由橙色曲线可知,曲线越靠近左上角,说明分类器效果越好;如果在对角线附近,则说明分类器接近随机猜测。
AUC(Area under ROC curve)是ROC曲线的数值化表示,即曲线下的面积大小,通常取值范围为[0.5, 1](如果在对角线下侧,则反向分析),值越大则表明分类器效果越好。
- AUC = 1,是完美分类器,分类器不管选择哪个阈值均能完美分类。
- 0.5 < AUC < 1,优于随机猜测,分类器合理设置阈值,具有预测价值。
- AUC = 0.5,随机猜测,分类没有预测价值。
- AUC < 0.5,比随机猜测还差;但反预测而行,效果优于随机猜测。
建议值:AUC取值>0.7模型才有意义。
2.4 KS曲线
KS曲线即为KS值分布曲线,一般使用曲线最大值作为模型的评估结果,值越大,模型越具有区分能力。
- <= 20,模型无区分能力
- > 20 & <= 40, 模型具有一定的预测能力。
- > 40 & <= 60, 模型预测能力较为突出。
- > 60 & <= 75,模型预测能力非常突出。
- > 75 模型预测能力难以置信,需要评估验证。
KS和AUC区别,两者都是通过TPR和FPR计算,KS取的是TPR与FPR差值的最大值,对于分类器能够找到一个合理的阈值;而AUC没有指定如何划分使模型效果最好,只是评估了模型的整体训练效果。
2.5 均方根误差(RMSE)/标准误差
在介绍RMSE前先介绍一下均方误差(MSE),它是通过模型预测值和实际值之间的距离的平方来衡量模型的效果,预测值和实际值越接近则模型效果越好。计算公式如下:
其中, N是训练集的个数,为每个训练集的真实输出,为模型对每个训练数据的预测结果。
而均方根误差也即标准差,是均方误差的算术平方根。引入标准差的目的是解决均方误差的结果和实际数据的量纲不同问题,则RMSE的公式如下:
模型评估方法(AUC等)相关推荐
- 模型评估方法和性能指标
基础概念 在建模过程中,由于偏差过大导致的模型欠拟合以及方差过大导致的过拟合的存在,为了解决这两个问题,我们需要一整套方法及评价指标.其中评估方法用于评估模型的泛化能力,而性能指标则用于评价单个模型性 ...
- 机器学习之模型评估方法总结
文章目录 一.分类模型评估指标 1.混淆矩阵(confusion matrix) 2.ROC 3.AUC 二.回归模型评估指标 1.SSE(和方差) 2.MSE(均方差) 3.RMSE(均方根.标准差 ...
- 模型评估方法(混淆矩阵)
在数据挖掘或机器学习建模后往往会面临一个问题,就是该模型是否可靠?可靠性如何?也就是说模型的性能如何我们暂时不得而知. 如果模型不加验证就使用,那后续出现的问题将会是不可估计的.所以通常建模后我们都会 ...
- [机器学习]模型评估方法
[机器学习]模型评估方法 评估方法 留出法 交叉验证法 留一法 自助法 评估方法 当进行模型选择时,理想方案是对候选模型的泛化误差进行评估,选择泛化误差最小的模型.但我们却无法直接获得泛化误差,而训练 ...
- ML(6)-Evaluate模型评估方法
评估方法 线性回归算法评估方式 MSE/RMSE/MAE/R Squared scikit-learn中的MSE/MAE/R Squared 分类算法评估方式 准确率(accuracy) 混淆矩阵 查 ...
- 机器学习中的模型评估方法和指标
机器学习模型的评估方法和指标 1.选择怎样的评估指标 1.1 Online metrics vs Offline metrics Online metrics是直接在线上环境做AB测试,比较两个实验组 ...
- 机器学习(16)ROC曲线与AUC指标(癌症分类的模型检测--AUC指标)
目录 一.基础理论 0.引言 1.TPR与FPR 1.TPR(召回率) 2.FPR 2.ROC曲线 3.AUC指标 二.癌症分类的模型检测(AUC指标) 1.正反例转1.0 2.计算AUC指标 总代码 ...
- 【深度学习】一文深度解读模型评估方法
我们训练学习好的模型,通过客观地评估模型性能,才能更好实际运用决策.模型评估主要有:预测误差情况.拟合程度.模型稳定性等方面.还有一些场景对于模型预测速度(吞吐量).计算资源耗用量.可解释性等也会有要 ...
- python sklearn库 rnn_如何使用Tensorflow计算RNN和LSTM模型的AUC并生成ROC曲线?
我使用一个自定义的预定义函数trainDNN运行RNN和LSTM模型import tensorflow as tf from tensorflow.contrib.layers import full ...
最新文章
- SSL与TLS的区别
- Proguard 部分类不混淆的技巧
- Hibernate 一对一、一对多、多对多注解cascade属性的总结
- Selection change event Issue is fixed handleListItemPress,SingleSelectMaster
- 彻底搞懂javascript中的match, exec的区别
- 基于selenium生成Csdn 博客文章简索的excel文件
- 2021-09-1017. 电话号码的字母组合
- 英语说10点20有计算机课,101 projects in 1001 days实例
- Python实现迷宫游戏
- python学习三-基础语法
- 如何实现自定义主题切换?
- Web渗透攻击之vega
- SSL: CERTIFICATE_VERIFY_FAILED
- MTL831C MTL838C MTL5053 EATON传输模块
- 博客样式(动态背景线条跟随鼠标移动)
- java 字符串签名_Java-方法签名
- JavaRIM实现(PRC的其中一种方案)
- Lua 5.4.4函数、模块注册
- 《H3C交换机配置与管理完全手册》(第二版)前言和目录
- 为什么的你的微信群被屏蔽了,这些原因你知道吗?
热门文章
- 素材pptuku shutterstock站酷海洛创意海图片代创意矢量图片下载
- navicat mysql 存储过程_navicat怎么创建存储过程
- 【手把手】教你玩转消息中间件之RabbitMQ
- ASEMI整流模块MDA110-16参数,MDA110-16规格
- 求解点关于直线的距离、垂足、对称点公式
- 支持Jolla,支持Linux,支持开放,支持互联,Jolla屌丝逆袭
- 计算机进位制及其规则,进位计数制及其转换方法过程详解
- 嵌入式桌面操作系统使用与制作攻略
- PC版微信多开,不用软件,自己动手丰衣足食。
- 【H.264/AVC视频编解码技术详解】八、 熵编码算法(2):H.264中的熵编码基本方法、指数哥伦布编码