你应该知道的模型评估的五个方法

1、混淆矩阵。

2、提升图&洛伦兹图。

3、基尼系数

4、ks曲线

5、roc曲线。

混淆矩阵

混淆矩阵不能作为评估模型的唯一标准，混淆矩阵是算模型其他指标的基础，后面会讲到，但是对混淆矩阵的理解是必要的。

模型跑出来的“Y”值为每个客户的预测违约概率，可以理解为客户的有多大的可能违约。把概率等分分段，y坐标为该区间的人数，可以得到这样子一个图表。

可以看到图中这条线，一切下去，在左边就算是违约的客户，那么右边就是正常的客户，本身模型没办法百分百的判断客户的状态，所以cd就算是会误判的，d本来是是左边这个小山的客户，那就是坏客户，但是模型预测他的概率比较高别划分到了好客户的这边了，所以d就是被预测为好客户的坏客户，同样的道理，c就是被预测为坏客户的好客户。

提升图&洛伦兹图

假设我们现在有个10000的样本，违约率是7%，我们算出这10000的样本每个客户的违约概率之后降序分为每份都是1000的记录，那么在左图中，第一份概率最高的1000个客户中有255个违约的。违约客户占了全部的36.4。如果不对客户评分，按照总体的算，这个分组；理论上有70个人是违约的。

把刚才的图，每组中的随机违约个数以及模型违约个数化成柱形图，可以看到假设现在是p值越大的客户，违约概率越大，那就是说这里第一组的1000个人就是概率倒序排序之后的前1000个人。那么可以看到通过模型，可以识别到第一组的客户违约概率是最高的，那么在业务上运用上可以特别注意这部分客户，可以给予拒绝的处理。

那么洛伦兹图就是将每一组的一个违约客户的个数累计之后连接成一条线，可以看到在12组的时候，违约人数的数量上升是一个比较明显的状态，但是越到后面的组，违约人数上升的越来越少了。那么在衡量一个模型的标准就是这个条曲线是越靠近y轴1的位置越好，那样子就代表着模型能预测的违约客户集中在靠前的几组，所以识别客户的效果就是更好。

基尼系数

洛伦茨曲线是把违约概率降序分成10等分，那么基尼统计量的上图是把违约概率升序分成10等分，基尼统计量的定义则为：

G的值在0到1之间，在随机选择下，G取0。G达到0.4以上即可接受。

ks值

ks曲线是将每一组的概率的好客户以及坏客户的累计占比连接起来的两条线，ks值是当有一个点，好客户减去坏客户的数量是最大的。那么ks的值的意义在于，我在那个违约概率的点切下去，创造的效益是最高的，就图中这张图来说就是我们大概在第三组的概率的中间的这个概率切下，我可以最大的让好客户进来，会让部分坏客户进来，但是也会有少量的坏客户进来，但是这已经是损失最少了，所以可以接受。那么在建模中是，模型的ks要求是达到0.3以上才是可以接受的。

roc

灵敏度可以看到的是判断正确的违约客户数，这里给他个名字为违约客户正确率(tpr)，误判率就是判断错误的正常客户数（fpr）。特殊性就是正常客户的正确率，那么roc曲线是用误判率和违约客户数画的一条曲线。这里就需要明确一点就是，我们要的效果是，tpr的越高越好，fpr是越低越好。ROC曲线就是通过在0-1之间改变用于创建混淆矩阵的临界值，绘制分类准确的违约记录比例与分类错误的正常记录比例。具体我们来看图。

我们首先来看A,B点的含义，A点的TPR大概为0.7左右，FPR大概是0.3左右，那么就是说假设我错误的将30%坏客户判断是坏的，那么可以识别70%的客户肯定坏的。B点的TPR大概为0.3左右，FPR大概是0.7左右，那就是我错误的将70%好客户当做坏客户，只能得到30%的客户是确定坏客户。所以这么说的话，点越靠近左上方，模型就是越好的，对于曲线也是一样的。

总结

我个人建议，要依据不同的业务目的，选取不同的评估方式，基尼系数、提升图可以用于用人工审批情况的业务目的，不同的分组突出客户的质量的高低，ks、roc可以用于线上审批审核的情况，根据最小损失公式，计算出概率点。

你应该知道的模型评估的五个方法相关推荐

第六课.模型评估与模型选择
目录导语模型评估回归任务的评估指标分类任务的评估指标过拟合现象过拟合的原因过拟合解决办法模型选择与调整超参数正则化留出法交叉验证网格搜索实验:线性回归预测股票走势实验说明 ...
【机器学习】模型评估-手写数字集模型训练与评估
文章目录前言一.数据集的加载二.分训练集和测试集,洗牌操作,二分类三.训练模型和预测四.模型评估 1.交叉验证 2.Confusion Matrix-混淆矩阵 2.1 Precision,r ...
炼丹知识点：模型评估里的陷阱
在实践中,做推荐系统的很多朋友思考的问题是如何对数据进行挖掘,大多数论文致力于开发机器学习模型来更好地拟合用户行为数据.然而,用户行为数据是观察性的,而不是实验性的.这里面带来了非常多的偏差,典型的有 ...
kaggle实战—泰坦尼克（五、模型搭建-模型评估）
kaggle实战-泰坦尼克(一.数据分析) kaggle实战-泰坦尼克(二.数据清洗及特征处理) kaggle实战-泰坦尼克(三.数据重构) kaggle实战-泰坦尼克(四.数据可视化) kaggle ...
动手学习数据分析（五）——数据建模及模型评估
数据建模及模型评估 1.特征工程 1.1 缺失值填充对分类变量缺失值:填充某个缺失值字符(NA).用最多类别的进行填充对连续变量缺失值:填充均值.中位数.众数 2.模型搭建处理完前面的数据我们就 ...
kmeans及模型评估指标_模型评估常用指标
一. ROC曲线和AUC值在逻辑回归.随机森林.GBDT.XGBoost这些模型中,模型训练完成之后,每个样本都会获得对应的两个概率值,一个是样本为正样本的概率,一个是样本为负样本的概率.把每个样本 ...
万字长文总结机器学习的模型评估与调参 | 附代码下载
作者 | Sebastian Raschka 翻译&整理 | Sam 来源 | SAMshare 目录一.认识管道流 1.1 数据导入 1.2 使用管道创建工作流二.K折交叉验证 2.1 ...
机器学习模型评估指标总结！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:太子长琴,Datawhale优秀学习者本文对机器学习模型评估指标 ...
机器学习模型评估与超参数调优详解
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:李祖贤深圳大学,Datawhale高校群成员机器学习分为两类 ...

你应该知道的模型评估的五个方法

你应该知道的模型评估的五个方法相关推荐

最新文章

热门文章