[机器学习] 模型稳定度指标PSI
群体稳定性指标(population stability index)
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异,为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后,针对不同样本,或者不同时间的样本,population分布是否有变化,就是看各个分数区间内人数占总人数的占比是否有显著变化。通常用作模型效果监测。一般认为PSI小于0.1时候模型稳定性很高,0.1-0.2一般,需要进一步研究,大于0.2模型稳定性差,建议修复。
公式如下:
这里的AC与EX为不同时间段的模型输出分数,如果PSI过大,说明模型输出的分数分布变化很大了,需要更新模型。
PSI实际应用范例:
1)样本外测试
针对不同的样本测试一下模型稳定度,比如训练集与测试集,也能看出模型的训练情况,我理解是看出模型的方差情况。
2)时间外测试
测试基准日与建模基准日相隔越远,测试样本的风险特征和建模样本的差异可能就越大,因此PSI值通常较高。至此也可以看出模型建的时间太长了,是不是需要重新用新样本建模了。
变量的PSI计算:
PSI:检验变量的稳定性,当一个变量的psi值大于0.0001时,变量不稳定。一个变量,将它的取值按照分位数来分组一下,每一组中测试模型的客户数占比减去训练模型中的客户数占比再乘以这两者相除的对数,就是这一组的稳定性系数psi,然后变量的psi系数就是把这个变量的所有组的psi相加总起来。
[机器学习] 模型稳定度指标PSI相关推荐
- python计算模型psi_模型稳定度指标PSI与IV
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
- 模型稳定度指标PSI 释义及计算示例
稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异,为最常见的模型稳定度评估指针.其实PSI表示的就是按分数分档后,针对不同样本, ...
- 模型稳定度指标PSI与IV
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
- 信用评分卡模型稳定度指标PSI
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
- 模型稳定度指标PSI
群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标. PSI = sum((实际占比-预期占比)* ln(实际占比/预期占比)) 举例 ...
- ML之ME/LF:机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介、使用方法、案例应用之详细攻略
ML之ME/LF:机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介.使用方法.案例应用之详细攻略 目录 PSI(稳定度指标)的简介 1.如何计算PSI? (1).PSI计算过程
- 机器学习模型评估指标总结!
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:太子长琴,Datawhale优秀学习者 本文对机器学习模型评估指标 ...
- 【机器学习基础】非常详细!机器学习模型评估指标总结!
作者:太子长琴,Datawhale优秀学习者 本文对机器学习模型评估指标进行了完整总结.机器学习的数据集一般被划分为训练集和测试集,训练集用于训练模型,测试集则用于评估模型.针对不同的机器学习问题(分 ...
- 模型稳定性指标—PSI
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
最新文章
- C# 获取几种路径的方式
- 【Python】写文件个性化设置模块Python_Xlwt练习
- CDOJ 1269 ZhangYu Speech
- hibernate mysql annotation_Hibernate基于注解annotation的配置
- 常见三种存储方式DAS、NAS、SAN的架构及比较
- android 初始化类,Android 常用编程技巧/Java类的初始化顺序 (静态变量、静态初始化块、变量、初始化块、构造器)...
- SpringCloud微服务2-服务提供者和消费者
- 六石风格文档范例:做测试结果表格
- Java课程设计——日历的设计与实现
- 记住密码的实现的2个方案
- freeradius mysql nas_freeradius+mysql+交换机认证
- 微信开放平台基于网站应用授权登录源码(java)
- Leetcode——495. Teemo Attacking
- 计算机提示无法访问手机tf卡,电脑(手机)无法读取内存卡(存储卡)的解决方法大全...
- tidyverse笔记——tidyr包
- 2022年国家高新企业认定申报最全问答-财务数据篇
- 在微信公众号中使用jquery和微信SDK
- python语句print(0xa+0xb)_Python语句print(0xA+0xB)的输出结果为()
- Python 爬虫入门(1)获取豆瓣网页源代码
- 迷信自身专业者,守株待兔尔
热门文章
- 东风本田crv2020新款混动说明书_能上绿牌,无续航焦虑!2020北京车展混动新车抢先看...
- java short float_Java Short floatValue()用法及代码示例
- axios中POST请求变成OPTIONS处理
- Redis-相关概念记录
- linux远程登录ssh免密码
- AngularJS 1.3 支持使用 $digest() 循环实现延迟
- 如何在vue-router的beforeEach钩子里做页面访问权限验证
- 计算机风扇维修,教你简单修理电脑散热风扇
- JQuery中的API--操作DOM
- Aroma's Search(暴力)