模型稳定度指标PSI 释义及计算示例

稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化

PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳定性差，建议修复。

psi计算公式为：psi = sum(（实际占比-预期占比）* ln(实际占比/预期占比))

示例：

有一个模型主要生成用户分组，输出参数为group01-group10,我们需要统计该模型是否稳定，以验证我们的建模是否合适

第一步：统计总进件量（数据库统计），如总进件量为3400条数据

第二步：将总进件量按区间统计出各分区间量

假如统计出的结果如下：

group01	100
group02	200
group03	300
group04	500
group05	700
group06	800
group07	100
group08	100
group09	500
group10	100

第三步:算出各区间占比（本区间数/总进件数）

实际占比
2.94%
5.88%
8.82%
14.71%
20.59%
23.53%
2.94%
2.94%
14.71%
2.94%

第四步：我们自己有一个期望占比

预期占比
2%
8%
13%
17%
18%
6%
11%
9%
13%
3%

第五步：计算各区间psi并最终进行求和，从结果来看我这个模型应该重做哈哈哈。不过我的预期占比是随便写的，所以才有这个结果。整体的计算流程就是这样了，psi的计算公式为：psi = sum(（实际占比-预期占比）* ln(实际占比/预期占比))

模型稳定度指标PSI 释义及计算示例相关推荐

python计算模型psi_模型稳定度指标PSI与IV
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
[机器学习] 模型稳定度指标PSI
群体稳定性指标(population stability index) 由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(populati ...
模型稳定度指标PSI与IV
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
模型稳定度指标PSI
群体稳定性指标PSI(Population Stability Index)是衡量模型的预测值与实际值偏差大小的指标. PSI = sum((实际占比-预期占比)* ln(实际占比/预期占比)) 举例 ...
信用评分卡模型稳定度指标PSI
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
ML之ME/LF：机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介、使用方法、案例应用之详细攻略
ML之ME/LF:机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介.使用方法.案例应用之详细攻略目录 PSI(稳定度指标)的简介 1.如何计算PSI? (1).PSI计算过程
模型稳定性指标—PSI
由于模型是以特定时期的样本所开发的,此模型是否适用于开发样本之外的族群,必须经过稳定性测试才能得知.稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发 ...
kmeans及模型评估指标_模型评估常用指标
一. ROC曲线和AUC值在逻辑回归.随机森林.GBDT.XGBoost这些模型中,模型训练完成之后,每个样本都会获得对应的两个概率值,一个是样本为正样本的概率,一个是样本为负样本的概率.把每个样本 ...
风控业务-模型稳定性评价指标PSI
在风控领域的业务中,稳定性压倒一切,一套风控模型正式上线运行后往往需要很久(通常一年以上)才会被替换下线.如果模型不稳定,意味着模型不可控,对于业务本身而言就是一种不确定性风险,直接影响决策的合理性, ...

模型稳定度指标PSI 释义及计算示例

模型稳定度指标PSI 释义及计算示例相关推荐

最新文章

热门文章