笔记︱风控分类模型种类(决策、排序)比较与模型评估体系(ROC/gini/KS/lift)
每每以为攀得众山小,可、每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~
———————————————————————————
本笔记源于CDA-DSC课程,由常国珍老师主讲。该训练营第一期为风控主题,培训内容十分紧凑,非常好,推荐:CDA数据科学家训练营
——————————————————————————————————————————
一、风控建模流程以及分类模型建设
1、建模流程
该图源自课程讲义。主要将建模过程分为了五类。数据准备、变量粗筛、变量清洗、变量细筛、建模与实施。
2、分类模型种类与区别
风控与其他领域一样,分类模型主要分为两大类:排序类、决策类、标注类(文本、自然语言处理)。
一般来说风控领域在意的是前两个模型种类,排序类以及决策类。
其中:巴塞尔协议定义了金融风险类型:市场风险、作业风险、信用风险。信用风险ABC模型有进件申请评分、行为评分、催收评分。
模型 | 解释 | 复杂度 | 应用场景 |
Logistics回归 | 影响程度大小与显著性,解释力度强,但只是线性,没有顾及到非线性,预测精度较低 | 申请评分、流失预测 | |
决策树 | 1、描述性,重建用户场景,可做变量提取与用户画像 | 叶子的数量 | 流失模式识别 |
2、树的结构不稳定,可以得出变量重要性,可以作为变量筛选 | |||
随机森林 | 随机森林比决策树在变量筛选中,变量排序比较优秀 | ||
神经网络 |
1、不可解释,内部使用,预测精度较高。可以作为初始模型的金模型(用以评估在给定数据条件下,逻辑回归可达到的最精确程度) 2、线性(逻辑回归)+非线性关系,可用于行为评分的预测模型(行为评分对模型可解释性不强),可用于申请评分的金模型 3、使用场景:先做一个神经网络,让预测精度(AUC)达到最大时,再用逻辑回归 |
迭代次数 |
申请评分的金模型; 行为评分的预测模型 |
(1)信用风险——申请信用评分
申请评分可以将神经网络+逻辑回归联合使用。
《公平信用报告法》制约,强调评分卡的可解释性。所以初始评分(申请评分)一般用回归,回归是解释力度最大的。
神经网络可用于银行行为评级以及不受该法制约监管的业务(P2P)。其次,神经也可以作为申请信用评分的金模型。
金模型的使用:一般会先做一个神经网络,让预测精度(AUC)达到最大时,再用逻辑回归。
建模大致流程:
一批训练集+测试集+一批字段——神经网络建模看AUC——如果额定的AUC在85%,没超过则返回重新筛选训练、测试集以及字段;
超过则,可以后续做逻辑回归。
(2)信用风险——行为评分
行为评分建模:行为信用评级不需要解释性,所以可以用非线性的神经网络。
——————————————————————————————————————————
二、分类模型评估体系
上述将分类模型做了归纳,不同的分类模型所采用的评估体系不同。
决策类:准确率/误分率、利润/成本
排序类:ROC指标(一致性)、Gini指数、KS统计量、提升度
1、决策类评估——混淆矩阵指标
混淆矩阵,如图:其中这些指标名称在不同行业有不同的名称解释
正确率=(A+D)/(A+B+C+D)
灵敏度(覆盖率、召回率)=A/(A+B)
命中率(PV+)=A/(A+C)
特异度(负灵敏度、负覆盖率)=D/(C+D)
负命中率(PV-)=D/(D+B)
在以上几个指标中不同行业看中不同的指标:
(1)灵敏度/召回率/覆盖率(——相对于命中率)
譬如灵敏度(召回率)这一指标就比正确率要重要,覆盖率(Recall)这个词比较直观,在数据挖掘领域常用。因为感兴趣的是正例(positive),比如在信用卡欺诈建模中,我们感兴趣的是有高欺诈倾向的客户,那么我们最高兴看到的就是,用模型正确预测出来的欺诈客户(True Positive)cover到了大多数的实际上的欺诈客户,覆盖率,自然就是一个非常重要的指标。
(2)命中率(——相对于覆盖率)
欺诈分析中,命中率(不低于20%),看模型预测识别的能力。
在数据库营销里,你预测到b+d个客户是正例,就给他们邮寄传单发邮件,但只有其中d个会给你反馈(这d个客户才是真正会响应的正例),这样,命中率就是一个非常有价值的指标。 以后提到这个概念,就表示为PV+(命中率,Positive Predicted Value)*。
2、排序类指标评估
ROC指标(一致性)、Gini指数(洛伦兹曲线)、KS统计量、提升度四类指标。
(1)ROC曲线
对角线模型,最差,风控喜欢的指标。由决策类指标的灵敏度(召回率/覆盖率)与特异度(负灵敏度、负召回率)来构造。
求覆盖率等指标,需要指定一个阈值(threshold)。随着阈值的减小,灵敏度和1-特异度也相应增加(也即特异度相应减少)。
把基于不同的阈值而产生的一系列灵敏度和特异度描绘到直角坐标上,就能更清楚地看到它们的对应关系。把sensitivity和1-Specificity描绘到同一个图中,它们的对应关系,就是传说中的ROC曲线,全称是receiver operating characteristic curve,中文叫“接受者操作特性曲线”。
AUC值,为了更好的衡量ROC所表达结果的好坏,Area Under Curve(AUC)被提了出来,简单来说就是曲线右下角部分占正方形格子的面积比例。该比例代表着分类器预测精度。(R语言︱ROC曲线——分类器的性能表现评价)
(2)累积提升曲线
营销最好的图,很简单。它衡量的是,与不利用模型相比,模型的预测能力“变好”了多少(分类模型评估——混淆矩阵、ROC、Lift等)。
将概率从大到小铺开x,提升度可以有一些“忽悠”的成本,哈哈~可以微调,可以自己调节提升度的区间
(3)K-S曲线
风控喜欢的指标。K-S曲线的最大值代表K-S统计量。
(4)洛伦兹曲线gini
风控喜欢的指标,TP率给了一个累积比,跟提升度差不多。
——————————————————————————————————————————
三、信用风险模型检测
监测可以分为前端、后端监控。
前端监控,授信之前,别的客户来了,这个模型能不能用?
后端监控,建模授信之后,打了分数,看看一年之后,分数是否发生了改变。
1、前端监控
长期使用的模型,其中的变量一定不能波动性较大。比如,收入这个指标,虽然很重要,但是波动性很大,不适合用在长期建模过程中。
如果硬要把收入放到模型之中,要放入收入的百分位制(排名)。
2、后端监控
主要监控模型的正确性以及变量选择的有效性。出现了不平滑的问题,需要重新考虑
每每以为攀得众山小,可、每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~
———————————————————————————
笔记︱风控分类模型种类(决策、排序)比较与模型评估体系(ROC/gini/KS/lift)相关推荐
- 【风控建模】风控分类模型种类(决策、排序)比较与模型评估体系(ROC/gini/KS/lift)
原文链接:https://blog.csdn.net/sinat_26917383/article/details/51725102 需要数据分析.风控评分卡等相关数据.代码,请添加qq群:10275 ...
- PART 2.1 风控模型种类变量选择范围变量衍生特征交叉
最重要的事情开始都会讲:建模是始终服务于业务的,没有业务的评分卡就没有灵魂 评分卡环节的介绍 风控模型种类 获客阶段: 用户响应模型:在获客阶段的用户转化情况(比如互联网引流用户注册情况) 风险预筛选 ...
- 浅析消费金融风控之贷中、贷前、贷后风控(风控模型、决策引擎)
消费金融迎来"爆发增长"期 预计到2020年,我国消费信贷总市场规模将达到45万亿元,年复合增长率将达到18%.前景广阔的消费金融市场,将成为我国经济发展的重要内驱力! 业务痛点 ...
- 数据竞赛入门-金融风控(贷款违约预测)五、模型融合
前言 本次活动为datawhale与天池联合举办,为金融风控之贷款违约预测挑战赛(入门) 比赛地址:https://tianchi.aliyun.com/competition/entrance/53 ...
- 利用lightgbm做learning to rank 排序,解析模型中特征重要度
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程 公众号:datayx 去年实习时,因为项目需要,接触了一下Learning to Rank(以下简称L2R),感觉很 ...
- 笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting、模型融合
基本内容与分类见上述思维导图. 文章目录 一.模型融合方法 . 概述 1.Voting 2.Averaging 3.Bagging 4.Boosting 5. Stacking (1)nfolds 次 ...
- 【阅读笔记】应用LRP,通过将相关性从模型的输出层反向传播到其输入层来解释基于RNN的DKT模型(一)
提示:Towards Interpretable Deep Learning Models for Knowledge Tracing将重点放在应用分层相关传播(LRP)方法,通过将相关性从模型的输出 ...
- 报名 | 风控中的A/B卡:申请模型和行为模型讲座
随着个人消费信贷的飞速发展,尤其是线上消费金融的将分类模型应用在信贷流程上日益广泛.比较典型的是应用建模技术,解决贷前批量的申请准入和审批,和解决贷中信贷风险跟踪和预警.前者是申请模型,即A卡,在申请 ...
- 机器学习笔记-多分类学习,类别不平衡,决策树
读书笔记 多分类学习 基本思想:拆解法:将多分类任务拆解为若干个二分类任务求解,先对这些问题经拆分,为拆分出的每个二分类任务训练一个分类器,测试时,对这些分类器的预测结果进行集成以获得最终的多分类结果 ...
最新文章
- 如果机房的线路老化了要怎么做才对?
- 《1024伐木累》-宝贝儿,可不可以
- 九十、动态规划系列背包问题之多重背包
- 十个提高编码技能的诀窍,你掌握了几个?
- java面试题总结(二)----java中级面试题 含答案
- [2-sat][topsort输出解] POJ 3648 Wedding
- mysql表的默认所有者_MySQL数据库基本管理-001
- 微型计算机地基本结构,微型计算机地基本结构.ppt
- python 写excel 保留空格_通过自动填充列中的空格来操作excel表的Python脚本
- c语言误差椭圆,平差计算
- 2021-2027全球与中国X射线检测系统市场现状及未来发展趋势
- jquery实现登录成功界面_【jQuery实例】Ajax登录页面
- nu.xom:Serializer
- 星星泪用计算机怎么弹,星星泪简谱
- 欧文分校计算机科学硕士项目,美国加州大学欧文分校信息与计算机科学硕士.pdf...
- sql 一张表递归_查看我的递归视觉指南(因为一张图片价值1,000字)
- matlab判定hurwitz_[转载]劳斯(Routh-Hurwitz)稳定判据-符号运算版
- RESTful风格的springMVC
- Linux(CentOS)操作系统安装详解
- 蓝桥杯 BFS 迷宫寻宝
热门文章
- Java中导入Excel文件
- Jackson(ObjectMapper)的简单使用(可转xml)
- javascript 将时间戳格式化
- 10年java架构师教你如何快速打好Java基础?
- exchange2013 OWA界面使用公有计算机或私有计算机选项
- 服务端指南 数据存储篇 | 聊聊 Redis 使用场景(转)
- [转帖]int main(int argc,char * argv[]) windows 下的使用
- ORA-01940: cannot drop a user that is currently...
- 帮朋友配置的一台主机,配置发出来看看
- 大数据分析如何助力企业发展业务