零基础入门金融风控之贷款违约预测挑战赛-task01
零基础入门金融风控之贷款违约预测挑战赛-task01
零基础入门金融风控之贷款违约预测挑战赛
1.赛题描述
根据某信贷平台的贷款记录的数据,进行训练测试,预测用户贷款是否违约,得出用户违约的概率。
在给出的数据中,总数据量超过120w,包含47列变量信息,其中15列为匿名变量。为了保证比赛的公平性,将会从中抽取80万条作为训练集,20万条作为测试集A,20万条作为测试集B,同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。
2.数据信息
train.csv
列名称 | 代表含义 |
---|---|
id | 为贷款清单分配的唯一信用证标识 |
loanAmnt | 贷款金额 |
term | 贷款期限(year) |
interestRate | 贷款利率 |
installment | 分期付款金额 |
grade | 贷款等级 |
subGrade | 贷款等级之子级 |
employmentTitle | 就业职称 |
employmentLength | 就业年限(年) |
homeOwnership | 借款人在登记时提供的房屋所有权状况 |
annualIncome | 年收入 |
verificationStatus | 验证状态 |
issueDate | 贷款发放的月份 |
purpose | 借款人在贷款申请时的贷款用途类别 |
postCode | 借款人在贷款申请中提供的邮政编码的前3位数字 |
regionCode | 地区编码 |
dti | 债务收入比 |
delinquency_2years | 借款人过去2年信用档案中逾期30天以上的违约事件数 |
ficoRangeLow | 借款人在贷款发放时的fico所属的下限范围 |
ficoRangeHigh | 借款人在贷款发放时的fico所属的上限范围 |
openAcc | 借款人信用档案中未结信用额度的数量 |
pubRec | 贬损公共记录的数量 |
pubRecBankruptcies | 公开记录清除的数量 |
revolBal | 信贷周转余额合计 |
revolUtil | 循环额度利用率,或借款人使用的相对于所有可用循环信贷的信贷金额 |
totalAcc | 借款人信用档案中当前的信用额度总数 |
initialListStatus | 贷款的初始列表状态 |
applicationType | 表明贷款是个人申请还是与两个共同借款人的联合申请 |
earliesCreditLine | 借款人最早报告的信用额度开立的月份 |
title | 借款人提供的贷款名称 |
policyCode 公开可用的策略_ | 代码=1新产品不公开可用的策略_代码=2 |
n系列匿名特征 | 匿名特征n0-n14,为一些贷款人行为计数特征的处理 |
3.预测指标
3.1 Confuse Matrix
(1)若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
(2)若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
(3)若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
(4)若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
2、准确率(Accuracy) 准确率是常用的一个评价指标,但是不适合样本不均衡的情况。 Accuracy=TP+TNTP+TN+FP+FNAccuracy = \frac{TP + TN}{TP + TN + FP + FN}Accuracy=TP+TN+FP+FNTP+TN
3、精确率(Precision) 又称查准率,正确预测为正样本(TP)占预测为正样本(TP+FP)的百分比。 Precision=TPTP+FPPrecision = \frac{TP}{TP + FP}Precision=TP+FPTP
4、召回率(Recall) 又称为查全率,正确预测为正样本(TP)占正样本(TP+FN)的百分比。 Recall=TPTP+FNRecall = \frac{TP}{TP + FN}Recall=TP+FNTP
5、F1 Score 精确率和召回率是相互影响的,精确率升高则召回率下降,召回率升高则精确率下降,如果需要兼顾二者,就需要精确率、召回率的结合F1 Score。 F1−Score=21Precision+1RecallF1-Score = \frac{2}{\frac{1}{Precision} + \frac{1}{Recall}}F1−Score=Precision1+Recall12
6、P-R曲线(Precision-Recall Curve) P-R曲线是描述精确率和召回率变化的曲线
7、ROC(Receiver Operating Characteristic)
ROC空间将假正例率(FPR)定义为 X 轴,真正例率(TPR)定义为 Y 轴。
TPR:在所有实际为正例的样本中,被正确地判断为正例之比率。 TPR=TPTP+FNTPR = \frac{TP}{TP + FN}TPR=TP+FNTP FPR:在所有实际为负例的样本中,被错误地判断为正例之比率。 FPR=FPFP+TNFPR = \frac{FP}{FP + TN}FPR=FP+TNFP
8、AUC(Area Under Curve) AUC(Area Under Curve)被定义为 ROC曲线 下与坐标轴围成的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。
对于金融风控预测类常见的评估指标如下:
1、KS(Kolmogorov-Smirnov) KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。 K-S曲线与ROC曲线类似,不同在于
ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴,横轴则由选定的阈值来充当。 公式如下: KS=max(TPR−FPR)KS=max(TPR-FPR)KS=max(TPR−FPR) KS不同代表的不同情况,一般情况KS值越大,模型的区分能力越强,但是也不是越大模型效果就越好,如果KS过大,模型可能存在异常,所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况,但此对应不是唯一的,只代表大致趋势。
KS(%) | 好坏区分能力 |
---|---|
20以下 | 不建议采用 |
20-40 | 较好 |
41-50 | 良好 |
51-60 | 很强 |
61-75 | 非常强 |
75以上 | 过于高,疑似存在问题 |
2、ROC
3、AUC
4.赛题流程
参考链接:
- 赛事分析
- Numpy学习
- pandas学习
- data-analysis学习
零基础入门金融风控之贷款违约预测挑战赛-task01相关推荐
- 零基础入门金融风控之贷款违约预测挑战赛——简单实现
零基础入门金融风控之贷款违约预测挑战赛 赛题理解 赛题以金融风控中的个人信贷为背景,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这是一个典型的分类问题.通过这道赛 ...
- 零基础入门金融风控之贷款违约预测—赛题理解
赛题数据 赛题数据来自某信贷平台的贷款记录,总数据量超过 120 万条,包含 47 列变量信息,其中 15 列为匿名变量.从中抽取 80 万条作为训练集,20 万条作为测试集A,20 万条作为测试集B ...
- 零基础入门金融风控之贷款违约预测—特征工程
初始化 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns imp ...
- 数据竞赛入门-金融风控(贷款违约预测)五、模型融合
前言 本次活动为datawhale与天池联合举办,为金融风控之贷款违约预测挑战赛(入门) 比赛地址:https://tianchi.aliyun.com/competition/entrance/53 ...
- 数据竞赛入门-金融风控(贷款违约预测)四、建模与调参
前言 本次活动为datawhale与天池联合举办,为金融风控之贷款违约预测挑战赛(入门) 比赛地址:https://tianchi.aliyun.com/competition/entrance/53 ...
- 数据竞赛入门-金融风控(贷款违约预测)三、特征工程
前言 本次活动为datawhale与天池联合举办,为金融风控之贷款违约预测挑战赛(入门) 比赛地址:https://tianchi.aliyun.com/competition/entrance/53 ...
- 入门金融风控【贷款违约预测】
入门金融风控[贷款违约预测] 赛题以金融风控中的个人信贷为背景,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这是一个典型的分类问题.通过这道赛题来引导大家了解金融 ...
- 数据竞赛入门-金融风控(贷款违约预测)一、赛题介绍
赛题概况 比赛要求参赛选手根据给定的数据集,建立模型,预测金融风险. 赛题以预测金融风险为任务,数据集报名后可见并可下载,该数据来自某信贷平台的贷款记录,总数据量超过120w,包含47列变量信息,其中 ...
- 数据竞赛入门-金融风控(贷款违约预测)二、EDA
目的: EDA价值主要在于熟悉了解整个数据集的基本情况(缺失值,异常值),对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模. 了解变量间的相互关系.变量与预测值之间的存在关系. 为特征工程 ...
最新文章
- 【深度学习】协同优化器和结构化知识蒸馏
- 理解Promise (1)
- Python入门100题 | 第042题
- Spring OXM-XStream快速入门
- Oracle起步——Oracle 11g安装配置
- 大连学业水平考试计算机,2016年大连市普通高中学生学业水平考试模拟题(一)
- Protel中的快捷键使用(网上资源)
- 渗透测试入门2之进入内网
- 日程表|第8届高等学校计算机程序设计课程论坛
- 程序员抱怨:父母没文化没见识,当初努力学习远离看来是正确的
- wps怎么图片透明_Tips:设置图片透明背景
- JSP中9个隐含对象
- mysql装完是什么样儿的_Win7系统安装MySQL之后找不到指定文件与服务如何解决?...
- win 10 系统激活
- Go根据url获取html代码
- 服务器系统小米随身wifi,win10系统小米随身wifi不能使用详细教程
- [企业邮局]域名选择与注册
- 04-读取Word文档内容
- BitLocker驱动器
- LOOP AT SCREEN ABAP
热门文章
- 七.Docker网络管理以及固定ip
- xinxin- 新鑫牌计算器
- HashMap初始化长度设置大小
- Python 用 OpenCV 画椭圆 (5)
- python 根据经纬度 调取和显示地图_python3调取百度地图API输出某地点的经纬度信息...
- 第十三届蓝桥杯结束后感悟,也对自己大学写生活的一个简单复盘
- 测绘专业计算机二级,测绘本科毕业,几年具有考二级注册结构师资格?
- 思科模拟器实验6:rip基础配置
- 怎么去除WORD的背景颜色
- 推荐8个值得推荐的神器软件和网站