学习目标：

Tip:本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场 —— 零基础入门金融风控之贷款违约预测挑战赛。赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。

项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl

比赛地址：https://tianchi.aliyun.com/competition/entrance/531830/introduction

学习内容：

赛题以预测金融风险为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。

train数据集比test数据集多一列isDefault数据。

学习时间：

2020.9.14–2020.9.16

数据描述：

一般而言，对于数据在比赛界面都有对应的数据概况介绍（匿名特征除外），说明列的性质特征。了解列的性质会有助于我们对于数据的理解和后续分析。 Tip:匿名特征，就是未告知数据列所属的性质的特征列。

train.csv

id 为贷款清单分配的唯一信用证标识
loanAmnt 贷款金额
term 贷款期限（year）
interestRate 贷款利率
installment 分期付款金额
grade 贷款等级
subGrade 贷款等级之子级
employmentTitle 就业职称
employmentLength 就业年限（年）
homeOwnership 借款人在登记时提供的房屋所有权状况
annualIncome 年收入
verificationStatus 验证状态
issueDate 贷款发放的月份
purpose 借款人在贷款申请时的贷款用途类别
postCode 借款人在贷款申请中提供的邮政编码的前3位数字
regionCode 地区编码
dti 债务收入比
delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
ficoRangeLow 借款人在贷款发放时的fico所属的下限范围
ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
openAcc 借款人信用档案中未结信用额度的数量
pubRec 贬损公共记录的数量
pubRecBankruptcies 公开记录清除的数量
revolBal 信贷周转余额合计
revolUtil 循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
totalAcc 借款人信用档案中当前的信用额度总数
initialListStatus 贷款的初始列表状态
applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
earliesCreditLine 借款人最早报告的信用额度开立的月份
title 借款人提供的贷款名称
policyCode 公开可用的策略代码=1新产品不公开可用的策略代码=2
n系列匿名特征匿名特征n0-n14，为一些贷款人行为计数特征的处理

预测指标
竞赛采用AUC作为评价指标。AUC（Area Under Curve）被定义为 ROC曲线下与坐标轴围成的面积。

分类算法常见的评估指标如下：
1、混淆矩阵（Confuse Matrix）

（1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
（2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
（3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
（4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )
2、准确率（Accuracy）准确率是常用的一个评价指标，但是不适合样本不均衡的情况。
A
c
c
u
r
a
c
y

T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N

3、精确率（Precision）又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。
P
r
e
c
i
s
i
o
n

T
P
T
P
+
F
P

4、召回率（Recall）又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。
R
e
c
a
l
l

T
P
T
P
+
F
N

5、F1 Score 精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。
F
1
−
S
c
o
r
e

2
1
P
r
e
c
i
s
i
o
n
+
1
R
e
c
a
l
l

6、P-R曲线（Precision-Recall Curve） P-R曲线是描述精确率和召回率变化的曲线

p-r
7、ROC（Receiver Operating Characteristic）

ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。
TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。
T
P
R

T
P
T
P
+
F
N

FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。
F
P
R

F
P
F
P
+
T
N

roc.png 8、AUC(Area Under Curve) AUC（Area Under Curve）被定义为 ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

对于金融风控预测类常见的评估指标如下:
1、KS(Kolmogorov-Smirnov) KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。 K-S曲线与ROC曲线类似，不同在于

ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。公式如下：
K
S

m
a
x
(
T
P
R
−
F
P
R
)

KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。

KS（%）好坏区分能力
20以下不建议采用
20-40 较好
41-50 良好
51-60 很强
61-75 非常强
75以上过于高，疑似存在问题

2、ROC

3、AUC

入门金融数据分析-Task1-数据了解and熟悉赛题相关推荐

python数据分析简答题_Python数据分析与数据可视化-中国大学mooc-试题题目及答案...
Python数据分析与数据可视化-中国大学mooc-试题题目及答案更多相关问题 [简答题]城轨供电系统按功能划分为几部分?各有什么作用? [多选题]影响债券价格的因素有 [单选题]关于注射剂的质量要 ...
数据竞赛专题 | 从赛题理解到竞赛入门基础
为了帮助更多竞赛选手入门进阶比赛,通过数据竞赛提升理论实践能力和团队协作能力.DataFountain 和 Datawhale 联合邀请了数据挖掘,CV,NLP领域多位竞赛大咖,将从赛题理解.数据探索 ...
【数据竞赛】CV赛题总结：人民币面值与编码识别
CV 人民币面值与编码在2019年6月份参加了TinyMind人民币面值及编码识别比赛,最终获得了面试识别并列第二.编码识别初赛第三/复赛第五的成绩,在文本我将分享这次比赛的历程和我的学习收获,比赛 ...
数据挖掘-Task1：心跳信号分类预测(赛题理解)
目录前言一.赛题 1.1 赛题概况 1.2 数据概况 1.3 预测指标 1.4 赛题分析二.代码示例 2.1 数据读取 (导入pandas) 2.2 分类指标计算示例 2.3 baseline ...
2021年全国职业院校技能大赛大数据应用技术国赛题
2021年全国职业院校技能大赛高职组 "大数据技术与应用" 赛项赛卷(GZ-xxxxxxx-X卷) 任务书参赛队编号: 背景描述据央视财经报道,2020年我国O2O市场规 ...
python用户画像_1st Place Solution for【2016CCF大数据竞赛客户画像赛题（用户画像）】...
1st Place Solution for 2016CCF StateGrid UserProfile 任务介绍在复赛中,参赛者需要以电力用户的95598工单数据.电量电费营销数据等为基础,综合分 ...
零基础入门金融风控-贷款违约预测-机器学习-数据分析
零基础入门金融风控-贷款违约预测一.赛题数据赛题以预测用户贷款是否违约为任务,数据集报名后可见并可下载,该数据来自某信贷平台的贷款记录,总数据量超过120w,包含47列变量信息,其中15列为匿名变 ...
【数据分析进阶】DCIC竞赛-task1 数据读取
[数据分析进阶]DCIC竞赛-task1 数据读取学习目标赛题介绍赛题思路赛题数据数据读取 pandas介绍 numpy介绍读取代码 1.巡游车GPS数据读取 2.巡游车订单单个文件读取 ...
入门金融风控【贷款违约预测】
入门金融风控[贷款违约预测] 赛题以金融风控中的个人信贷为背景,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这是一个典型的分类问题.通过这道赛题来引导大家了解金融 ...

入门金融数据分析-Task1-数据了解and熟悉赛题

学习目标：

学习内容：

学习时间：

数据描述：

3、精确率（Precision）又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。
P
r
e
c
i
s
i
o
n

4、召回率（Recall）又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。
R
e
c
a
l
l

5、F1 Score 精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。
F
1
−
S
c
o
r
e

ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。
TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。
T
P
R

FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。
F
P
R

ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。公式如下：
K
S

入门金融数据分析-Task1-数据了解and熟悉赛题相关推荐

最新文章

热门文章

入门金融数据分析-Task1-数据了解and熟悉赛题

学习目标：

学习内容：

学习时间：

数据描述：

3、精确率（Precision） 又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。 P r e c i s i o n

4、召回率（Recall） 又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。 R e c a l l

5、F1 Score 精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。 F 1 − S c o r e

ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。 TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。 T P R

FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。 F P R

ROC曲线将真正例率和假正例率作为横纵轴 K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。 公式如下： K S

入门金融数据分析-Task1-数据了解and熟悉赛题相关推荐

最新文章

热门文章

3、精确率（Precision）又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。
P
r
e
c
i
s
i
o
n

4、召回率（Recall）又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。
R
e
c
a
l
l

5、F1 Score 精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1 Score。
F
1
−
S
c
o
r
e

ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）定义为 Y 轴。
TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。
T
P
R

FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。
F
P
R

ROC曲线将真正例率和假正例率作为横纵轴
K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。公式如下：
K
S