从0到1建立一张评分卡之可视化分析

　上一篇文章介绍了如何进行数据预处理，接下来介绍如何进行探索性数据分析。探索性数据分析又叫EDA,即Exploratory Data Analysis。其实数据预处理也属于EDA的一部分，EDA的目标就是快速描述一份数据集，以及对数据进行处理并可视化数据分布。只有了解数据之后，才能分析数据。今天主要介绍可视化数据分布的内容。

　首先将变量分为数值型变量和类别型变量，分别进行可视化分析。

num_features = ['int_rate_clean', 'emp_length_clean', 'annual_inc', 'dti', 'delinq_2yrs', 'earliest_cr_to_app','inq_last_6mths', \'mths_since_last_record_clean', 'mths_since_last_delinq_clean', 'open_acc', 'pub_rec', 'total_acc','limit_income', 'earliest_cr_to_app']cat_features = ['home_ownership', 'verification_status', 'desc_clean', 'purpose', 'zip_code', 'addr_state']
feature_list=num_features+cat_features

　一共有14个数值变量和6个类别变量。先看一下类别型变量的分布图。

# 类别型变量的分布
def plot_cate_var(df,col_list,hspace=0.4,wspace=0.4,plt_size=None,plt_num=None,x=None,y=None):plt.figure(figsize=plt_size)plt.subplots_adjust(hspace=hspace,wspace=wspace)plt.rcParams['font.sans-serif']=['Microsoft YaHei']plt.rcParams['axes.unicode_minus'] = Falsefor i,col in zip(range(1,plt_num+1,1),col_list):plt.subplot(x,y,i)plt.title(col)sns.countplot(data=df,y=col)plt.ylabel('')return plt.show()

　从上图可以看到每个类别型变量的大致分布情况。其中purpose、zip_code和addr_state这三个类别型变量的取值过多。对这类变量一般有这些处理办法：

降基处理。即将占比较小的类别进行合并。
用bad_rate编码后划入数值型变量，进行分箱。

　对于purpose变量，由于类别数不是很多，可以尝试进行降基；对于zip_code和addr_state，由于变量过多，所以进行bad_rate编码。

　再看一下数值型变量的分布情况。

def plot_num_col(df,col_list,hspace=0.4,wspace=0.4,plt_type=None,plt_size=None,plt_num=None,x=None,y=None):plt.figure(figsize=plt_size)plt.subplots_adjust(hspace=hspace,wspace=wspace)if plt_type=='hist':for i,col in zip(range(1,plt_num+1,1),col_list):plt.subplot(x,y,i)plt.title(col)sns.distplot(df[col].dropna())plt.xlabel('')return plt.show()

　数值型变量的分布用到了seaborn中的distplot画图，对应的还有一个kedplot画图方法。可以直观地看出每个变量的分布状态。
然后结合违约率，再对变量进行一下可视化分析。先对类别型变量进行可视化分析。

# 类别型变量的违约率分析
def plot_default_cate(df,col_list,target,hspace=0.4,wspace=0.4,plt_size=None,plt_num=None,x=None,y=None):all_bad = df[target].sum()total = df[target].count()all_default_rate = all_bad*1.0/totalplt.figure(figsize=plt_size)plt.subplots_adjust(hspace=hspace,wspace=wspace)plt.rcParams['font.sans-serif']=['Microsoft YaHei']plt.rcParams['axes.unicode_minus'] = Falsefor i,col in zip(range(1,plt_num+1,1),col_list):d1 = df.groupby(col)d2 = pd.DataFrame()d2['total'] = d1[target].count()d2['bad'] = d1[target].sum()d2['default_rate'] = d2['bad']/d2['total']d2 = d2.reset_index()plt.subplot(x,y,i)plt.title(col)plt.axvline(x=all_default_rate)sns.barplot(data=d2,y=col,x='default_rate')plt.ylabel('')return plt.show()

　这张图将每个变量取值的违约率和该变量的违约率画在一张图上进行对比，可以直观地看出哪些变量的取值违约率较高。比如homeownership变量的other取值、purpose变量的small_business取值。
　同样看下数值型变量的违约率分布图。需要对数值型变量进行等深分箱。

# 数值型变量的违约率分析
def plot_default_num(df,col_list,target,hspace=0.4,wspace=0.4,q=None,plt_size=None,plt_num=None,x=None,y=None):all_bad = df[target].sum()total = df[target].count()all_default_rate = all_bad*1.0/total plt.figure(figsize=plt_size)plt.subplots_adjust(hspace=hspace,wspace=wspace)for i,col in zip(range(1,plt_num+1,1),col_list):bucket = pd.qcut(df[col],q=q,duplicates='drop')d1 = df.groupby(bucket)d2 = pd.DataFrame()d2['total'] = d1[target].count()d2['bad'] = d1[target].sum()d2['default_rate'] = d2['bad']/d2['total']d2 = d2.reset_index()plt.subplot(x,y,i)plt.title(col)plt.axhline(y=all_default_rate)sns.pointplot(data=d2,x=col,y='default_rate',color='hotpink')plt.xticks(rotation=60)plt.xlabel('')return plt.show()

　对数值型变量进行等频分箱，观察每一箱的违约率占比以及单个变量的违约率占比情况。可以看到delinq_2yrs、pub_rec只有一箱。结合数值型变量的分布图发现这些变量都有一个取值的数量极多，导致在进行等频分箱的时候由于频数过大所以只有一箱。此外，大部分变量在进行等频分箱后的坏样本率是呈现单调趋势的。
总结：可视化分析有助于让数据分析更清晰明了，可以帮助理解数据，并且以清晰、简洁的图标展示出分析结果，这是非常重要的。

【作者】：Labryant
【原创公众号】：风控猎人
【简介】：某创业公司策略分析师，积极上进，努力提升。乾坤未定，你我都是黑马。
【转载说明】：转载请说明出处，谢谢合作！~

从0到1建立一张评分卡之可视化分析相关推荐

从0到1建立一张评分卡之数据预处理
从 0 到 1 建立一张评分卡之前看了很多评分卡建模方面的课程和文章,对评分卡的建立大致有一些了解.但是由于实际工作中没有接触过,也没有看到过比较舒服的代码,所以对评分卡这块一直有点不踏实.所幸 ...
从0到1建立一张评分卡之模型建立
评分卡建模常用逻辑回归模型,将逻辑回归输出的概率值映射成分数,最后得到标准评分卡.关于评分卡映射的逻辑,可以看之前的文章逻辑回归评分卡映射逻辑. 下面接着分箱之后的数据开始建模.首先将每个变量 ...
从0到1建立一张评分卡之变量分箱
变量分箱是评分卡建模流程中的关键环节,可以说是评分卡的核心环节.合理的分箱可以消除变量的量纲影响,而且能减少异常值等噪声数据的影响,有效避免模型过拟合.此外,分箱可以给模型实现业务上的可解释性,可 ...
lightgbm简易评分卡制作
LightGBM的意思是轻量级(light)的梯度提升机(GBM),其相对Xgboost具有训练速度快.内存占用低的特点.关于lgb针对xgb做的优化,后面想写一篇文章复习一下.本篇文章主要讲解如 ...
基于Python的信用评分卡模型-give me some credit数据集，AUC 0.93 KS 0.71
信用风险计量模型可以包括跟个人信用评级,企业信用评级和国家信用评级.人信用评级有一系列评级模型组成,常见是A卡(申请评分卡).B卡(行为模型).C卡(催收模型)和F卡(反欺诈模型). 今天我们展示的是 ...
使用toad做一张逻辑回归贷前评分卡
前言对于金融信贷和保险行业,贷前/保前对客户的进行一个信用评级和打分是必要的,也就是需要构建一张评分卡,传统评分卡多是专家打分,基于机器学习的评分卡则更多是通过可解释更强的逻辑回归来构建,最近学习过 ...
[机器学习] 信用评分卡中的应用 | 干货
背景介绍与评分卡模型的基本概念如今在银行.消费金融公司等各种贷款业务机构,普遍使用信用评分,对客户实行打分制,以期对客户有一个优质与否的评判.交易对手未能履行约定契约中的义务而造成经济损失的风险,即 ...
互联网金融信用评分卡模型构建
互联网金融信用评分卡模型构建背景介绍信用风险计量体系包括主体评级模型和债项评级两部分. 主体评级和债项评级均有一系列评级模型组成,其中主体评级模型可用"四张卡"来表示,分别是A ...
逻辑回归评分卡分数映射
本文转自https://github.com/xsj0609/data_science/tree/master/ScoreCard 一.评分卡逻辑信贷业务评估的是客户的客户违约率(Percent ...

从0到1建立一张评分卡之可视化分析

从0到1建立一张评分卡之可视化分析相关推荐

最新文章

热门文章