python数据分析之金融欺诈行为检测

项目的思维导图
数据分析与处理

声明所使用的库

`import numpy as np
import pandas as pd   #panda主要用于处理结构化的数据列表，具有数据挖掘和数据分析，对数据进行清洗
import matplotlib.pyplot as plt    #绘图工具
import matplotlib.cm as cm     #色彩映射函数
import seaborn as sns    #基于Matplotlib图形可视化的python包，便于做出统计图表from sklearn import preprocessing    #数据建模用的一个库
from scipy.stats import skew,boxcox
import os`

处理数据的结构
注意：代码中处理的是csv文件，这里为了简单明了，使用excel呈现出

关于数据列的解释如下
（1）step:对应现实中的时间单位（小时）
（2）type:转账类型
（3）amout:金额
（4）nameOrig: 转账发起人
（5）oldbalanceOrg: 转帐前发起人账户余额
（6）newbalanceOrig: 转账后发起人账户余额
（7）nameDest: 转账收款人
（8）oldbalanceDest: 转账前收款人账户余额，收款人是商户（M开头）时没有该项信息
（9）newbalanceDest: 转账后收款人余额，收款人是商户（M开头）时没有该项信息
（10）isFraud：该转账行为是欺诈行为
（11）isFlaggedFraud: 商业模型为了控制大额转账并且标记为非法操作，在这儿，非法操作是指转账金额超过20万。

读取文件
在代码所在的文件夹中创建一个新的文件夹，用于存放数据集

dataset_path='./pythonjinrong'
csvfile_path=os.path.join(dataset_path,'PS.csv')#解压数据集
raw_data=pd.read_csv(csvfile_path)

统计数据集中的各转账类型的数量

print('转账类型记录统计：')
print(raw_data['type'].value_counts())
fig,ax=plt.subplots(1,1,figsize=(8,4))
raw_data['type'].value_counts().plot(kind='bar',title='Transaction Type',ax=ax,figsize=(8,4))
plt.show()

结果会输出统计数量结果，以及绘制柱形图，从下图中可以看出数量最多的类型是支付类型（PAYMENT)，共1391例，最少的是借款（DEBIT)，共152例

查看各类型中欺诈行为的数量
（1）首先，用“0”表示没有欺诈行为，用“1”表示存在欺诈行为
（2）统计存在欺诈行为的类型的数量

#查看转账类型和欺诈标记的记录
ax=raw_data.groupby(['type','isFraud']).size().plot(kind='bar')
ax.set_title('#of transactions vs (type+isFraud)')
ax.set_xlabel('(type,isFraud)')
ax.set_ylabel('#of transaction')
#添加标注
for p in ax.patches:ax.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))

（3）运行结果如下

从结果分析，存在欺诈行为的类型有现金提取（CASH_OUT)和转账(DEBIT)

使用箱线图比较欺诈行为和正常行为

#对数据进行分析
fig,axs=plt.subplots(2,2,figsize=(10,10))
transfer_data=raw_data[raw_data['type']=='TRANSFER']a=sns.boxplot(x='isFlaggedFraud',y='amount',data=transfer_data,ax=axs[0][0])
axs[0][0].set_yscale('log')   #比较金额b=sns.boxplot(x='isFlaggedFraud',y='oldbalanceDest',data=transfer_data,ax=axs[0][1])
axs[0][1].set(ylim=(0,0.5e8)) #比较转账前收款人账户余额c=sns.boxplot(x='isFlaggedFraud',y='oldbalanceOrg',data=transfer_data,ax=axs[1][0])
axs[1][0].set(ylim=(0,3e7))    #比较转账前付款人的账户余额d=sns.regplot(x='oldbalanceOrg',y='amount',data=transfer_data[transfer_data['isFlaggedFraud']==1])
plt.show()

由于小编的电脑内存仅剩几个G，所以跑不动高达481968k的数据集，所以自己提取了204K的数据运行，但结果不佳，图1是204k数据跑的结果，图2、3是换了设备后大数据集的结果

结果差别还是挺大的，所以还是要有一台配置好的电脑。
从大数据集跑出来的结果可以分析出以下几个特点
图（1）欺诈行为涉及的金额大——重要特点
图（4）之前账户的余额与转账金额的关系——可能呈线性关系

数据处理（数据清洗和数据合并）

（1）首先将数据集中不存在欺诈行为的类型去掉，保留存在欺诈的取款和转账两种类型，然后重新设置索引

 #数据处理：包括数据清洗和样本数据合并
used_data=raw_data[(raw_data['type']=='TRANSFER') | (raw_data['type']=='CASH_OUT')]
#去掉不用的数据
used_data.drop(['step','nameOrig','nameDest','isFlaggedFraud'],axis=1,inplace=True)
#重新设置索引
used_data=used_data.reset_index(drop=True)

（2）将取款（CASH_OUT)和转账（DEBIT)两种类型分别表示为“0”和“1”

#将type转换成类别数据，即0，1
type_label_encoder=preprocessing.LabelEncoder()
type_category=type_label_encoder.fit_transform(used_data['type'].values)
used_data['typeCategory']=type_category#print(used_data.head())sns.heatmap(used_data.corr()) #使用PRT相关技术分析变量间的相关性

预览前五行数据可以看到处理后的表格

在输出结果中，通过typeCategory这一列，我们可以看到两种类型都已被编码
相关程度图如下，颜色越浅，相关度越高

从图中可以看出，转帐前和转账后付款人和收款人的余额有很大的相关性，余额也跟转账金额有关系。

查看转账和取款类型数量

#查看转账类型记录个数
ax=used_data['type'].value_counts().plot(kind='bar',title="Transaction Type",figsize=(6,6))
for p in ax.patches:ax.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
plt.show()

结果如下：

从这个图中可以看出取款类型多于转账类型
注意：绘制此图时，建议把绘制相关性图的那行代码注释掉，不然画出来的两个图就混到一起了。

查看正常行为与欺诈行为数量

#查看转账类型中欺诈记录个数
ax1=pd.value_counts(used_data['isFraud'],sort=True).sort_index().plot(kind='bar',title="Fraud Transaction Count")
for p in ax1.patches:ax1.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
plt.show()

结果如下

从这张图可以看出，正常行为远远多于欺诈行为。

数学模型的构建

（1）准备模型
由上面的分析可知，金融欺诈行为数量远远小于正常行为，为了构建模型，采用下采样法取出与欺诈行为数量相等的正常行为，然后输出比例验证下采样法。

#准备模型
feature_names=['amount','oldbalanceOrg','newbalanceOrig','oldbalanceDest','newbalanceDest','typeCategory']
X=used_data[feature_names]
y=used_data['isFraud']
#print(X.head())
#print(y.head()) #用下采样法处理不平衡数据
#欺诈记录的条数
number_records_fraud=len(used_data[used_data['isFraud']==1])
#欺诈记录的索引
fraud_indices=used_data[used_data['isFraud']==1].index.values#得到非欺诈记录的索引
nonfraud_indices=used_data[used_data['isFraud']==0].index#随即选取相同数量的非欺诈记录
random_nonfraud_indices=np.random.choice(nonfraud_indices,number_records_fraud,replace=False)
random_nonfraud_indices=np.array(random_nonfraud_indices)#整合两样本的索引
under_sample_indices=np.concatenate([fraud_indices,random_nonfraud_indices])
under_sample_data=used_data.iloc[under_sample_indices,:]X_undersample=under_sample_data[feature_names].values
y_undersample=under_sample_data['isFraud'].valuesprint("非欺诈记录比例:",len(under_sample_data[under_sample_data['isFraud']==0])/len(under_sample_data))
print("欺诈记录比例：",len(under_sample_data[under_sample_data['isFraud']==1])/len(under_sample_data))
print("欠采样记录数：",len(under_sample_data))

比例输出结果如下：

从之前的统计中可以知道金融欺诈行为的数量为16，取出相同数量的正常行为16例，所以欠采样记录数为32

（2）模型构建
采用逻辑回归模型，该模型主要用于分类问题，特别是分为0和1两类的问题

#数据建模
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve,auc#分割训练集和测试集
X_train,X_test,y_train,y_test=train_test_split(X_undersample,y_undersample,test_size=0.3,random_state=0)lr_model=LogisticRegression()
lr_model.fit(X_train,y_train)y_pred_score=lr_model.predict_proba(X_test)fpr,tpr,thresholds=roc_curve(y_test,y_pred_score[:,1])
roc_auc=auc(fpr,tpr)#绘制ROC曲线
plt.title('Receiver Operating Characteristic')
plt.plot(fpr,tpr,'b',label='AUC=%0.2f'%roc_auc)
plt.legend(loc='lower right')
plt.plot([0,1],[0,1],'r--')
plt.xlim([-0.1,1.0])
plt.ylim([-0.1,1.01])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()

ROC曲线的AUC越接近1，说明模型越好，在这儿AUC=0.78，说明模型还可以。

然后，项目就做完了。

参考网站
1、小象学院：http://aidaxue.xfyun.cn/course/courseDetail?id=370

备注：数据在kaggle里，链接：https://www.kaggle.com/ntnu-testimon/paysim1

python数据分析之金融欺诈行为检测相关推荐

信用卡欺诈行为检测_在无监督学习的情况下检测欺诈行为
信用卡欺诈行为检测 It's common to hear about fraudulent acts on e-commerce platforms. In recent years, the sp ...
Python数据分析基础: 异常值检测和处理
作者:东哥起飞公众号:Python数据科学上一篇分享了关于数据缺失值处理的一些方法,链接如下: [Python数据分析基础]: 数据缺失值处理本篇继续分享数据清洗中的另一个常见问题:异常值检测和 ...
大数据分析实战-信用卡欺诈检测（五）-逻辑回归模型
大数据分析实战-信用卡欺诈检测(一) 大数据分析实战-信用卡欺诈检测(二)-下采样方案和交叉验证大数据分析实战-信用卡欺诈检测(三)- 模型评估大数据分析实战-信用卡欺诈检测(四)-正则化惩罚逻 ...
大数据分析实战-信用卡欺诈检测（四）-正则化惩罚
大数据分析实战-信用卡欺诈检测(一) 大数据分析实战-信用卡欺诈检测(二)-下采样方案和交叉验证大数据分析实战-信用卡欺诈检测(三)- 模型评估文章目录正则化惩罚正则化惩罚正则化惩罚,这个名 ...
大数据分析实战-信用卡欺诈检测（三）- 模型评估
大数据分析实战-信用卡欺诈检测(二)-下采样方案和交叉验证大数据分析实战-信用卡欺诈检测(一) 文章目录模型评估方法模型评估方法接下来,没错,还没到实际建模任务,还需要考虑模型的评估方法,为什 ...
大数据分析实战-信用卡欺诈检测（二）-下采样方案和交叉验证
第一部分已经写到这里了,看完第一部分再看这一部分:大数据分析实战-信用卡欺诈检测文章目录下采样方案交叉验证下采样方案下采样方案的实现过程比较简单,只需要对正常样本进行采样,得到与异常样本一样 ...
python与金融数据分析统计服_作为一名量化金融分析师，你知道在量化金融中有多少个Python数据分析库嘛?...
作为一名量化金融分析师,好用的工具非Python莫属了.为什么呢?Python也算得上是比较常用的编程语言,其效率和代码可读性是不容小觑的.作为一个科学数据的编程语言,Python介于R和java之间 ...
Python 中 pct_change 函数是一种非常实用的函数，它可以帮助我们计算一个时间序列的百分比变化率。在数据分析和金融领域中，我们经常需要计算某个指标...
Python 中 pct_change 函数是一种非常实用的函数,它可以帮助我们计算一个时间序列的百分比变化率.在数据分析和金融领域中,我们经常需要计算某个指标相对于前一期的变化率,这时可以使用 pc ...
只要60页！金融量化博士总结的Python数据分析入门知识手册
一个月不走弯路快速入门学python和python数据分析路线,呕心沥血加班加点做了2天,一共63页,该课件讲的都是路线中的核心知识,今天把该PPT分享给大家,能根据该课件提到的知识有针对性的学,做到 ...

python数据分析之金融欺诈行为检测

python数据分析之金融欺诈行为检测

python数据分析之金融欺诈行为检测相关推荐

最新文章

热门文章