基于R语言分析决策树和随机森林(1)

决策树和随机森林是机器学习的一个重要内容。今天主要来说说决策树，决策树分为传统的决策树和条件决策树，传统决策树（rpart包实现）主要是基于：基尼不纯度（Gini Impurity）或信息增益（Information Gain）等标准对节点进行递归分割。条件决策树会根据条件分布测量变量与响应值（分类）之间的相关关系，选择分割节点中要使用的变量，可以改善rpart包过度拟合的问题。今天我们主要来聊聊条件决策树，假如你是一个银行的经理，有客户来向你贷款，对于还款能力强（低风险）的客户，你肯定愿意贷款给他，而对于还款能力差（高风险）的客户，你肯定不愿意贷款给他。那么，我们怎么评定对一个客户进行风险评估呢，肯定是基于既往的数据根据他的职业、收入、负债、资产等等做评估，大概就是下图这样做了一个分类的决策，我们的决策树大概就是这样的一个操作原理，等于机器算法帮你做了决策。

我们今天来使用SPSS自带的一个银行1500例客户进行风险划分的数据集，来做一个条件决策树，R语言需要使用到party、caret、pROC、foreign包需要事先下载好
我们先导入数据看下数据结构

library(foreign)
library(pROC)
library(party)
library(caret)
library(ggplot2)
bc <- read.spss("E:/r/test/bankloan_cs.sav",use.value.labels=F, to.data.frame=T)

前面3项是ID号，后面3项是预测概率和权重，我们先不理他。我们来看看中间的项目指标：Age年龄，ed教育程度，employ在职雇主的年限，address在这个地方住的时间income收入，debtinc债务收入比，creddebt信用卡债务，othdebt其他债务，最后一个default是我们的结局指标，即是否是高风险客户。
其中ed教育程度、default是分类变量，我们要进行转换一下

bc$default<-as.factor(bc$default)
bc$ed<-as.factor(bc$ed)

接下来要把数据分成预测集和验证集（就是一个建模，一个验证），要先设一个种子，这样有可重复性

###建立预测和验证集
sub<-sample(1:nrow(bc),round(nrow(bc)*2/3))
length(sub)
data_train<-bc[sub,]#取2/3的数据做训练集
data_test<-bc[-sub,]#取1/3的数据做测试集
###训练集建立模型
fit<-ctree(default ~age+ed+employ+address+income+debtinc+creddebt+othdebt,data=data_train,controls = ctree_control(maxsurrogate = 3))
fit
plot(fit)

得到如下结果，可以看到第一级的分支从debtinc债务收入比是否大于16进行分割

表不好理解的话看图就容易理解多了，债务比大于16的对工作年限进行了划分，小于6年的就是高风险人群，属于不能贷款类型。

接下来我们进行交叉验证评估模型的验证能力，先在验证集生成预测模型的概率

ctree.predict = predict(fit,data_test)##验证集生成预测概率
bd<-table(ctree.predict,data_test$default)#以表格形式表示
bd

我们可以看到预测0还是挺准的，1就差点了，通过混淆矩阵可以计算出AUC和95%CI

confusionMatrix(bd)##通过混淆矩阵来计算AUC

我们还可以通过treeresponse函数把概率提取出来

tr = treeresponse(fit,newdata =data_test )##利用treeresponse提取概率
be<-do.call(rbind.data.frame,tr)##把列表变成数据框形式
colnames(be)<-c("yes","no")#数据太长，重新命名
roc2<-roc(data_test$default,be$no)##生成验证队列AUC，有人可能要问这里为什么用no，不用yes，其实都是一样的
round(auc(roc2),3)##AUC
round(ci(roc2),3)##95%CI
plot(1-roc2$specificities,roc2$sensitivities,col="red",lty=1,lwd=2,type = "l",xlab = "specificities",ylab = "sensitivities")
abline(0,1)
legend(0.7,0.3,c("auc=0.753","ci:0.711-0.759"),lty=c(1),lwd=c(2),col="red",bty = "n")

和混淆矩阵算出来的AUC差不多，稍微高了一点，我看别人算也是高了一点，个人感觉这样提取概率算出来更加准确，决策树由于随机性导致误差稍高，我们可以通过随机森林来减少误差和优化模型，下节将继续介绍随机森林。
更多精彩文章请关注公众号：零基础说科研

基于R语言分析决策树和随机森林(1)相关推荐

R语言CART决策树、随机森林、chaid树预测母婴电商平台用户寿命、流失可视化
全文链接:http://tecdat.cn/?p=31644 借着二胎政策的开放与家庭消费升级的东风,母婴市场迎来了生机盎然的春天,尤其是母婴电商行业,近年来发展迅猛(点击文末"阅读原文&q ...
[机器学习]京东机器学习类图书畅销原因分析-决策树或随机森林
一. 问题描述机器学习图书畅销原因分析二. 分析问题的过程与步骤 1.在京东网站上爬取3000条关于机器学习类书籍的数据. 爬虫代码可以看这里爬完结果如下 2. 数据预处理去掉特殊字符一些看 ...
R语言分类算法之随机森林(Random Forest)
1.原理分析: 随机森林是通过自助法(boot-strap)重采样技术,从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练集样本集合,然后根据自助样本集生成k个决策树组成的随机森林,新数据的 ...
基于R语言分析身高与体重的相关性分析
本博文源于暨南大学的<多元数据统计分析及R语言建模>.旨在讲述身高与体重相关性分析.在概率论与数理统计课程中,两个变量之间协方差的标准化,因此先要熟悉并回忆公式,套用在R语言即可. 例子: ...
R语言︱决策树族——随机森林算法
每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:有一篇<有监督学习选择深度学习 ...
数据分享|R语言用主成分PCA、逻辑回归、决策树、随机森林分析心脏病数据并高维可视化...
全文链接:http://tecdat.cn/?p=22262 在讨论分类时,我们经常分析二维数据(一个自变量,一个因变量)(点击文末"阅读原文"获取完整代码数据). 但在实际生活中 ...
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC...
全文链接:http://tecdat.cn/?p=27384 在本文中,数据包含有关葡萄牙"Vinho Verde"葡萄酒的信息(点击文末"阅读原文"获取完整代 ...
R语言编写自定义函数计算分类模型评估指标：准确度、特异度、敏感度、PPV、NPV、数据数据为模型预测后的混淆矩阵、比较多个分类模型分类性能（逻辑回归、决策树、随机森林、支持向量机）
R语言编写自定义函数计算分类模型评估指标:准确度.特异度.敏感度.PPV.NPV.数据数据为模型预测后的混淆矩阵.比较多个分类模型分类性能(逻辑回归.决策树.随机森林.支持向量机) 目录
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户...
原文链接:http://tecdat.cn/?p=23518 项目背景:银行的主要盈利业务靠的是贷款,这些客户中的大多数是存款大小不等的责任客户(存款人).银行拥有不断增长的客户(点击文末" ...
基于回归分析的广告投入销售额预测——K邻近，决策树，随机森林，线性回归，岭回归
基于回归分析的广告投入销售额预测--K邻近,决策树,随机森林,线性回归,岭回归文章目录基于回归分析的广告投入销售额预测--K邻近,决策树,随机森林,线性回归,岭回归 1. 项目背景 2. 项目简介 ...

基于R语言分析决策树和随机森林(1)

基于R语言分析决策树和随机森林(1)相关推荐

最新文章

热门文章