当前浏览器不支持播放音乐或语音，请在微信或其他浏览器中播放

说实话，前面的决策树理论介绍的我自己都累，尤其是第一节各种公式的编辑；当然了，我深知数学理论对一切结论的支撑重要性，数学是这个世界上最美的语言。有了前面的铺垫，这里我们废话不多说，直接进入最终目标，基于R语言的两种经典决策树模型的实现。

这里用的数据集是R自带的应该是专门用来做决策树的训练数据集"Pima.tr"和测试数据集"Pima.te"，因为这样可以保证人人都可以做模型实验。我本人觉得在这一点上R语言做的还是比较好的。

先看一下这两份训练与测试集的基本情况：

> head(Pima.tr)

npreg glu bp skin  bmi   ped age type

1     5  86 68   28 30.2 0.364  24   No

2     7 195 70   33 25.1 0.163  55  Yes

3     5  77 82   41 35.8 0.156  35   No

4     0 165 76   43 47.9 0.259  26   No

5     0 107 60   25 26.4 0.133  23   No

6     5  97 76   27 35.6 0.378  52  Yes

> dim(Pima.tr)

[1] 200   8

> head(Pima.te)

npreg glu bp skin  bmi   ped age type

1     6 148 72   35 33.6 0.627  50  Yes

2     1  85 66   29 26.6 0.351  31   No

3     1  89 66   23 28.1 0.167  21   No

4     3  78 50   32 31.0 0.248  26  Yes

5     2 197 70   45 30.5 0.158  53  Yes

6     5 166 72   19 25.8 0.587  51  Yes

> dim(Pima.te)

[1] 332   8

这两份数据，确实分别是训练集与测试集，下面分别介绍R语言的几种决策树构建与剪枝、树的可视化与预测过程，并分析其预测准确率！

01

CART

构建模型主要用函数rpart包的基本函数rpart(formula,data = ,control = rpart.control(cp = ))，其中formula就是模型表达式，比如type~.,表示type对其它所有变量的决策树，"data ="指定作用的数据集， "control = rpart.control(cp = )"表示是否引入复杂系数进行剪枝。当然，这是几个基本模型参数。

(1)、未剪枝

rm(list = ls())

library(MASS)

library(rpart)

#绑定数据集，便于操作

attach(Pima.tr)

summary(Pima.tr)

#CART决策树分析

cart

summary(cart)

par(xpd = TRUE)

plot(cart,main = '未剪枝')

text(cart)

CART算法未剪枝决策树

(2)剪枝

#剪枝这里cp值为复杂系数

#cp = 0.1叶节点为3，留三个枝

cart1

#cp = 0.03叶节点为5，留五个枝

cart2

par(mfrow = c(1,2),xpd = TRUE)

plot(cart1,main = '留3个叶节点')

text(cart1)

plot(cart2,main = '留5个叶节点')

text(cart2)

剪枝结果决策树

(3)、测试数据集准确率检验

用训练好的模型进行预测的函数是predict(model,data,type = 'class')，第一个参数是训练好的决策树模型，第二个参数是用于测试的数据集，第三个参数type = "class"表示进行分类。

#测试数据集检验

#未剪枝

pre

#建立预测交叉矩阵

m

#预测正确率,diag(m)函数用于求矩阵对角线和，这里用于计算预测准确的数据数量之和。

sum(diag(m))/sum(m)

#叶节点为3

pre1

#建立预测交叉矩阵

m1

#预测正确率

sum(diag(m1))/sum(m1)

#叶节点为5

pre2

#建立预测交叉矩阵

m2

#预测正确率

sum(diag(m2))/sum(m2)

预测交叉矩阵是这样的形状

> m

predict

type   No Yes

No  182  41

Yes  48  61

> m1

predict

type   No Yes

No  184  39

Yes  51  58

> m2

predict

type   No Yes

No  193  30

Yes  51  58

未剪枝、留3个叶节点、留5个叶节点的预测分类正确率分别为

[1] 0.7319277

[1] 0.7289157

[1] 0.7560241

可见，不仅要剪枝，并且留5个叶节点的预测分类正确率是最好的。

02

C5.0

#===C5.0决策树分析===#

#noGlobalPruning值设为T表示不进行修剪

library(C50)

tr5.0

tr5.01

par(xpd = TRUE)

#--种类画图不需要text()--#

plot(tr5.0)

plot(tr5.01)

#预测

pre

pre1

##建立预测交叉矩阵

m

m1

#预测正确率

sum(diag(m))/sum(m)

#预测正确率

sum(diag(m1))/sum(m1)

画出的决策树如下：

未剪枝决策树

剪枝的决策树

预测交叉矩阵是这样的形状

> m

predict

type   No Yes

No  193  30

Yes  58  51

> m1

predict

type   No Yes

No  195  28

Yes  60  49

C5.0未剪枝、剪枝的预测分类正确率分别为：

[1] 0.7349398

[1] 0.7349398

预测分类正确率是一样的，虽然预测交叉矩阵不一样，因为它们的对角线之和是一样的。

03

两种算法的比较

经过实验我们得出的结果分别是这样的，如下所示：

比较内容

CART

C5.0

训练数据正确率

0.835

0.815

测试数据正确率

0.756

0.735

叶节点数

5

4

深度

3

3

对于实验数据，CART算法正确率好像好一些，但它的叶节点数大一些！总的来看，两种算法效能好像差不多！关于决策树到这里总算落下帷幕了，好不容易！

欢迎留言、提建议、意见，觉得不错，记得【点赞、分享】！

终于等到你了！