决策树（Decision Tree）是一个非参数的监督式学习方法，决策树又称为判定树，是运用于分类的一种树结构，其中的每个内部节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。

下面就使用决策树对人体身高体重数据进行分类。

这个数据一共有10个样本，每个样本有2个属性，分别为身高和体重，第三列为类别标签，表示“胖”或“瘦”。该数据保存在1.txt中，如下所示：

我们的任务就是训练一个决策树分类器，输入身高和体重，分类器能给出这个人是胖子还是瘦子。

分析：首先这次的训练数据是在一个文本文件中，因此需要把该数据集读入，特征和类标签存放在不同变量中。此外，由于类标签是文本，需要转换为数字。其它的过程和前面的例题完全类似，下面就看一下过程。

本例需要使用下面第三方库：

import numpy as npimport scipy as spfrom sklearn import treefrom sklearn.metrics import precision_recall_curvefrom sklearn.metrics import classification_reportfrom sklearn.model_selection import train_test_split

下面这段代码是从文本文件中读入数据：

data = []labels = []with open("1.txt") as ifile:          for line in ifile:              tokens = line.strip().split(' ')              data.append([float(tk) for tk in tokens[:-1]])              labels.append(tokens[-1])  x = np.array(data)labels = np.array(labels)y = np.zeros(labels.shape)

可以看出，程序每次从文本中读取一行，然后使用空格作为分割，将数据当道data矩阵中，然后分别将特征和类标签放到labels和y中。

由于类标签是文本，需要转换为数字，可以使用下面代码进行转换：

  y[labels=='fat']=1

然后将数据随机拆分，训练数据占80%的比例，测试数据占20%的比例：

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2,random_state=0)

下面就可以使用DecisionTreeClassifier建立模型，并进行训练了，如下所示：

clf = tree.DecisionTreeClassifier(criterion='entropy')clf.fit(x_train, y_train)

测试结果可以使用下面代码实现：

answer = clf.predict(x_train)print(x_train)print(answer)print(y_train)print(np.mean( answer == y_train))

可以使用下面代码测试不同特征对分类的影响权重

print(clf.feature_importances_)

程序运行结果如下所示：

同样，可以将决策树模型输出到模型文件中，代码如下：

with open("tree.dot", 'w') as f:      f = tree.export_graphviz(clf, out_file=f)  

切换到命令行状态下，输入以下命令：

dot -Tpdf tree.dot -o tree.pdf

然后在当前目录下找到tree.pdf文件，打开该文件，即可看到这个决策树，如下所示：

留言回复你在机器学习方面做过哪些有趣的应用，我们会在留言中随机抽取一位读者免费送出北京大学出版社出版的《Python 3 数据分析与机器学习实战》图书一本。

推荐Python中文社区旗下的几个服务类公众号

热 门 推 荐
为你的Python程序加密
用Python开发计时器程序
硬核 | 用Python给女朋友送一颗彩蛋

用Pandas库实现MySQL数据库的读写

本文部分观点摘自北京大学出版社出版的《Python 3 数据分析与机器学习实战》，点击阅读原文了解详情！