Python 决策树

1 声明

本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。

2 决策树简介

相关概念见下：

决策树是一个无参数的有监督的分类和回归算法。该算法通过IF-THEN-ELSE决策规则(比如:如果绩效考核是A则发奖金1000K，是B则发500)的方式来从数据中学习模型。这种决策的结构就像一个倒置树(第一个决策规则在最顶端，其它的节点随之展开)。在决策树里，每个决策规则都发生在一个决策节点上，该规则创建指向新节点的分支。一个在末端的没有决策规则的分支称为叶子节点。树越深决策树规则越复杂，模型拟合的越好。决策树构建时采用树形结构。树有两个或者多个分支，这里常见的是二分支。它能处理分类变量和连续型变量，适合处理非线性的关系。

决策树之所以较为流行是因为其较好的解释性，它的模型可以通过树状图形的方式直观的展示出来。

决策树示例(详细见韩家炜著《数据挖数据挖掘:概念与技术》内决策树部分介绍):

决策树模型总是试图一个在节点上找到产生最大的纯度的决策规则。划分纯度的指标有多，Scikit Learn里默认的是Gini。

这里是节点t的杂质度(不纯净度，即分裂标准)，是节点t里类别是C的占比。这种寻找决策规则（该规则会产生分裂以增加不纯度)的过程会递归式重复执行，直到所有叶节点都是纯的(即节点划到某个类别)。

决策树回归

决策树回归与决策树分类类似，只不过它不是通过降低Gini不纯度或者熵，而是通过降低的残差平方和来度量。

这里是目标变量的真实值，是目标变量的预测值。

回归，就是根据特征向量来决定对应的输出值。回归树就是将特征空间划分成若干单元，每一个划分单元有一个特定的输出。因为每个结点都是“是”和“否”的判断，所以划分的边界是平行于坐标轴的。

那么得到的划分区域见下：

3 决策树代码与注释示例

def irisdt():from sklearn import treefrom sklearn import model_selectionfrom sklearn.datasets import load_iris#from sklearn.grid_search import GridSearchCVfrom sklearn.model_selection import GridSearchCVfrom sklearn.metrics import classification_reportimport matplotlib.pyplot as pltiris = load_iris()x = iris.datay = iris.targetX_train, X_test, y_train, y_test = model_selection \.train_test_split(x, y, test_size=0.2,random_state=123456)parameters = {'criterion': ['gini', 'entropy'],'max_depth': range(1,30),#[1, 2, 3, 4, 5, 6, 7, 8,9,10],'max_leaf_nodes': [2,3,4, 5, 6, 7, 8, 9]  #最大叶节点数}dtree = tree.DecisionTreeClassifier()grid_search = GridSearchCV(dtree, parameters, scoring='accuracy', cv=5)grid_search.fit(x, y)print(grid_search.best_estimator_)  # 查看grid_search方法print(grid_search.best_score_) # 正确率print(grid_search.best_params_)  # 最佳 参数组合dtree = tree.DecisionTreeClassifier(criterion='gini', max_depth=3)dtree.fit(X_train, y_train)pred = dtree.predict(X_test)print(pred)print(y_test)print(classification_report(y_test, pred,target_names=['setosa', 'versicolor', 'virginica']))print(dtree.predict([[6.9,3.3,5.6,2.4]]))#预测属于哪个分类print(dtree.predict_proba([[6.9,3.3,5.6,2.4]]))  # 预测所属分类的概率值##print(iris.target)print(list(iris.target_names)) #输出目标值的元素名称#print(grid_search.estimator.score(y_test, pred))def irisdecisontree():from sklearn import datasetsiris = datasets.load_iris()X_train = iris.data[:,[0,1]][0:150]y_train = iris.target#print(iris.feature_names)#print(type(X_train))##print(X_train[:,[0,1]][0:150])clf = tree.DecisionTreeClassifier(max_depth=3,criterion='entropy')clf = clf.fit(X_train, y_train)with open("../output/iristree.dot",'w') as f:f = export_graphviz(clf,feature_names=['sepallength','sepalwidth'],out_file=f)import osos.system('dot -Tpdf "../output/iristree.dot" -o "../output/iristree.pdf"')
if __name__ == '__main__':irisdt()

4 总结

无