python实现决策树算法

摘要：本文首先对决策树算法进行简单介绍，然后利用python一步步构造决策树，并通过matplotlib工具包直观的绘制树形图，最后在数据集对算法进行测试。

关键词：机器学习，决策树，python，matplotlib

简介
决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。[决策树算法百度百科]
决策树的形式如下图所示：

决策树很多任务都是为了获取数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，从而对外部未知信息进行预测归类。

决策树的构造
在构造决策树时，需要考虑的第一个问题就是，当前数据集上的特征该如何划分。划分数据集的原则也是将无序的数据变得更加有序。首先了解几个概念：
1、符号xi的信息：

其中p(xi)是选择该分类的概率。
2、熵（entropy）:信息的期望值

3、信息增益（information gain）

在划分数据集之前之后信息发生的变化称为信息增益，计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。

编程实现决策树算法：
香农熵计算：
input — dataSet 为一个列表

def calcShannonEnt(dataSet):"""计算香农熵"""numEntries = len(dataSet)labelCounts={}for featVec in dataSet:currentLabel = featVec[-1]if currentLabel not in labelCounts:labelCounts[currentLabel] = 0 #先令对应键值为0labelCounts[currentLabel] +=1ShannonEnt = 0.0for key in labelCounts: # 遍历所有键值prob = float(labelCounts[key]) / numEntriesShannonEnt -= prob * math.log(prob,2)return ShannonEnt

创建数据集：

def createData():"""创建数据集"""dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]# dataSet = [[1,1,2,'yes'],#            [1,0,1,'yes'],#            [0,0,3,'no'],#            [1,1,3,'bad'],#            [2,2,3,'no']]labels = ['no surfacing','flippers']return dataSet,labels

得到熵之后，我们就可以按照获取最大增益的办法划分数据集。

`划分数据集
信息增益表示的是信息的变化，而信息可以用熵来度量，所以我们可以用熵的变化来表示信息增益。而获得最高信息增益的特征就是最好的选择，故此，我们可以对所有特征遍历，得到最高信息增益的特征加以选择。

def splitDataSet(dataSet,axis,value):""":param dataSet:待划分的数据集:param axis:划分数据集的特征，也就是每一列:param value:特征返回值（是一列，2,3？，也就特征的索引）:return:retDataSet=[]"""retDataSet=[]for featVec in dataSet:if featVec[axis] == value:reducedFeatVec = featVec[0:axis]reducedFeatVec.extend(featVec[axis+1:])retDataSet.append(reducedFeatVec)return retDataSet

接下来遍历整个数据集，循环计算香农熵和splitDataSet()函数，找到最好的划分方式：

def chooseBestFeatureToSplit(dataSet):"""计算信息增益，选择最好的类别进行划分"""numFeature=len(dataSet[0]) - 1# 特征个数baseEntropy = calcShannonEnt(dataSet) # 基础信息熵bestInfoGain = 0bestFeature = -1 #选取最好的特征进行划分，也就是按照最大信息增益方法划分数据集for i in range(numFeature):#遍历每个特征featList = [example[i] for example in dataSet]#遍历一个特征中的所有属性uniqueVals = set(featList)# 集合属性，也就是一个特征中的所有属性newEntropy = 0.0for value in uniqueVals: # 计算每个特征中每个属性的信息增益subDataSet = splitDataSet(dataSet,i,value) #prob = len(subDataSet) / float(len(dataSet))newEntropy += prob * calcShannonEnt(subDataSet)infoGain = baseEntropy - newEntropyif infoGain >bestInfoGain:bestInfoGain=infoGainbestFeature = ireturn bestFeature

递归构建决策树：

def createTree(dataSet,labels):classList = [example[-1] for example in dataSet] #['yes', 'yes', 'no', 'no', 'no']if classList.count(classList[0]) == len(classList):return classList[0]if len(dataSet[0]) ==1:return majorityCnt(classList)bestFeat = chooseBestFeatureToSplit(dataSet)#选择最好的第i个特征进行划分bestFeatLabel=labels[bestFeat]myTree = {bestFeatLabel:{}}del(labels[bestFeat]) # 删除已划分节点featValues = [example[bestFeat] for example in dataSet]#遍历最好特征下的属性uniqueVals = set(featValues)# 得到列表包含的所有属性值for value in uniqueVals:subLabels = labels[:]myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet,bestFeat,value),subLabels)#递归画树return myTree

测试结果：

至此，就可以由已知的数据集构造一支决策树了。

下面将介绍如何使用matplotlib工具包可视化生成的决策树。

Matplotlib注释绘制树形图matplotlib学习网站

#首先定义文本框和箭头的格式：
decisionNode = dict(boxstyle="sawtooth", fc="0.8")
leafNode = dict(boxstyle="round4", fc="0.8")
arrow_args = dict(arrowstyle="<-")

#绘制树节点
def plotNode(nodeTxt, centerPt, parentPt, nodeType):createPlot.ax1.annotate(nodeTxt, xy=parentPt,  xycoords='axes fraction',xytext=centerPt, textcoords='axes fraction',va="center", ha="center", bbox=nodeType, arrowprops=arrow_args)

#添加注释
def plotMidText(cntrPt,parentPr,txtString):xMid = (parentPr[0] - cntrPt[0]/2) + cntrPt[0]yMid = (parentPr[1] - cntrPt[1]/2) + cntrPt[1]createPlot.ax1.text(xMid,yMid,txtString,va='center',ha='center',rotation=30)

#绘制树结构
def plotTree(myTree,parentPt,nodeTxt):numLeafs = getNumLeafs(myTree)depth = getTreeDepth(myTree)#firstStr = myTree.keys()[0]firstSides = list(myTree.keys())firstStr = firstSides[0]cntrPt = (plotTree.xOff + (1.0 + float(numLeafs))/2.0/plotTree.totalW,plotTree.yOff)plotMidText(cntrPt,parentPt,decisionNode)plotNode(firstStr, cntrPt, parentPt, decisionNode)secondDict = myTree[firstStr]plotTree.yOff = plotTree.yOff - 1.0 / plotTree.totalDfor key in secondDict.keys():if type(secondDict[key]).__name__ == 'dict':  # test to see if the nodes are dictonaires, if not they are leaf nodesplotTree(secondDict[key], cntrPt, str(key))  # recursionelse:  # it's a leaf node print the leaf nodeplotTree.xOff = plotTree.xOff + 1.0 / plotTree.totalWplotNode(secondDict[key], (plotTree.xOff, plotTree.yOff), cntrPt, leafNode)plotMidText((plotTree.xOff, plotTree.yOff), cntrPt, str(key))plotTree.yOff = plotTree.yOff + 1.0 / plotTree.totalD

#获取叶子节点个数
def getNumLeafs(myTree):numLeafs = 0#firstStr = myTree.keys()[0]firstSides = list(myTree.keys())firstStr = firstSides[0]secondDict = myTree[firstStr]for key in secondDict.keys():if type(secondDict[key]).__name__=='dict':#test to see if the nodes are dictonaires, if not they are leaf nodesnumLeafs += getNumLeafs(secondDict[key])else:   numLeafs +=1return numLeafs

#获取树的深度
def getTreeDepth(myTree):maxDepth = 0#firstStr = myTree.keys()[0]firstSides = list(myTree.keys())firstStr = firstSides[0]#print(firstStr)secondDict = myTree[firstStr]for key in secondDict.keys():if type(secondDict[key]).__name__ =='dict':thisDepth = 1+ getTreeDepth(secondDict[key])else:thisDepth = 1if thisDepth > maxDepth :maxDepth = thisDepthreturn maxDepth

#绘制树结构
def createPlot(inTree):fig = plt.figure(1,facecolor='white')fig.clf()axprops = dict(xticks=[],yticks=[])createPlot.ax1 = plt.subplot(111,frameon=False,**axprops)plotTree.totalW = float(getNumLeafs(inTree))plotTree.totalD = float(getTreeDepth(inTree))plotTree.xOff = -0.5 / plotTree.totalWplotTree.yOff = 1.0plotTree(inTree,(0.5,1.0),'')plt.show()

可视化结果：

小结

了解信息、熵、信息增益等概念，编程实现决策树算法
学习树的递归生成方法，以及如何编程实现获取树的深度、叶子节点的个数
matplotlib工具包的应用，数据的可视化。

以上是我在学习过程中的一些理解与总结，难免有错，望大家不吝指教~

参考文献
[1].PeterHarrington, 哈林顿, 李锐. 机器学习实战[M]. 人民邮电出版社, 2013.

python实现决策树算法相关推荐

python实现决策树算法sklearn_GitHub - cbyonder/lihang_algorithms: 用python和sklearn两种方法实现李航《统计学习方法》中的算法...
lihang_algorithms 用python和sklearn实现李航老师的<统计学习方法>中所提到的算法实验数据:MNIST数据集,这里用kaggle中处理好的数据官方下载地址: ...
Python+sklearn决策树算法使用入门
封面图片:<Python程序设计实验指导书>,董付国编著,清华大学出版社 =========== 在学习决策树算法之前,首先介绍几个相关的基本概念. 决策树算法原理与sklearn实现简 ...
Python实现决策树算法和朴素贝叶算法，并根据天气数据集预测是否出游
天气数据集该数据集,已有的天气状况.温度.湿度还有风力信息,预测是否适合出去游玩.在算法设计中可以把天气状况.温度.湿度还有风力信息作为算法的输入,是否适合游玩作为输出结果. 代码实现导入包 im ...
python实现树有多少种方法_教程 | 从头开始：用Python实现决策树算法
如何计算并评价数据集中地候选分割点(Candidate Split Point) 如何在决策树结构中排分配这些分割点如何在实际问题中应用这些分类和回归算法一.概要本节简要介绍了关于分类及回归树( ...
python实现决策树算法sklearn_python sklearn-05：决策树及随机森林
1.决策树 2.随机森林 1.决策树(decision tree) 决策树一种简单的非线性模型,用来解决回归与分类问题. 通常是重复的将训练集解释变量分割成子集的过程.决策树的节点用方块表示,用来测试 ...
python机器学习决策树算法
一.概述: 1.信息熵: 公式:H[x] = -∑p(x)log2p(x) 不确定性越大,信息熵越大 2.决策树评价: 优点:小规模数据集有效缺点:处理连续变量不好:类别较多时,错误增加的比较快:不 ...
python画图决策树算法分类_分类算法之决策树（理论篇）
起步决策树(decision tree)是一个树结构,可以是二叉树或非二叉树,也可以把他看作是 if-else 规则的集合,也可以认为是在特征空间上的条件概率分布. 决策树的结构以一个简单的用于是 ...
How To Implement The Decision Tree Algorithm From Scratch In Python (从零开始在Python中实现决策树算法)
How To Implement The Decision Tree Algorithm From Scratch In Python 原文作者:Jason Brownlee 原文地址:https:/ ...
python编程实现决策树算法
最近布置了个课堂作业,用python实现决策树算法 .整了几天勉勉强强画出了棵歪脖子树,记录一下. 大体思路: 1.创建决策树My_Decision_Tree类,类函数__init__()初始化参数. ...
决策树算法：原理与python实现案例
文章目录决策树算法浅析决策树的介绍决策树最佳划分的度量问题决策树python案例决策树算法浅析决策树的介绍决策树的定义: 决策树是一种逼近离散值目标函数的方法,学习到的函数使用树结构进行 ...

python实现决策树算法

python实现决策树算法

python实现决策树算法相关推荐

最新文章

热门文章