1 决策树剪枝的必要性

本文讨论的决策树主要是基于ID3算法实现的离散决策树生成。ID3算法的基本思想是贪心算法，采用自上而下的分而治之的方法构造决策树。首先检测训练数据集的所有特征，选择信息增益最大的特征A建立决策树根节点，由该特征的不同取值建立分枝，对各分枝的实例子集递归，用该方法建立树的节点和分枝，直到某一子集中的数据都属于同一类别，或者没有特征可以在用于对数据进行分割。ID3算法总是选择具有最高信息增益(或最大熵压缩)的属性作为当前结点的测试属性。该属性使得结果划分中的样本分类所需的信息量最小，并反映划分的最小随机性或“不纯性”。这种信息理论方法使得对一个对象分类所需的期望测试数目达到最小，并尽量确保一棵简单的(但不必是最简单的)树来刻画相关的信息。

在ID3算法中，计算信息增益时，由于信息增益存在一个内在偏置，它偏袒具有较多值的属性，太多的属性值把训练样例分割成非常小的空间。因此，这个属性可能会有非常高的信息增益，而且被选作树的根结点的决策属性，并形成一棵深度只为一级但却非常宽的树，这棵树可以理想地分类训练数据。但是这个决策树对于测试数据的分类性能可能会相当差，因为它过分地完美地分割了训练数据，不是一个好的分类器。

在J.Mingers关于ID3算法的研究中，通过对五种包含噪音的学习样例的实验发现，多数情况下过度拟合导致决策树的精度降低了10%一25%。过度拟合不仅影响决策树对未知实例的分类精度，而且还会导致决策树的规模增大。一方面，叶子节点随分割不断增多。在极端的情况下，在一棵完成分割的决策树中，每个叶子节点中只包含一个实例。此时决策树在学习样例上的分类精度达到100%，而其叶子节点的数目等于学习样例中实例的数目。但是显然这棵决策树对任何未见的实例都是毫无意义的。另一方面，决策树不断向下生长，导致树的深度增加。因为每一条自根节点到叶子节点的路径都对应一条规则，所以树的深度越大，其对应的规则越长。作为一种蕴含于学习样例中的知识，这样一组过长的规则集合是很难被人理解的。过度拟合现象的存在，无论是对决策树的分类精度，还是对其规模以及可理解性都产生了不利的影响。因此对与决策树的剪枝是非常有必要的。

2 决策树剪枝的方法

一般情况下可以使用如下两类方法来减小决策树的规模:

(l)在决策树完美分割学习样例之前，停止决策树的生长。这种提早停止树生长的

方法，称为预剪枝方法。

(2)与预剪枝方法尽量避免过度分割的思想不同，一般情况下即使决策树可能出现过度拟合现象，算法依然允许其充分生长。在决策树完全生长之后，通过特定标准去掉原决策树中的某些子树。通常称这种方法为后剪枝方法。

2.1 预剪枝方法

预剪枝方法实际上是对决策树停止标准的修改。在原始的ID3算法中，节点的分割一直到节点中的实例属于同一类别时才停止。对于包含较少实例的节点，可能被分割为单一实例节点。为了避免这种情况，我们给出一个停止阈值a。当由一个节点分割导致的最大的不纯度下降小于a时，就把该节点看作是一个叶子节点。在该方法中，阈值a的选择对决策树具有很大的影响。当阈值a选择过大时，节点在不纯度依然很高时就停止分割了。此时由于生长不足，导致决策树过小，分类的错误率过高。假设在一个两类问题中，根节点Root一共包含100个学习样例，其中正例和负例均为50。并且使用属性b可以将正例与负例完全分开，即决策树在学习样例上的分类精度R(T)=100%。由信息增益公式可知，使用属性b分割节点可以得到不纯度下降的最大值0.5。如果设a=0.7，因为Gain(Root，a)=0.5<0.7，所以根节点Root不需要分割。此时导致决策树在学习样例上的分类精度下降为R(T)=50%。当阈值a选择过小时，例如a近似为0，节点的分割过程近似等同于原始的分割过程。由此可见，预剪枝方法虽然原理简单，但是在实际应用中，阈值a的选择存在相当大的主观性。如何精确的给出适当的阈值a以获得适当规模的决策树是十分困难的。

2.2后剪枝方法

决策树是一种树形结构。一棵树是一个或者多个节点的有限集合T，使得

1.有一个特别指定的节点，叫做树的根节点;

2.除根节点以外，剩余的节点被划分成m>=0个不相交的集合Tl，…，Tm，而且每一个集合也都是树。树Tl，…，Tm称为这个根节点的子树。根据上述树的定义，可以直观地将决策树的后剪枝看作是去掉某些子树中除根节点外所有节点的过程，如图1所示。移除子树后，还需要对新生成的叶子节点赋予一个类别标志，一般是叶子节点中所占比例最大的类别标志。

图1 决策树剪枝过程

2.3代价复杂度剪枝

代价复杂度剪枝过程分成两个阶段:第一阶段，首先由原决策树通过某种剪枝策略生成一系列决策树T0，Tl，…，Tk。其中T。是由决策树生成算法推导出来的属性决策树，Ti十1是依次删除Ti的一棵或者多棵后生成的。重复此过程，直到最后的决策树Tk只含有一个叶子结点。

第二阶段，我们对上一阶段得到的决策树进行评估，最终选择一棵最好的作为剪枝后的决策树。

考虑包含N个样例的训练集合，通过决策树生成算法，如ID3，我们可以推导出一棵属性决策树。假定这棵决策树会将其中的E个样例错误分类，再定义L(T)是决策树T中叶子结点的数目，L.Breiman等人定义决策树T的代价复杂度为

对决策树T的一棵子树S，我们将能划分到子树S中的所有样例的最普遍类别标签称之为最可能叶子。从原决策树T。开始，为了从决策树Ti产生Ti十1，我们遍历每一个非叶子子树Ti来找到最小的a值，用子树中最可能叶子代替一棵或多棵值为a的子树。

在第二阶段，我们从上一阶段生成的一系列决策树中，以可靠性为标准找出一棵最好的决策树。如果继续使用生成决策树时的训练样例集合对决策树的错误率进行评估，观察错误率可能过于乐观，也就是说，对于未见样例的错误率可能高于此值。因此，我们使用一个单独的测试样例集合，其中包含N’个样例，用于估计对子树Ti的分类错误率。假设E’是所有子树Ti中最小的观察错误率，定义E’的标准错误为

最后我们从所有子树中选择观察错误数不超过E’ se伍’)中最小的子树，作为剪枝后的子树。