用于分析的数据集可能包含数以百计的属性，其中大部分属性可能与挖掘任务不相关，或者是冗余的。例如，如果分析任务是按顾客听到广告后是否愿意在AllElectronics购买新的流行CD将顾客分类，与属性age(年龄)和music_taste(音乐鉴赏力)不同，诸如顾客的电话号码等属性多半是不相关的。尽管领域专家可以挑选出有用的属性，但这可能是一项困难而费时的任务，特别是当数据的行为不是十分清楚的时候更是如此(因此，需要分析)。遗漏相关属性或留下不相关属性都可能是有害的，会导致所用的挖掘算法无所适从。这可能导致发现质量很差的模式。此外，不相关或冗余的属性增加了数据量，103可能会减慢挖掘进程。

属性子集选择1通过删除不相关或冗余的属性(或维)减少数据量。属性子集选择的目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。在缩小的属性集上挖掘还有其他的优点：它减少了出现在发现模式上的属性数目，使得模式更易于理解。

“如何找出原属性的一个‘好的’子集？”对于n个属性，有2n个可能的子集。穷举搜索找出属性的最佳子集可能是不现实的，特别是当n和数据类的数目增加时。因此，对于属性子集选择，通常使用压缩搜索空间的启发式算法。通常，这些方法是典型的贪心算法，在搜索属性空间时，总是做看上去是最佳的选择。它们的策略是做局部最优选择，期望由此导致全局最优解。在实践中，这种贪心方法是有效的，并可以逼近最优解。

“最好的”(和“最差的”)属性通常使用统计显著性检验来确定。这种检验假定属性是相互独立的。也可以使用一些其他属性评估度量，如建立分类决策树使用的信息增益度量2。

属性子集选择的基本启发式方法包括以下技术，其中一些在图3.6中给出。

(1)逐步向前选择：该过程由空属性集作为归约集开始，确定原属性集中最好的属性，并将它添加到归约集中。在其后的每一次迭代，将剩下的原属性集中的最好的属性添加到该集合中。

(2)逐步向后删除：该过程由整个属性集开始。在每一步中，删除尚在属性集中最差的属性。

(3)逐步向前选择和逐步向后删除的组合：可以将逐步向前选择和逐步向后删除方法结合在一起，每一步选择一个最好的属性，并在剩余属性中删除一个最差的属性。

(4)决策树归纳：决策树算法(例如，ID3、C4.5和CART)最初是用于分类的。决策树归纳构造一个类似于流程图的结构，其中每个内部(非树叶)结点表示一个属性上的测试，每个分枝对应于测试的一个结果；每个外部(树叶)结点表示一个类预测。在每个结点上，算法选择“最好”的属性，将数据划分成类。

当决策树归纳用于属性子集选择时，由给定的数据构造决策树。不出现在树中的所有属性假定是不相关的。出现在树中的属性形成归约后的属性子集。

这些方法的结束条件可以不同。该过程可以使用一个度量阈值来决定何时停止属性选择过程。

在某些情况下，我们可能基于其他属性创建一些新属性。这种属性构造1可以帮助提高准确性和对高维数据结构的理解。例如，我们可能希望根据属性height(高度)和width(宽度)增加属性area(面积)。通过组合属性，属性构造可以发现关于数据属性间联系的缺失信息，这对知识发现是有用的。

_____________________________________________________

1　在机器学习中，属性子集选择称为特征子集选择。

2　信息增益度量在第8章详细介绍。

1　在机器学习文献中，属性构造又称特征构造。