matlab 决策树多叉树,决策树简介

一、决策树

决策树，英文全称是：Decision Tree，其又称为判定树，是一种以树结构形式表达的预测分析模型。决策树的结构可以是二叉树，也可以是多叉树。

决策树由结点和有向边组成。结点有两种类型：内部结点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。

以一个简单的用于是否买电脑预测的决策树为例子：

树中的内部节点代表一个属性，节点引出的分支表示这个属性的所有可能的值，叶节点表示最终的分类结果。从根节点到叶节点的每一条路径构建一条规则，并且这些规则具有 “互斥且完备” 的性质，即每一个样本均被且只有一条路径所覆盖。

综上所述，我们可以得知，决策树(decision tree)是一个树结构，可以是二叉树或非二叉树，也可以把它看作是 if-else 规则的集合，也可以认为是在特征空间上的条件概率分布。

二、决策树分类

决策树分为两大类：(1)分类树，对离散变量做决策树；(2)回归树，对连续变量做决策树。

三、决策树算法

决策树算法属于贪心算法。其最大的特点是：

(1)有监督的学习

(2)非参数学习算法

(3)自顶向下递归方式构造决策树

(4)在每一步选择中都采取在当前状态下最好最优的选择

决策树算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类的过程。

在决策树算法中，ID3基于信息增益作为属性选择的度量，C4.5基于信息增益比作为属性选择的度量，CART基于基尼指数作为属性选择的度量。

四、决策树生成过程

决策树的生成过程，分为三个步骤：

第一步：特征选择。

第二步：决策树生成。递归结构，对应于模型的局部最优。

第三步：决策树剪枝。缩小树结构规模，缓解过拟合，对应于模型的全局选择。

五、决策树优点

(1)速度快。因为计算量相对较小，且容易转化成分类规则。只要沿着树根向下一直走到叶子节点即可，沿途的分裂条件就能够唯一确定此种分类的规则。

(2)准确性高。挖掘出来的分类规则准确性高，便于理解，决策树可以清晰的显示哪些字段比较重要，即可以生成可以理解的规则。

(3)可以处理连续和种类字段

(4)不需要任何领域知识和参数假设

(5)适合高维数据

六、决策树缺点

(1)对于各类别样本数量不一致的数据，信息增益偏向于那些更多数值的特征

(2)容易过拟合

(3)忽略属性之间的相关性

matlab 决策树多叉树,决策树简介相关推荐

随机森林和gbdt结合_决策树与迭代决策树(GBDT)
关注数学,关注AI,关注我们公众号ID:Math-AI 阅读目录 1. 决策树的模型 2. 决策树的基本知识 3. ID3.C4.5&CART 4. Random Forest 5. GBDT ...
[Machine Learning Algorithm] 决策树与迭代决策树（GBDT）
阅读目录 1. 决策树的模型 2. 决策树的基本知识 3. ID3.C4.5&CART 4. Random Forest 5. GBDT 6. 参考内容谈完数据结构中的树(详情见参照之前博文 ...
mysql可以做决策树吗_决策树 - stream886 - 博客园
参考资料决策树决策树是一种运用概率与图论中的树对决策中的不同方案进行比较,从而获得最优方案的风险型决策方法. 决策树学习三步骤: 特征选择决策树的生成决策树的剪枝常用的决策树算法有ID3,C ...
R语言使用party包中的ctree函数构建条件推理决策树的流程和步骤、条件推理决策树是传统决策树的一个重要变体、条件推理树的分裂是基于显著性测试而不是熵/纯度/同质性度量来选择分裂
R语言使用party包中的ctree函数构建条件推理决策树的流程和步骤(Conditional inference trees).条件推理决策树是传统决策树的一个重要变体.条件推理树的分裂是基于显著性 ...
决策树ID3、决策树C4.5、决策树CART、CART树的生成、树的剪枝、从ID3到CART、从决策树生成规则、决策树优缺点
决策树ID3.决策树C4.5.决策树CART.CART树的生成.树的剪枝.从ID3到CART.从决策树生成规则.决策树优缺点目录
科学计算：Python VS. MATLAB（4）----图形系统简介
科学计算:Python VS. MATLAB(4)----图形系统简介一.一般概念图形系统就是用来实现所谓的可视化的.在学习具体的命令之前,先了解一个可视化的图形具有哪些特征,以及这些特征具有什么 ...
12_信息熵，信息熵公式，信息增益，决策树、常见决策树使用的算法、决策树的流程、决策树API、决策树案例、随机森林、随机森林的构建过程、随机森林API、随机森林的优缺点、随机森林案例
1 信息熵以下来自:https://www.zhihu.com/question/22178202/answer/161732605 1.2 信息熵的公式先抛出信息熵公式如下: 1.2 信息熵信 ...
sklearn 决策树例子_决策树--规则挖掘应用
本次主要简单介绍下决策树在风控规则中的简单应用,让读者快速入门.在后续的文章中,会逐一介绍决策树的各种算法原理,如信息增益.ID3算法.C4.5算法.C5.0算法等, 希望感兴趣的朋友可以关注下. 前 ...
机器学习决策树_机器学习-决策树 Decision Tree
咱们正式进入了机器学习的模型的部分,虽然现在最火的的机器学习方面的库是Tensorflow, 但是这里还是先简单介绍一下另一个数据处理方面很火的库叫做sklearn.其实咱们在前面已经介绍了一点点sk ...
决策树系列之一决策树的入门教程
决策树 (Decisiontree) 一.决策树的概念决策树(decision tree)又称为分类树(classification tree),决策树是最为广泛的归纳推理算法之一,处理类别型或连续 ...

matlab 决策树多叉树,决策树简介

matlab 决策树多叉树,决策树简介相关推荐

最新文章

热门文章

matlab 决策树 多叉树,决策树简介

matlab 决策树 多叉树,决策树简介相关推荐

最新文章

热门文章

matlab 决策树多叉树,决策树简介

matlab 决策树多叉树,决策树简介相关推荐