决策树分类

1，概念

2，决策树算法

2.1，特征选择：

　　熵：值越大，不确定性因素越大；条件熵：条件对结果的影响不确定性；信息增益；信息增益比

2.2，决策树生成算法

　　1，ID3算法

　　2，c4.5算法

3，实例说明

4，CART决策树算法

4.1 决策树生成

　　回归树生成

　　分类树生成

　　　举个例子：

　　　　第一种划分方法：{“学生”}、{“老师”、“上班族”} 来预测婚姻

　　　　第二种划分方法：{“老师”}、{“学生”、“上班族”}

　　　　第三种划分方法：{“上班族”}、{“学生”、“老师”}

4.2，决策树剪枝

　　　　例如：图1中ti表示决策树中第i个节点，A、B表示训练集中的两个类别，A、B之后的数据表示落入该节点分别属于A类、B类的样本个数。

5，决策树算法比较

6，总结

　　个人认为算法通过使用训练集构建一个决策树后，获得一系列的规则，输入测试集后，按照规则获取到叶节点，然后根据叶节点最大占有比的那个类为该测试集所属的类，从而达到分类效果

参考网址：

　　1，cart例子

　　2，剪枝例子

　　3，决策树比较

统计学习方法五决策树分类相关推荐

【统计学习方法】决策树
何为决策树? 决策树定义决策树是一种用于分类的树结构.如图所示,它由结点(node)和有向边(directed edge)组成,结点包括内部结点(internal node)和叶结点(leaf no ...
matlab决策树模型过程,利用MATLAB统计工具箱进行决策树分类的一个例子
这个例子开始从lda线性分类算法,最后引出决策树分类算法,不错,初学者可以参考下网上的很多决策树算法都没有例子,都是就一堆代码都不知道参数怎么传递.直接用工具箱里面的决策树算法,不懂得就help一下 ...
统计学习方法之决策树（2）信息增益比，决策树的生成算法
声明:原创内容,如需转载请注明出处今天讲解的内容是: 信息增益比,决策树的生成算法-ID3和C4.5 我们昨天已经学习了什么是信息增益,并且通过信息增益来选择最优特征,但是用信息增益会出现偏向于选择 ...
文本分类入门(三)统计学习方法
文本分类入门(三)统计学习方法前文说到使用统计学习方法进行文本分类就是让计算机自己来观察由人提供的训练文档集,自己总结出用于判别文档类别的规则和依据.理想的结果当然是让计算机在理解文章内容的基础上进 ...
【菜菜的sklearn课堂笔记】决策树-分类树
视频作者:菜菜TsaiTsai 链接:[技术干货]菜菜的机器学习sklearn[全85集]Python进阶_哔哩哔哩_bilibili 关键概念:节点根节点:没有进边,有出边.包含最初的,针对特征的 ...
统计学习方法---李航
统计学习方法笔记第一章:统计学习概论 1.1 统计学习统计学习( statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也 ...
复现经典：《统计学习方法》第 8 章提升方法
本文是李航老师的<统计学习方法>[1]一书的代码复现. 作者:黄海广[2] 备注:代码都可以在github[3]中下载. 我将陆续将代码发布在公众号"机器学习初学者", ...
09_期望极大法EM1_统计学习方法
文章目录一.EM算法的引入 1.极大似然估计 2.EM入场二.EM算法推导 1.Jensen不等式 2.EM推导过程 (1)统计学习方法EM推导 (2)Andrew NG关于EM算法的推导 3.统 ...
07_支持向量机1_统计学习方法
文章目录一.支持向量机的介绍二.支持向量机模型 1.何为分类间隔 (1)函数间隔 (2)几何间隔 2.分类间隔最大化 3.支持向量机中涉及的数学知识 (1)凸函数 (2)常见最优化问题 (3)拉格 ...

统计学习方法五决策树分类

决策树分类

1，概念

2，决策树算法

2.1，特征选择：

2.2，决策树生成算法

3，实例说明

4，CART决策树算法

4.1 决策树生成

4.2，决策树剪枝

5，决策树算法比较

6，总结

参考网址：

统计学习方法五决策树分类相关推荐

最新文章

热门文章

统计学习方法五 决策树分类

决策树分类

1，概念

2，决策树算法

2.1，特征选择：

2.2，决策树生成算法

3，实例说明

4，CART决策树算法

4.1 决策树生成

4.2，决策树剪枝

5，决策树算法比较

6，总结

参考网址：

统计学习方法五 决策树分类相关推荐

最新文章

热门文章

统计学习方法五决策树分类

统计学习方法五决策树分类相关推荐