《机器学习实战》学习总结（二）决策树算法原理

2024-04-28 04:55:16

概述

决策树分类算法属于有监督类学习算法。

该分类算法需要利用训练数据得到分类模型，然后再对待分类点进行决策分类。

分类模型（决策树）的计算过程如下：

1、计算训练数据的原始熵

2、分析训练数据，得到每个特征及其的可能取值

3、计算按每个特征分类后的熵

4、选择原始熵与每个特征分类后熵差值最大的那个特征作为分类特征

（说明：把一个数据集按某个特征分成多个数据集后，这些数据集的熵一定是小于原数据集的熵的）

5、在步骤4中找到了第一个分类特征，接下来对分类后的数据集分别重复上述过程，即可得到决策树模型

6、如果数据集已经处理了所有属性，但是类标签依然不是唯一的，这种情况下，通常会采用投票的方式决定该几点的分类，即计算那个标签出现的频次最多，则选取该标签作为分类特征。

模型训练过程如下所示：

说明：每次计算熵的过程只与数据集的Lable有关，确切的说是每个Lable取值的概率有关

如下通过一个示例说明将数据集分裂后，熵值会变小：

原始数据集：

F1	F2	F3	Lable
0	0	0	L1
1	1	1	L1
0	1	2	L2

标签L1的概率2/3，标签L2的概率 1/3

熵=-2/3*log(2/3)-1/3*log(1/3) =0.2764

特征值F1有两种取值0和1，据此将上述数据集分为两个：

F1	F2	F3	Lable
0	0	0	L1
0	1	2	L2

F1	F2	F3	Lable
1	1	1	L1

第一个数据集占总数据集的2/3，其中L1的概率：1/2，L2的概率1/2

第二个数据集占总数据集的1/3,L1的概率为：1

熵=-{2/3*[1/2*log(1/2)+1/2*log(1/2)]}-[1/3*(1*log(1))]=0.2007

可以看出按特征值L1的取值分成的两个数据集的熵要比原来数据集的熵小。

《机器学习实战》学习总结（二）决策树算法原理相关推荐

机器学习实战教程（二）：决策树基础篇之让我们从相亲说起
机器学习实战教程(二):决策树基础篇之让我们从相亲说起一.前言二.决策树三.决策树的构建的准备工作 1.特征选择 (1)香农熵 (2)编写代码计算经验熵 (3) 信息增益 (4) 编写代码计算信 ...
决策树算法原理(上)
决策树算法在机器学习中算是很经典的一个算法系列了.它既可以作为分类算法,也可以作为回归算法,同时也特别适合集成学习比如随机森林.本文就对决策树算法原理做一个总结,上篇对ID3, C4.5的算法思想做了 ...
决策树算法原理及实现
决策树算法原理及实现转载自:https://www.cnblogs.com/sxron/p/5471078.html (一)认识决策树 1.决策树分类原理决策树是通过一系列规则对数据进行分类的过程 ...
决策树算法原理(ID3，C4.5)
决策树算法原理(CART分类树) CART回归树决策树的剪枝决策树可以作为分类算法,也可以作为回归算法,同时特别适合集成学习比如随机森林. 1. 决策树ID3算法的信息论基础 1970年昆兰找 ...
决策树算法原理(下)
在决策树算法原理(上)这篇里,我们讲到了决策树里ID3算法,和ID3算法的改进版C4.5算法.对于C4.5算法,我们也提到了它的不足,比如模型是用较为复杂的熵来度量,使用了相对较为复杂的多叉树,只能处 ...
决策树算法原理以及决策树规则生成方法
决策树算法原理以及决策树规则生成方法决策树是一种可解释性较强的策略分析工具.creditmodel提供了分类回归树和条件推断树两种决策树生成和提取规则的方法. 每一个风险管理人员都应该掌握使用决策树 ...
吴恩达《机器学习》学习笔记二——单变量线性回归
吴恩达<机器学习>学习笔记二--单变量线性回归一. 模型描述二. 代价函数 1.代价函数和目标函数的引出 2.代价函数的理解(单变量) 3.代价函数的理解(两个参数) 三. 梯度下降- ...
第十四课 k8s源码学习和二次开发原理篇-调度器原理
第十四课 k8s源码学习和二次开发原理篇-调度器原理 tags: k8s 源码学习 categories: 源码学习二次开发文章目录第十四课 k8s源码学习和二次开发原理篇-调度器原理第一节 ...
第八课 k8s源码学习和二次开发原理篇-KubeBuilder使用和Controller-runtime原理
第八课 k8s源码学习和二次开发原理篇-KubeBuilder使用和Controller-runtime原理 tags: k8s 源码学习 categories: 源码学习二次开发文章目录第八课 ...
机器学习实战学习提纲
机器学习实战学习提纲学习目录第一部分分类第1章机器学习基础第2章 k-近邻算法第3章决策树第4章基于概率论的分类方法:朴素贝叶斯第5章 Logistic回归第6章支持向量机 ...

最新文章

热门文章