决策树算法从入门到精通
前言
决策树是机器学习模型较常用的一种方法,李航老师《统计学习方法》详细的描述了决策树的生成和剪枝,本文根据书中的内容,对决策树进行了总结。
目录
决策树不确定性的度量方法
决策树的特征筛选准则
决策函数的损失函数评估
决策树最优模型的构建步骤
决策树的优缺点分析
决策树不确定性的度量方法
1. 不确定性的理解
下图为事件A是否发生的概率分布,事件发生记为1,讨论事件A的不确定性。
(1) 我们考虑一种极端的情况,若 p=1或 p=0,表示为事件A必定发生或事件A不可能发生,即不确定性为0。
(2) 若 p>1/2,即事件A发生的概率大于事件A不发生的概率,我们倾向于预测事件A是发生的;若 p<1/2,即事件A不发生的概率小于事件A发生的概率,我们倾向于预测事件A是不发生的。若 p=1/2,即事件A发生的概率等于事件A不发生的概率,我们无法作出预测,即事件A的不确定性达到最大,以致于我们无从预测,或者可以理解成事件A太复杂了,复杂的我们只能靠运气去猜测事件A是否发生。
2. 决策树不确定性的度量方法
本文用熵和基尼指数去衡量数据集的不确定性,假设数据集包含了K类,每个类的大小和比例分别为 Di 和 pi,i = 1,2,...K。
(1)熵的不确定性度量方法
在信息论和概率论统计中,熵是表示随机变量不确定性的度量,令熵为H(p),则:
熵越大,数据集的不确定性就越大。
(2)基尼指数的不确定度量方法
数据集的基尼指数定义为:
基尼指数越大,数据集的不确定性越大。
决策树的特征筛选准则
假设数据集A共有K个特征,记为xi,i=1,2,...K。数据集A的不确定性越大,则数据集A包含的信息也越多。假设数据集A的信息为H(A),经过特征xi筛选后的信息为H(A|xi),定义信息增益g(A,xi)为两者的差值,即:
g(A,xi) = H(A) - H(A|xi)
选择使数据集A信息增益最大的特征作为筛选特征,数学表示为:
x = max( g(A,xi) ) = max( H(A) - H(A|xi) )
决策树的损失函数评估
令决策树的叶节点数为T,损失函数为:
其中C(T)为决策树的训练误差,决策树模型用不确定性表示,不确定性越大,则训练误差亦越大。T表示决策树的复杂度惩罚,α参数权衡训练数据的训练误差与模型复杂度的关系,意义相当于正则化参数。
考虑极端情况:当α趋于0的时候,最优决策树模型的训练误差接近 0,模型处于过拟合;当α趋于无穷大的时候,最优决策树模型是由根节点组成的单节点树。
决策树最优模型的构建步骤
将数据集A通过一定的比例划分为训练集和测试集。
决策树的损失函数:
决策树最优模型的构建步骤包括训练阶段和测试阶段:
训练阶段:
(1)最小化决策树的不确定性值得到的生成模型,即决策树生成;
(2)通过决策树剪枝,得到不同的正则化参数α下的最优决策树模型,即决策树剪枝。
下面重点讨论训练阶段的决策树生成步骤和决策树剪枝步骤。
决策树生成步骤:
(1) 根据决策树的特征筛选准则,选择数据集信息增益最大的特征;
(2) 重复第一个步骤,直到所有叶节点的不确定性为0 。
决策树剪枝步骤:
(1) 将正则化参数α从小到大分成不同的区间,对决策树的非叶节点进行剪枝,令该节点为T,以该节点为根节点的子树为Tt。
(2) 当α满足如下条件时:
即节点为单节点树的损失函数与子树Tt的损失函数相等,而剪枝后的复杂度降低了,泛化性能较好,因此,对该节点进行剪枝。
(3)遍历所有非叶节点,得到每个剪枝后的最优子树与对应的α参数 。
备注:决策树生成和剪枝步骤只给出大致框架,具体请参考李航《统计学习方法》
测试阶段:
通过测试集评估不同α参数下的最优决策树模型,选择测试误差最小的最优决策树模型和相应的正则化参数α。
决策树的优缺点分析
优点:
算法简单,模型具有很强的解释性
可以用于分类和回归问题
缺点:
决策树模型很容易出现过拟合现象,即训练数据集的训练误差很小,测试数据集的测试误差很大,且不同的训练数据集构建的模型相差也很大。实际项目中,我们往往不是单独使用决策树模型,为了避免决策树的过拟合,需对决策树结合集成算法使用,如bagging算法和boosting算法。
参考:
李航《统计学习方法》
推荐阅读文章
支持向量机应用:人脸识别
深入浅出核函数
浅谈频率学派和贝叶斯学派
-END-
决策树算法从入门到精通相关推荐
- Python+sklearn决策树算法使用入门
封面图片:<Python程序设计实验指导书>,董付国编著,清华大学出版社 =========== 在学习决策树算法之前,首先介绍几个相关的基本概念. 决策树算法原理与sklearn实现 简 ...
- 【机器学习入门】(5) 决策树算法实战:sklearn实现决策树,实例应用(沉船幸存者预测)附python完整代码及数据集
各位同学好,今天和大家分享一下python机器学习中的决策树算法,在上一节中我介绍了决策树算法的基本原理,这一节,我将通过实例应用带大家进一步认识这个算法.文末有完整代码和数据集,需要的自取.那我们开 ...
- 【机器学习入门】(4) 决策树算法理论:算法原理、信息熵、信息增益、预剪枝、后剪枝、算法选择
各位同学好,今天我向大家介绍一下python机器学习中的决策树算法的基本原理.内容主要有: (1) 概念理解:(2) 信息熵:(3) 信息增益:(4) 算法选择:(5) 预剪枝和后剪枝. python ...
- 机器学习入门学习笔记:(3.1)决策树算法
前言 决策树是一类常见的机器学习方法,属于监督学习算法.决策树本身不是一种很复杂的算法,只需要简单的数学基础的就可以理解其内容.一些比较典型的决策树算法有:ID3.C4.5.CART等等决策树算法 ...
- meteor从入门到精通_我已经大规模运行Meteor一年了。 这就是我所学到的。
meteor从入门到精通 by Elie Steinbock 埃莉·斯坦博克(Elie Steinbock) 我已经大规模运行Meteor一年了. 这就是我所学到的. (I've been runni ...
- 它来了!ROS2从入门到精通:理论与实战
ROS是什么? 随着人工智能技术的飞速发展与进步,机器人的智能化已经成为现代机器人发展的终极目标.机器人发展的速度在不断提升,应用范围也在不断拓展,例如自动驾驶.移动机器人.操作机器人.信息机器人等. ...
- 独家 | 手把手教你推导决策树算法
作者:Arun Mohan 翻译:杨毅远 校对:王琦 本文长度为2000字,建议阅读5分钟 本文为大家介绍了机器学习中常用的决策树算法以及相关术语,并基于天气数据集进行决策树算法(ID3.CART算法 ...
- id3决策树 鸢尾花 python_决策树算法——集成学的基础!
文 | 菊子皮 (转载请注明出处)同名B站:AIAS编程有道 「摘要:」 决策树在机器学习算法中是一个相对简单的算法,如果不能进行适当的剪枝就容易造成模型的过拟合.决策树算法也是当前很多集成学习算法 ...
- Visual C# 2010从入门到精通
Visual C# 2010从入门到精通 基本信息 原书名: Microsoft Visual C# 2010 Step by Step 原出版社: Microsoft Press 作者: (英)Jo ...
最新文章
- js 报错说此方法没定义 我明明定义了
- PHP文件加到WordPress页面,WordPress-所有页面链接到index.php文件
- layer:好看的弹出窗口
- BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥
- SHELL常见的系统变量解析
- 【每日算法Day 97】经典面试题:求两个数组最小差
- 最难的几道Java面试题,看看你跪在第几个?
- Cesium 编辑空间测量功能,任意修改
- 免费中通快递对接快递鸟单号查询接口对接方法
- 《Predicting Loose-Fitting Garment Deformations Using Bone-Driven Motion Networks》Reading Notes
- 【机器学习、深度学习与强化学习】机器学习(2)---决策树(1)
- 文字识别模型MNIST
- VScode中Paste Image插件无法使用
- 详解在ubuntu上使用Jigdo下载debian镜像
- 回收站清空了能恢复吗?回收站文件恢复的2种方法
- 用HTML中的列表标签做一个导航栏吧
- compileSdkVersion、buildToolsVersion、minSdkVersion、targetSdkVersion
- KISSY 学习 随笔
- 黑马程序员—java毕老师视频个人总结01
- ps笔记(7.31-8-06)
热门文章
- Strategy_Level2
- 12 个 Pandas 数据处理高频操作
- 玩爬虫不会登陆?这个工具拿走不谢!
- 超硬核全套Java视频教程(学习路线+免费视频+配套资料)
- DeepMind 最新论文解读:首次提出离散概率树中的因果推理算法
- 华为昇腾师资培训沙龙·南京场 |华为昇腾 ACL 语言开发实践全程干货来了!看完就实操系列...
- 用于单图像超分辨率的对偶回归网络,达到最新SOTA | CVPR 2020
- 反向R?削弱显著特征为细粒度分类带来提升 | AAAI 2020
- 25亿布局大湾区,创新工场的AI下一站
- 能在不同的深度学习框架之间转换模型?微软的MMdnn做到了