决策树——学习笔记（一）

概念

决策树最顶端节点称为【根结点】，深度为0的决策树也称为【决策树桩】，不可再分的节点称为【叶节点】。
sklearn支持的两个最常用的分割标准：a. criterion=‘gini’【基尼不纯度】; b. criterion=‘entropy’【信息增益】；

gini不纯度：是否错误分类？目标是最小化错误分类的概率，最优化分割gini不纯度为0
entropy信息增益: 不确定度多大？最完美分割信息熵为0

应用

持续增加深度，使得所有叶子都是纯的，有什么后果？

表面这个决策树在训练集上正确率100%，但是测试集上可能表现很差，产生over-fitting

避免过拟合的两种常见方法

预剪枝：尽早停止决策树生长，一般足够控制过拟合，但现实复杂场景就不足以控制，需用到多个决策树合并成的随机森林
- max_depth:限制最大深度
- max_leaf_nodes:限制最多的叶节点数量
- min_simple_split:限制可分割最少样本数
后剪枝：创建后移除或合并包含较少信息的节点

DataSets
Paper

决策树——学习笔记（一）相关推荐

cart算法_决策树学习笔记（三）：CART算法，决策树总结
点击上方"Python数据科学",选择"星标公众号" 关键时刻,第一时间送达! 作者:xiaoyu 介绍:一个半路转行的数据挖掘工程师推荐导读:本篇为树模型系 ...
机器学习之决策树学习笔记
决策树 1.决策树的概念决策树是什么? 决策树(decision tree)是一种基本的分类与回归方法,通俗的讲也就是一颗用于决策的树. 决策树长什么样呢? 举个通俗易懂的例子,如下图所示的流程图就 ...
第五章决策树——学习笔记
(一)决策树模型与学习 (二)特征选择熵(entropy): H ( x ) = H ( p ) = − ∑ n j = 1 p i l o g p i H(x)=H(p)=- \underset ...
决策树学习笔记整理【转】
本文目的最近一段时间在Coursera上学习Data Analysis,里面有个assignment涉及到了决策树,所以参考了一些决策树方面的资料,现在将学习过程的笔记整理记录于此,作为备忘. 算法 ...
【西瓜书】第4章决策树---学习笔记
1.基本流程 createBranch()函数的伪代码: 检测数据集中的每个子项是否属于同一分类: If so return 类标签: Else 寻找划分数据集的最好特征划分数据集创建分支节点 f ...
【基于CART的随机森林学习笔记】
目录算法描述知识储备举个栗子实现代码算法分析资料引用算法描述 1.随机森林是指一片森林的每棵树都表决,进而根据少数服从多数的原则决断出最后的结果.此篇以CART作为每一棵树的基本模型来说 ...
机器学习入门学习笔记：（3.2）ID3决策树程序实现
前言之前的博客中介绍了决策树算法的原理并进行了数学推导(机器学习入门学习笔记:(3.1)决策树算法).决策树的原理相对简单,决策树算法有:ID3,C4.5,CART等算法.接下来将对ID3决策树算法 ...
统计学习方法学习笔记（十）：决策树
这一个学习笔记将要了解决策树,在研一上机器学习这门课的时候,老师在讲到这一节的时候,举了一个例子我现在还能记得:你们坐在这里上课,就像这个决策树一样,在你人生中的每一个重要结点,你都做出了选择,经过多 ...
机器学习理论《统计学习方法》学习笔记：第五章决策树
机器学习理论<统计学习方法>学习笔记:第五章决策树决策树 5.1 决策树模型与学习 5.1.1 决策树模型 5.1.2 决策树与if-then规则 5.1.3 决策树与条件概率分布 5 ...

决策树——学习笔记（一）

概念

应用

决策树——学习笔记（一）相关推荐

最新文章

热门文章