DecisionTreeClassifier决策树

概括
决策树（Decision tree）是一种非参数的有监督学习方法，它能够从一系列有特征的和标签的数据中总结出决策规则，并以树状图的结构来呈现这些规则，以解决分类和回归问题。

from sklearn.tree import DecisionTreeClassifier

重要参数

名称	注解	描述
criterion	衡量不纯度的指标	默认基尼系数（‘gini’）。或输入‘entropy’使用信息增益
splitter	每个节点分枝策略	默认使用最佳分枝（best）。或输入‘random’使用最佳随机分枝
max_depth	数的最大深度	整数或None。如果是None，树会持续生长到所有叶子结点的不纯度为0，或者生长到每个叶子节点所含样本量不超过参数min_samples_split中输入的数字
min_samples_split	节点分枝所需的最小样本量	一个节点的样本量小于填写的数字，节点就不会分枝，故而成为了叶子节点
min_samples_leaf	叶子节点存在所需的最小样本量	一个节点分枝后必须包含最小的样本量，否则分枝就不会发生
max_features	分枝时考虑的特征个数	每一次分枝都考虑max_features个特征
random_state	随机数种子	整数或None
class_weigh	标签持有的权重	默认‘None’。或输入‘balanced’

分枝原理

分枝的不纯度用gini系数或信息熵来衡量，每次分枝时，对所有特征计算不纯度，选取不纯度最低的特征进行分枝，再对分枝剩下的样本计算不纯度，继续选取不纯度最低的特征，以此往复。直至没有特征可用，或整体的不纯度达到最优，树就会停止生长。

计算公式
1）输入”entropy“，使用信息熵（Entropy）
2）输入”gini“，使用基尼系数（Gini Impurity）

简单建模

clf=DecisionTreeClassifier()
clf=clf.fit(x_train,y_train)
result=clf.score(x_test,y_test)

属性和接口

属性	注解
feature_importances	特征重要性
n_features_	训练模型（fit）使用的特征个数
n_outputs_	训练模型（fit）输出结果的个数
接口	注解
predict	返回模型预测的测试样本的标签或回归值

DecisionTreeClassifier决策树相关推荐

Spark-MLlib 学习入门到掌握-DecisionTreeClassifier决策树分类器[19]
决策树是一个预测模型:他代表的是对象属性与对象值之间的一种映射关系.树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值. ...
MachineLearning(7)-决策树基础+sklearn.DecisionTreeClassifier简单实践
sklearn.DecisionTreeClassifier决策树简单使用 1.决策树算法基础 2.sklearn.DecisionTreeClassifier简单实践 2.1 决策树类 2.3 决策 ...
【机器学习】07. 决策树模型DecisionTreeClassifier（代码注释，思路推导）
目录资源下载实现思路与核心函数解读 DecisionTreeClassifier分类决策树 tree.plot_tree决策树可视化 1. 对决策树最大深度的研究与可视化绘图结果分析 2. 对 ...
【机器学习入门】(5) 决策树算法实战：sklearn实现决策树，实例应用（沉船幸存者预测）附python完整代码及数据集
各位同学好,今天和大家分享一下python机器学习中的决策树算法,在上一节中我介绍了决策树算法的基本原理,这一节,我将通过实例应用带大家进一步认识这个算法.文末有完整代码和数据集,需要的自取.那我们开 ...
机器学习决策树的Sklearn的实现（隐形眼镜镜片决策树实现）
上一篇博客我对决策树做了介绍,当然那是自己编写的算法去实现决策树的构造和图的绘制,在sklearn库中sklearn.tree模块提供了决策树模型供我们使用,所以对它来个简单介绍. 回顾: 决 ...
sklearn决策树--泰坦尼克号幸存者预测
决策树的原理即利用不同的最优特征选择方法,优先选择样本纯度最高的特征来进行样本分类.其中: 使用信息增益的决策树算法为 ID3: 使用信息增益率的决策树算法为 C4.5: 使用Gini指 ...
python 随机森林分类 DecisionTreeClassifier 随机搜索优化参数 GridSearchCV
@python 随机森林分类模型随机优化参数学习笔记随机森林 1.随机森林模型随机森林算法是基于决策树算法的Begging优化版本,通过集成学习的思想将多棵树集成的一种算法,它的基本单元是决策 ...
监督学习--分类之决策树
监督学习-分类-决策树决策树使用树形分支结构分类事物例: 小丽找对象,要求:高.帅.富小明找对象,要求:美美美 if height >= 172:if hansom = '帅':if ri ...
机器学习：决策树(Decision Tree）介绍
简介决策树是一种常见的机器学习算法,它的实现方式类似于我们平时利用多个不同权重选择做决策的过程.以下介绍一个现实生活中的例子. 当父母给自己的女儿介绍对象时,女儿往往会根据对方的年龄.富贵.高矮.美 ...

DecisionTreeClassifier决策树

DecisionTreeClassifier决策树相关推荐

最新文章

热门文章