sklearn决策树概述

决策树是一类常见的机器学习方法，决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树。决策树是个递归生成的过程，如何选择最优划分属性是决策树学习的关键。我们希望决策树的分支节点所包含的样本尽可能属于同一类别，信息熵、增益率和基尼指数都可以用来形容节点的“纯度”。

以下是简单的决策树示例：

# Create a random dataset
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))# Fit regression model
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(X, y)
regr_2.fit(X, y)# Predict
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)# Plot the results
plt.figure()
plt.scatter(X, y, s=20, edgecolor="black",c="darkorange", label="data")
plt.plot(X_test, y_1, color="cornflowerblue",label="max_depth=2", linewidth=2)
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

以iris数据集为例，我们可以构建如下的决策树：

from sklearn.datasets import load_iris
from sklearn import tree
iris = load_iris()
X, y = iris.data, iris.target
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, y)tree.plot_tree(clf)

带结果图片的决策树代码

import numpy as np
import matplotlib.pyplot as pltfrom sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree# Parameters
n_classes = 3
plot_colors = "ryb"
plot_step = 0.02# Load data
iris = load_iris()for pairidx, pair in enumerate([[0, 1], [0, 2], [0, 3],[1, 2], [1, 3], [2, 3]]):# We only take the two corresponding featuresX = iris.data[:, pair]y = iris.target# Trainclf = DecisionTreeClassifier().fit(X, y)# Plot the decision boundaryplt.subplot(2, 3, pairidx + 1)x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1xx, yy = np.meshgrid(np.arange(x_min, x_max, plot_step),np.arange(y_min, y_max, plot_step))plt.tight_layout(h_pad=0.5, w_pad=0.5, pad=2.5)Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])Z = Z.reshape(xx.shape)cs = plt.contourf(xx, yy, Z, cmap=plt.cm.RdYlBu)plt.xlabel(iris.feature_names[pair[0]])plt.ylabel(iris.feature_names[pair[1]])# Plot the training pointsfor i, color in zip(range(n_classes), plot_colors):idx = np.where(y == i)plt.scatter(X[idx, 0], X[idx, 1], c=color, label=iris.target_names[i],cmap=plt.cm.RdYlBu, edgecolor='black', s=15)plt.suptitle("Decision surface of a decision tree using paired features")
plt.legend(loc='lower right', borderpad=0, handletextpad=0)
plt.axis("tight")plt.figure()
clf = DecisionTreeClassifier().fit(iris.data, iris.target)
plot_tree(clf, filled=True)
plt.show()

sklearn决策树概述相关推荐

决策树概述+模块介绍+重要参数（criterion+random_statesplitter+减枝参数+目标权重参数）+回归树（参数+实例+拟合正弦曲线）+泰坦尼克号生存者预测实例
文章目录什么是sklearn 一.决策树概述 (一)概述 (二)基础概念 (三)决策树算法的核心是要解决两个问题: 二.模块sklearn.tree的使用 (一) 模块介绍 (二)使用介绍三.重要 ...
机器学习-决策树概述及对鸢尾花数据分类python实现利用graphviz模块画出决策树
文章目录 1. 决策树概述 2. 理论分析 2.1 特征选择 2.1 1 熵&条件熵 2.1.2 信息增益 2.1.3 信息增益比 2.2 决策树的生成 2.2.1 ID3算法 2.2.2 C ...
第十二课.sklearn决策树实验
目录实验数据数据分析 sklearn决策树分类实验数据本实验基于某信息公司的用户数据,使用决策树和可视化工具进行用户流失分析,从而预测哪类用户更容易流失,帮助公司制定相应的预防措施.实验所需数 ...
sklearn——决策树
总结sklearn决策树的使用,方便以后查阅. 1.分类决策树 (基于CART树) 原型: 参数: 2.回归分类树原型: 参数: 3.export_graphviz 当训练完毕一颗决策树时,可以 ...
sklearn决策树预剪枝
<老饼讲解机器学习>http://ml.bbbdata.com/teach#102 目录一.预剪枝即调参二.调参方法 (1) 默认值预观察生长的树 (2) 参数限制节点过分生长为预防 ...
细讲sklearn决策树后剪枝(带例子)
<老饼讲解机器学习>http://ml.bbbdata.com/teach#103 目录一.CCP后剪枝简介二.剪枝操作过程 (1) 查看CCP路径 (2)根据CCP路径剪树为预防模 ...
sklearn 决策树例子_决策树DecisionTree（附代码实现）
开局一张图(网图,随便找的). 对这种类型的图很熟悉的小伙伴应该马上就看出来了,这是一颗决策树,没错今天我们的主题就是理解和实现决策树. 决策树和我们以前学过的算法稍微有点不一样,它是个树形结构.决策 ...
sklearn 决策树(分类树、回归树)的重要参数、属性、方法理解
文章目录决策分类树引入重要参数 1,criterion 2,splitter 3,max_depth 4,min_samples_leaf 5,min_samples_split 6,max_f ...
sklearn 决策树例子_机器学习｜决策树的生成过程是怎样？（一）
本文笔者将用具体例子讲述决策树的构建过程,分析:决策树生成过程中有什么样的问题? 一.基本概念决策树的定义: 首先,决策树是一种有监督的分类算法--即给定X,Y值,构建X,Y的映射关系. 不同于线性 ...

sklearn决策树概述

sklearn决策树概述相关推荐

最新文章

热门文章