0普通决策树

0.1生成数据

sklearn提供了随机数据生成的功能:
make_regression 生成回归模型的数据
make_multilabel_classification生成分类模型数据
用make_blobs生成聚类模型数据
用make_gaussian_quantiles生成分组多维正态分布的数据

import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import make_gaussian_quantiles
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_gaussian_quantiles
# n_samples（生成样本数）， n_features（样本特征数）--x1数组列数，noise（样本随机噪音）
x1, y1 = make_gaussian_quantiles(n_samples=500, n_features=2, n_classes=2)
# 二维正态分布，生成数据按照分位数分为两类，500个样本点，2个特征样本,y=0,1
x2, y2 = make_gaussian_quantiles(mean=(3, 3), n_samples=500, n_features=2, n_classes=2)
# 二维正态分布，生成数据按照分位数分为两类，500个样本点，2个特征样本均值(正态分布均值（3，3）),y=0,1# 将两组数据合成为一组x_data = np.concatenate((x1, x2), axis=0)  # 进行数组列拼接
y_data = np.concatenate((y1, 1 - y2))  # y2里1-1=0，1-0=1，为了提高分类难度

0.2建立决策树模型

model = DecisionTreeClassifier(max_depth=3)
model.fit(x_data, y_data)

0.3生成等高线图

# 获取值的范围
x1_min, x1_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
x2_min, x2_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1x1_range = np.arange(x1_min, x1_max, 0.02)
x2_range = np.arange(x2_min, x2_max, 0.02)
xx, yy = np.meshgrid(x1_range, x2_range)predict = model.predict(np.c_[xx.ravel(), yy.ravel()])
z = predict.reshape(xx.shape)
cs = plt.contourf(xx, yy, z)
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

结果

0.4精度

# 模型的准确度
print(model.score(x_data, y_data))
0.771

可见单一决策树模型精度有待提高

1 Adaboost

# 加入adaboost
model2 = AdaBoostClassifier(model, n_estimators=10)  # 将原先模型代入adaboost，迭代次数为10

1.1训练模型

model2.fit(x_data, y_data)

1.2生成等高线图

x1min, x1max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
x2min, x2max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1
x1range = np.arange(x1min, x1max, 0.02)
x2range = np.arange(x2min, x2max, 0.02)
xx, yy = np.meshgrid(x1range, x2range)
z1 = model2.predict(np.c_[xx.ravel(), yy.ravel()])
z1 = z1.reshape(xx.shape)a = plt.contourf(xx, yy, z1)
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

1.3精度

print(model2.score(x_data, y_data))
0.983

1.4结果

可见精度有所提高。

利用sklearn实现adaboost，以单一分类树为例相关推荐

【sklearn学习】决策树、分类树、剪枝策略
模块sklarn.tree sklearn中决策树的类都在"tree"这个模块之下,这个模块总共包含五个类: tree.DecisionTreeClassifier 分类树 tre ...
【菜菜的sklearn课堂笔记】决策树-分类树
视频作者:菜菜TsaiTsai 链接:[技术干货]菜菜的机器学习sklearn[全85集]Python进阶_哔哩哔哩_bilibili 关键概念:节点根节点:没有进边,有出边.包含最初的,针对特征的 ...
KDD CUP 99利用决策分类树进行网络异常检测
import pandas as pd import numpy as np import matplotlib.pyplot as plt 数据导入与数据探索数据导入 df=pd.read_csv ...
Lesson 8.1Lesson 8.2 决策树的核心思想与建模流程CART分类树的建模流程与sklearn评估器参数详解
Lesson 8.1 决策树的核心思想与建模流程从本节课开始,我们将介绍经典机器学习领域中最重要的一类有监督学习算法--树模型(决策树). 可此前的聚类算法类似,树模型也同样不是一个模型,而是一类模 ...
python决策树分类导入数据集_python+sklearn实现决策树（分类树）
整理今天的代码-- 采用的是150条鸢尾花的数据集fishiris.csv # 读入数据,把Name列取出来作为标签(groundtruth) import pandas as pd data = p ...
sklearn 决策树(分类树、回归树)的重要参数、属性、方法理解
文章目录决策分类树引入重要参数 1,criterion 2,splitter 3,max_depth 4,min_samples_leaf 5,min_samples_split 6,max_f ...
sklearn实现决策树（分类树）
阿喽哈~小伙伴们,今天我们来唠一唠决策树 ♣ ♣ ♣ 决策树应该是很多小伙伴入门机器学习的时候最先接触到的分类算法之一,决策树分为分类树和回归树,今天我们只说分类树~ 简单回顾一下分类树的算法原理:分 ...
Sklearn分类树在合成数集上的表现
版权声明:本文为博主原创文章,未经博主允许不得转载. 文章目录 1. 导入需要的库 2. 生成三种数据集 3. 画出三种数据集和三棵决策树的分类效应图像我的开发环境是 Jupyter lab,所用的 ...
【skLearn 分类、回归算法】DecisionTreeClassifier 分类树
文章目录 DecisionTreeClassifier 分类树 ① 重要参数:criterion 不纯度的计算 ♦ 基本概念 ♦ 选择方式 ♦ 基本计算流程 ♦ 案例 ② 重要参数:random_st ...
(NO.1)利用sklearn进行鸢尾花分类
文章目录利用sklearn进行鸢尾花分类 preheat 联库版本查询 practice summary 利用sklearn进行鸢尾花分类 preheat 联库 sklearn是基于Numpy和S ...

利用sklearn实现adaboost，以单一分类树为例

0普通决策树

0.1生成数据

0.2建立决策树模型

0.3生成等高线图

0.4精度

1 Adaboost

1.1训练模型

1.2生成等高线图

1.3精度

1.4结果

利用sklearn实现adaboost，以单一分类树为例相关推荐

最新文章

热门文章