sklearn 随机森林（Random Forest）多分类问题

模型

随机森林是集成学习算法的一种。sklearn更多的集成学习算法
RandomForestClassifier 参数详解
重要的参数有基分类器的个数（n_estimators）、特征选择算法(critirion)、单个决策树的最大深度(max_depth)等。

预处理

import pandas as pd
path = "../Data/classify.csv"
rawdata = pd.read_csv(path)
X = rawdata.iloc[:,:13]
Y = rawdata.iloc[:,14]  # {”A":0,"B":1,"C":2}
Y = pd.Categorical(Y).codes  # ABC变成123

建模

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators = 10, criterion="gini")

训练+评价

def rf_model(k):return RandomForestClassifier(n_estimators = k, criterion="gini")def svc_model(model):model.fit(x_train, y_train)acu_train = model.score(x_train, y_train)acu_test = model.score(x_test, y_test)y_pred = model.predict(x_test)recall = recall_score(y_test, y_pred, average="macro")return acu_train, acu_test, recalldef run_rf(kmax):result = {"k":[],"acu_train": [],"acu_test": [],"recall": []}for i in range(1,kmax+1):acu_train, acu_test, recall = svc_model(rf_model(i))result["k"].append(i)result["acu_train"].append(acu_train)result["acu_test"].append(acu_test)result["recall"].append(recall)return pd.DataFrame(result)df = run_rf(20)
df["acu_test"].plot()
plt.xlim(1,100)
plt.ylim(0.5,0.9)
plt.show()

结果

分类准确率大概在0.85左右，后面即使增加树的个数，也没法再提高准确率了。

预剪枝对随机森林的优化

def rf_model(k):return RandomForestClassifier(n_estimators = k, criterion="gini", max_depth=5)

在模型中增加了max_depth=5

结果

可见预剪枝对决策树是有效的（基分类器数量=1），但是随机森林模型已经通过随机选取样本、随机选择特征等方式有效避免了过拟合、陷入局部最优等问题，因此对单个树进行预剪枝，对模型的提升效果不大。

sklearn 随机森林（Random Forest）多分类问题相关推荐

【ML】随机森林(Random Forest) 从入门到放弃再到掌握
目录集成学习决策树 Boosting Adaboost GBDT 梯度提升决策树是属于boosting集成学习的一种方法,通过构建多颗CART回归树,每一轮利用上一轮学习器的残差进行树的创建.该残 ...
随机森林(Random Forest)和梯度提升树(GBDT)有什么区别？
随机森林(Random Forest)和梯度提升树(GBDT)有什么区别? 随机森林属于集成学习中的 Bagging(Bootstrap AGgregation 的简称) 方法. 随机森林是由很多 ...
【机器学习】随机森林 – Random forest
文章目录一.随机森林是什么? 1. 随机森林是一种集成学习算法 2. 随机森林的基学习器是决策树二.随机森林 – Random Forest | RF 三.构造随机森林的 4 个步骤四.随机森林 ...
初勘数据处理之预测算法（随机森林random forest）附matlab源码
初勘数据处理之预测算法(随机森林random forest)附matlab源码集成学习方法集成学习方法,是整合多个分类方法的预测结果,以提高分类准确率.集成学习方法先用训练数据构建一组基分类器,再 ...
随机森林 – Random forest
随机森林 – Random forest 随机森林是一种由决策树构成的集成算法,他在很多情况下都能有不错的表现. 本文将介绍随机森林的基本概念.4 个构造步骤.4 种方式的对比评测.10 个优缺点和 ...
机器学习方法（六）：随机森林Random Forest，bagging
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 前面机器学习方法(四)决策树讲了经典 ...
随机森林Random Forest，bagging
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 前面机器学习方法(四)决策树讲了经 ...
通俗解读随机森林Random Forest
通俗解读随机森林Random Forest 写在前面 1. 什么是集成学习 2. 什么是Bagging 3 随机森林写在前面声明:本文主要参考的是周志华老师的<机器学习>西瓜书,参杂了 ...
R语言分类算法之随机森林(Random Forest)
1.原理分析: 随机森林是通过自助法(boot-strap)重采样技术,从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练集样本集合,然后根据自助样本集生成k个决策树组成的随机森林,新数据的 ...
机器学习 - 随机森林 Random Forest
先修知识: 决策树.可以看我之前写的文章https://blog.csdn.net/weixin_41332009/article/details/112276531 集成学习.也可以看之前写的文章h ...

sklearn 随机森林（Random Forest）多分类问题

模型

预处理

建模

训练+评价

结果

预剪枝对随机森林的优化

结果

sklearn 随机森林（Random Forest）多分类问题相关推荐

最新文章

热门文章