sklearn.ensemble 模块包括了集成算法

集成算法的目的是用某个指定的学习算法将几个基学习器base estimator(一个模型称为一个基学习器)的预测结果结合起来，共同构建一个泛化性或鲁棒性比单一预测器更好的模型。
集成方法通常分为：
- 均值法Average methods：对几个相互独立的学习器的预测结果取平均（并联）。如,Bagging、随机森林
- 袋装法Boosting methods：几个基学习器构成层次结构，后一个基学习器在前一个集学习器的基础上进行学习。如，AdaBoost,Gradient Tree Boosting……

1. Bagging meta-estimator

sklearn.ensemble.BaggingClassifier
sklearn.ensemble.BaggingRegressor
在集成算法中，袋装法在原始训练集的子集上建立一些黑盒般的基学习器，然后将这些基学习器各自的预测结果结合起来，得到一个最终的预测结果。

根据选择训练数据的方法，可以把袋装法分为一下几类：

Pasting：无放回随机选择样本的子集，。
Bagging：从样本中有放回地选取的某一部分样本,基学习器的训练数据中可能有重复样本。
Random Subspaces：随机选择特征的子集。
Random Patches：样本和特征都是原始训练集的子集。

在sklearn中通过限制max_samples，max_features，bootstrap，bootstrap_featrues可以达到使用上述不同袋装法的目的。前两者控制子集的大小，后两者控制样本和特征的选择是否有放回（如果有放回，即bootstrap=True时，单个基学习器的训练样本中可能有重复样本）

2.随机森林

sklearn.ensemble.RandomForestClassifier
sklearn.ensemble.RandomForestRegressor

1.11 集成算法｜模型融合Ensemble methods相关推荐

【算法】决策树模型集成算法模型GBDT
一.决策树模型决策树算法是一种归纳分类算法,它通过对训练集的学习,挖掘有用的规则,对新数据集进行预测.它属于有监督.非参数学习算法,对每个输入使用该分类区域的训练数据得到对应的局部模型.决策树模型的 ...
集成学习-模型融合学习笔记（附Python代码）
1 集成学习概述集成学习(Ensemble Learning)是一种能在各种的机器学习任务上提高准确率的强有力技术,其通过组合多个基分类器(base classifier)来完成学习任务.基分类器一 ...
数据挖掘实践（金融风控-贷款违约预测）（五）：模型融合
数据挖掘实践(金融风控-贷款违约预测)(五):模型融合目录数据挖掘实践(金融风控-贷款违约预测)(五):模型融合 1.引言 2.模型融合的方式 2.1 Voting/Averaging 2.2 B ...
机器学习之模型融合（详解Stacking,Blending）
模型融合 Ensemble Generation 常见模型融合的方法 boosting bagging Stacking blending 各种模型融合的区别 Bagging,Boosting二者之间 ...
集成算法-随机森林与案例实战-泰坦尼克获救预测
集成算法-随机森林 Ensemble learning 目的:让机器学习效果更好,单个不行,群殴走起 Bagging:训练多个分类器取平均 f ( x ) = 1 / M ∑ m = 1 M f m ...
笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting、模型融合
基本内容与分类见上述思维导图. 文章目录一.模型融合方法 . 概述 1.Voting 2.Averaging 3.Bagging 4.Boosting 5. Stacking (1)nfolds 次 ...
【算法竞赛学习】二手车交易价格预测-Task5模型融合
二手车交易价格预测-Task5 模型融合五.模型融合 Tip:此部分为零基础入门数据挖掘的 Task5 模型融合部分,带你来了解各种模型结果的融合方式,在比赛的攻坚时刻冲刺Top,欢迎大家后续多多 ...
模型优化之模型融合|集成学习
目录模型融合 Bagging 随机森林RF Boosting Adaboost GBDT Xgboost Stacking Blending 结合策略平均法投票法学习法在机器学习训练完模型之 ...
模型集成 | 14款常规机器学习 + 加权平均模型融合
模型融合的方法很多,Voting.Averaging.Bagging .Boosting. Stacking,那么一些kaggle比赛中选手会选用各种方法进行融合,其中岭回归就是一类轻巧且非常有效的方 ...

1.11 集成算法｜模型融合Ensemble methods

1. Bagging meta-estimator

2.随机森林

1.11 集成算法｜模型融合Ensemble methods相关推荐

最新文章

热门文章