模型集成01-Bagging/Boosting/Stacking

2024-04-28 23:47:58

1、常用的集成学习方式

目前来看，常用的集成学习可以分为三类：Bagging、Boosting、Stacking。其中：

Bagging使用相同的数据集和相同类型的基决策器。不同的基决策器，并行地通过自举采样，分别训练一个决策器，然后对分类结果进行投票，从而获得最终结果。以RF为代表。

Boosting使用相同的数据集和相同类型的基决策器。不同的集决策器，串行地相同的数据集上训练。后一个决策器的权重依赖于前一个决策器的数据，后面的决策器不断地优化之前决策器的决策效果。以AdaBoost和GBDT为代表。

Stacking可以使用不同的数据集合不同类型的基决策器。后面的决策器的输入依赖于前一个决策器的输出。以GBDT+LR为代表。

2、集成学习效果分析

Bagging类型的集成学习，通过多个决策器投票，平均了某些单决策器可能出现的过拟合问题，降低了Varience；Boosting类型的集成学期，通过不断优化错误决策的结果，降低了训练集合上的误差，降低了模型的整体Bias。这两种方式都提升了模型的泛化性能。

Tips：Bagging方法，基分类器选分类Varience小的分类器好吗？(这个问题来源于HULU公众号)

答：不好。因为Bagging是降低Varience的，用varience小的分类器，bagging没有收益，甚至可能适得其反。

Stacking类型的决策器，则主要是各取不同基分类器的优点，从而优化效果。比如GDBT可以方便地处理低维连续数值特征，可以表征数据的泛化性质；LR则可以处理高维稀疏特征，表征数据的个性。GBDT和LR融合，可以更充分利用不同类型的信息。

转载于:https://www.cnblogs.com/ai1024/p/6158567.html

模型集成01-Bagging/Boosting/Stacking相关推荐

机器学习--集成学习--Bagging,Boosting,Stacking
在一些数据挖掘竞赛中,后期我们需要对多个模型进行融合以提高效果时,常常会用到Bagging,Boosting,Stacking等这几个框架算法.下面就来分别详细讲述这三个框架算法.这里我们只做原理上的 ...
集成学习bagging, boosting, stacking
集成学习能够通过训练数据集产生多个学习模型,然后通过一定的结合策略生成强学习模型. bagging 可以并行执行每一棵树权重是一样的随机森林 Bagging是bootstrap aggregati ...
集成学习（bagging/boosting/stacking）BERT,Adaboost
文章目录集成学习(ensemble learning) 1.bagging(装袋法) 2.boosting(提升法) 3.stacking(堆叠法) 集成学习(ensemble learning) ...
机器学习模型的集成方法总结：Bagging, Boosting, Stacking, Voting, Blending
机器学习是人工智能的一个分支领域,致力于构建自动学习和自适应的系统,它利用统计模型来可视化.分析和预测数据.一个通用的机器学习模型包括一个数据集(用于训练模型)和一个算法(从数据学习).但是有些模型的 ...
机器学习 | 集成算法 | Bagging | Boosting | 概念向
树模型系列之集成学习(Bagging、Boosting、Stacking)
文章目录树模型系列之集成学习(Bagging.Boosting.Stacking) bagging Boosting Stacking 偏差与方差集成学习的偏差与方差 Bagging 的偏差与方差 ...
集成学习——Bagging、Boosting、Stacking
目录偏差与方差投票法集成学习 Bagging Bootstraps Bagging Boosting 基本概念 Adaboost 前向分步算法梯度提升树(GBDT) XGBoost Light ...
机器学习集成方法Bagging、Boosting和Stacking
一. 概述集成学习是一种训练多个弱学习器从而得到更好预测结果的方法.一般情况来说,集合弱学习器可以得到更准确更强力的模型. 1. 弱学习器弱学习器,弱学习器常指泛化性能略优于随机猜测的学习器,例如 ...
机器学习（4）：集成算法(Bagging、Boosting、Stacking)
目录一.Bagging模型:随机森林 1.1 bagging的原理 1.2 随机森林算法 Random Forest 1.3 随机森林的推广:极限随机数 extra trees 二.Boosting ...
【李宏毅2020 ML/DL】补充：Ensemble: Bagging, Boosting, Adaboost, Gradient Boosting, Stacking
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本次笔记补充视频 BV1JE411g7XF 的缺失部分.在另一个UP主上传的2017课程BV13x411v7U ...

最新文章

热门文章