Ensemble Learning中的Bagging和Boosting

Ensemble Learning大致可以分为两大类：

1、个体学习器之间存在强依赖关系、串行生成的序列化方法（Sequential Ensemble），代表是Boosting。

2、个体学习器之间不存在强依赖关系、可同时生成的并行方法（Independent Ensemble），代表是Bagging。

Boosting是一种将弱学习器转换为强学习器的算法，周志华的西瓜书描述它的机制：先从初始训练集训练出一个基学习器，然后根据基学习器的表现对训练样本进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器。 Boosting 的代表是Adam Boosting。

Bagging是Bootstrap Aggregating的缩写。它通过自助采样的方法（boostrap sampling），每次从数据集中随机选择一个subset，然后放回初始数据集，下次取时，该样本仍然有一定概率取到。然后根据对每个subset训练出一个基学习器，然后将这些基学习器进行结合。对于分类任务可以通过vote来输出结果，回归任务可以求平均值。

从Bias-Variance Trade-off的角度来看，Boosting主要关注降低Bias，因而容易造成Overfit。而Bagging则侧重于降低Variance，所以容易陷入Underfit。原因是Boosting通过一次次的迭代，最小化loss function，所以降低Bias很好理解；由于受数据中的noise和anamoly的影响，Boosting会对受这些数据的影响，而Bagging则通过选取subset可以在一定程度上减少异常数据的影响，使得数据的分布更加均匀，从而降低Variance。

Ensemble Learning中的Bagging和Boosting相关推荐

Ensemble Learning（集成学习--AdaBoost，GBDT，Xgboost等）
集成学习: 所谓兼听则明,偏信则暗. 集成学习本身并不是一个单纯的新算法,它的目的是通过结合多个其他的机器学习模型来完成某个一个任务以提升最终结果的准确率,即三个臭皮匠赛过诸葛亮.从该思想出发自然可以 ...
Ensemble Learning常见方法总结（Bagging、Boosting、Stacking、Blending）
看到过一个问题:Random Forest.Adaboost.GBDT.XGBoost的区别是什么?这个问题基本上覆盖了关于Ensemble Learning中常见的几种方法,以及Ensemble L ...
Decision stump、Bootstraping、bagging、boosting、Random Forest、Gradient Boosting
1)首先来看看 Decision stump https://en.wikipedia.org/wiki/Decision_stump A decision stump is a machine le ...
机器学习-集成学习(ensemble learning)
集成学习ensemble learning:本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务. 可以用两句话形容: 1."三个臭皮匠顶个诸葛亮":一堆 ...
集成学习(Ensemble Learning),Bagging、Boosting、Stacking
1 集成学习概述 1.1 概述在一些数据挖掘竞赛中,后期我们需要对多个模型进行融合以提高效果时,常常会用Bagging,Boosting,Stacking等这几个框架算法,他们不是一种算法,而是一种 ...
笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting、模型融合
基本内容与分类见上述思维导图. 文章目录一.模型融合方法 . 概述 1.Voting 2.Averaging 3.Bagging 4.Boosting 5. Stacking (1)nfolds 次 ...
读懂Ensemble，Bagging，Boosting以及Stacking
集成学习 Bagging 基于Bagging的Random Forest Boosting 基于Boosting的AdaBGoost Gradient Boosting Machines(GBM)梯度 ...
集成学习(ensemble learning)干货系列(3)——Boosting方法详解
集成学习(ensemble learning)干货系列(1)--集成学习概述集成学习(ensemble learning)干货系列(2)--随机森林(Bagging) Boosting基本原理提升 ...
机器学习中Bagging和Boosting的区别
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 Bagging和Boosting都是将已有的分类或回归算法通过一定 ...

Ensemble Learning中的Bagging和Boosting

Ensemble Learning中的Bagging和Boosting相关推荐

最新文章

热门文章