集成学习——Boosting（AdaBoost，Gradient Boosting）

2024-05-13 05:09:49

集成学习——Boosting

与bagging方法不同，boosting中各个分类器串行生成，第Hn个分类器会受到Hn-1个分类器的影响。其主要思想是使下一个分类器更加关注于在上一个分类器上不能很好预测的数据。

AdaBoost

其思想是对数据进行加权，数据权重越大则代表数据越难以被之前的分类器预测。通过权重使后续的分类器更关注于预测困难的数据。具体操作如下：

首先将数据集划分为m等份。对于首个分类器H0，每个数据集的权重相同，为1/m。经过T0预测后，减少预测正确的数据子集的权重，增加预测错误的数据子集的权重。权重更高的数据子集中的数据会更有机会被下一个分类器H1选中进行训练。以此类推，直到m个分类器全部训练结束，使用各个分类器在训练集上的预测结果对分类器赋予权重。结合每个分类器的加权结果得到AdaBoost的最终结果。

GradientBoosting

在GradientBoosting中，模型用来减小之前模型的损失。对于首个模型，在训练数据集上进行拟合。而之后的模型则用于计算之前模型产生的损失，再将结果加入到整个模型中，来使预测值更接近于真实值。例如对于数据a=15，首个模型预测值为10，则其产生的错误值为5。第二个模型就用来计算真实数据与预测值的差距。假设第二个模型计算结果为3，则整体预测结果为10+3=13，优于首个模型单独预测的结果。后续的模型继续加入其中，计算真实值和预测结果之间的差距。

总结

对于简单的学习模型（如：单层决策树），如果其预测效果超过50%，集成学习可以显著的提高模型的预测效果。集成学习在很多问题上都有非常好的表现。

模型计算的数学推演可参考。当我们在谈论GBDT：从 AdaBoost 到 Gradient Boostinghttps://zhuanlan.zhihu.com/p/25096501

集成学习——Boosting（AdaBoost，Gradient Boosting）相关推荐

【李宏毅2020 ML/DL】补充：Ensemble: Bagging, Boosting, Adaboost, Gradient Boosting, Stacking
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本次笔记补充视频 BV1JE411g7XF 的缺失部分.在另一个UP主上传的2017课程BV13x411v7U ...
python机器学习案例系列教程——集成学习（Bagging、Boosting、随机森林RF、AdaBoost、GBDT、xgboost）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程可以通过聚集多个分类器的预测结果提高分类器的分类准确率,这一方法称为集成(Ensemble)学习或分类器组合(Classifier C ...
[白话解析] 通俗解析集成学习之bagging，boosting 随机森林
[白话解析] 通俗解析集成学习之bagging,boosting & 随机森林 0x00 摘要本文将尽量使用通俗易懂的方式,尽可能不涉及数学公式,而是从整体的思路上来看,运用感性直觉的思考来 ...
EL之AdaBoost：集成学习之AdaBoost算法的简介、应用、经典案例之详细攻略
EL之AdaBoost:集成学习之AdaBoost算法的简介.应用.经典案例之详细攻略目录 AdaBoost算法的简介 1.理解AdaBoost算法 1.1.从前向逐步递增角度来看理解AdaBoos ...
集成学习之Adaboost
集成学习之Adaboost 时间:2022/6/13 文章目录集成学习之Adaboost 1.集成学习 1.1学习器 1.2集成学习算法 1.3学习器的选择 2.AdaBoost 2.1Boosti ...
机器学习中的数学（五）：模型组合(Model Combining)之Boosting与Gradient Boosting
前言将简单的模型组合起来,效果比单个更复杂的模型好.组合的方式很多,随机化(比如random forest),Boosting(比如GBDT)都是其中典型的方法,今天主要谈谈Gradient Boo ...
机器学习（九）：集成学习（bagging和boosting），随机森林、XGBoost、AdaBoost
文章目录一.什么是随机森林? 1.1 定义 1.2 目的 1.3 随机森林 VS bagging 二.集成学习 2.1 定义 2.2 决策树的问题 2.3 袋装法概念与理论 2.4 装袋法的优缺点 ...
机器学习：集成学习之 Bagging、Boosting和AdaBoost
Bagging.Boosting和AdaBoost(Adaptive Boosting)都是Ensemble learning的方法.集成学习其实就是有很多个分类器,概念就是三个臭皮匠,顶过诸葛亮. ...
机器学习笔记（六）Boosting集成学习算法Adaboost和GBDT
一.前言在前一篇文章中我们介绍了集成学习算法中的Bagging模型,本篇文章将继续介绍集成学习算法中的另一个代表性算法Boosting模型.Boosting是一种可将弱学习器提升为强学习器的算法,其 ...
集成学习-Boosting集成学习算法AdaBoost
Boosting是一族将弱学习器提升为强学习器的算法,适用于个体学习器间存在强依赖关系.必须串行生成序列化方法.最著名的代表是AdaBoost. Boosting的工作机制:从初始的训练集中训练出一个 ...

最新文章

热门文章