Boosting

Boosting模型是线性训练的，后面的模型会纠结于前一个模型预测错的部分，然后尝试把它修正，步骤如下：

第一个模型用一部分训练集训练，得出这部分训练集上的错误点

错误的数据会有更大的概率被后续的模型选择
第二个模型再拿一部分训练集（之预测错的点被选中的概率更大），然后训练，验证，再把预测错误的点找出来。

错误的数据会有更大的概率被后续的模型选择

依次进行多轮…
最后这些模型综合得出一个权重，拿到数据后每个模型做出预测的结果，然后按照这个权重得出最后的结果

sklearn案例

from sklearn.datasets import make_regression
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_splitX, y = make_regression(random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
reg = GradientBoostingRegressor(random_state=0)
reg.fit(X_train, y_train)reg.predict(X_test[1:2])print(reg.score(X_test, y_test))

机器学习集成模型学习——Boosting集成学习（四）相关推荐

集成学习-Boosting集成学习算法GBDT
GBDT算法的核心为:先构造一个(决策)树,然后不断在已有模型和实际样本输出的残差上再构造一颗树,依次迭代. 目录 Decistion Tree(决策树) Gradient Boosting(梯度提升 ...
集成学习-Boosting集成学习算法LightGBM
在2017年年1月微软在GitHub的上开源了一个新的升压工具LightGBM(Light Gradient Boosting Machine ).它是一种优秀的机器学习算法框架,与XGBoost算法 ...
集成学习-Boosting集成学习算法XGBoost
XGBoost全名叫(eXtreme Gradient Boosting)极端梯度提升,经常被用在一些项目中,其效果显著.它是大规模并行boosted tree的工具,它是目前最快最好的开源boost ...
集成学习-Boosting集成学习算法AdaBoost
Boosting是一族将弱学习器提升为强学习器的算法,适用于个体学习器间存在强依赖关系.必须串行生成序列化方法.最著名的代表是AdaBoost. Boosting的工作机制:从初始的训练集中训练出一个 ...
【机器学习基础】通俗讲解集成学习算法！
作者:黄星源,Datawhale优秀学习者本文以图文的形式对模型算法中的集成学习,以及对集中学习在深度学习中的应用进行了详细解读. 数据及背景 https://tianchi.aliyun.com/ ...
在深度学习中使用Bagging集成模型
集成模型是什么? 集成是一种机器学习概念,使用相同的学习算法训练多个模型.Bagging是一种减少预测方差的方法,通过使用重复组合生成多组原始数据,从数据集生成额外的训练数据.Boosting 是一种 ...
集成学习boosting算法：AdaboostGBDTXgboostLightGBMCatBoost
Adaboost&GBDT&Xgboost&LightGBM&CatBoost 0简介 0.0发展史 0.1 经典文章链接/文章总结链接 0.2 bagging和boo ...
【深度学习】-Imdb数据集情感分析之模型对比（4）- CNN-LSTM 集成模型
[深度学习]-Imdb数据集情感分析之模型对比(4)- CNN-LSTM 集成模型前言 [深度学习]-Imdb数据集情感分析之模型对比(3)- CNN [深度学习]-Imdb数据集情感分析之模型对比 ...
机器学习（九）：集成学习（bagging和boosting），随机森林、XGBoost、AdaBoost
文章目录一.什么是随机森林? 1.1 定义 1.2 目的 1.3 随机森林 VS bagging 二.集成学习 2.1 定义 2.2 决策树的问题 2.3 袋装法概念与理论 2.4 装袋法的优缺点 ...

机器学习集成模型学习——Boosting集成学习（四）

Boosting

sklearn案例

机器学习集成模型学习——Boosting集成学习（四）相关推荐

最新文章

热门文章