简介

Bootstrap Aggregating也叫作bagging，是一种机器学习领域用来做模型合并的一种算法。这种算法可以提高统计分类器和回归器的稳定性和准确度。同时也可以帮助模型避免过拟合。

历史

Bootstrap Aggregating最早在1994年由Leo Breiman提出，当时用来通过随机合并训练数据集，从而提高分类器的性能。

算法描述

Bootstrap Aggregating算法不直接作用于模型本身，而是作用在训练数据上。

设有训练集，记作D，数据集的大小是n。Bootstrap Aggregating的目标就是基于D生成m个新的数据集Di，新数据集的大小记作n’。

新数据集的每个元素是通过在原数据集采样得到的，采样的概率服从平均分布。这样一来，Di中会存在重复的样本。如果n′=n，而且n的值足够大，那么Di中没有出现重复的样本比例大概为(1−1/e)≈63.2% (参考)。其余的样本都是出现了重复的。

随后，使用这m个新产生的数据集分别训练模型。预测时，对这些模型的结果进行平均（对拟合任务）或者投票（对分类任务）。

范例

在维基百科的词条中展示了一个使用Bootstrap Aggregating算法拟合一个统计数据的案例。使用图片形象地展示了Bootstrap Aggregating对拟合模型稳定性的提升。详见

转载于:https://juejin.im/post/5ac1a494f265da2395312499

什么是Bootstrap Aggregating相关推荐

R语言分类算法之集成学习（Bootstrap Aggregating）
1.集成学习(Bootstrap Aggregating)原理分析: Bagging是Bootstrap Aggregating的缩写,简单来说,就是通过使用boostrap抽样得到若干不同的训练集, ...
Bagging (bootstrap aggregating) - 集成方法之一
Bagging(装袋法),bootstrap aggregating(自举汇聚法) 的简称,是一个通过组合多个模型来减少泛化误差的技术.其原理是单独训练数个不同的模型,然后让多个模型在测试集的输出上投 ...
Bagging(bootstrap aggregating)
在误差完全相关即 c = v 的情况下,均方误差减少到 v,所以模型平均没有任何帮助.在错误完全不相关即 c = 0 的情况下,该集成平方误差的期望仅为 1/k * v.这意味着集成平方误差的期望会随 ...
一些关于bootstrap,bagging,Adaboost,random forest, gradient boost的基本理解
Bootstraping: 名字来自成语"pull up by your own bootstraps",意思是依靠你自己的资源,称为自助法, 有放回的抽样方法,是非参数统计中一 ...
机器学习：集成学习（ensemble)，bootstrap，Bagging，随机森林，Boosting
文章目录集成学习的朴素思想 Bootstrap理论 Bagging 随机森林 Boosting 集成学习的朴素思想集成学习基于这样的思想:对于比较复杂的任务,综合许多人的意见来进行决策会比&quo ...
快速理解bootstrap,bagging,boosting-三个概念
1 booststraping:意思是依靠你自己的资源,称为自助法,它是一种有放回的抽样方法,它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法. 其核心思想和基本步骤如下: (1)采 ...
bootstrap, boosting, bagging
介绍boosting算法的资源: 视频讲义,介绍boosting算法,主要介绍AdaBoosing http://videolectures.net/mlss05us_schapire_b/ 在这个网 ...
Jackknife，Bootstrap, Bagging, Boosting, AdaBoost, RandomForest 和 Gradient Boosting的区别
Bootstraping: 名字来自成语"pull up by your own bootstraps",意思是依靠你自己的资源,称为自助法,它是一种有放回的抽样方法,它是非参数统 ...
Jackknife，Bootstrap, bagging, boosting, AdaBoost, Rand forest 和 gradient boosting的区别
Jackknife,Bootstrap, bagging, boosting, AdaBoost, Rand forest 和 gradient boosting 这些术语,我经常搞混淆,现在把它们放 ...

什么是Bootstrap Aggregating

简介

历史

算法描述

范例

什么是Bootstrap Aggregating相关推荐

最新文章

热门文章