Bagging(装袋法)，bootstrap aggregating(自举汇聚法) 的简称，是一个通过组合多个模型来减少泛化误差的技术。其原理是单独训练数个不同的模型，然后让多个模型在测试集的输出上投票。这是一个在机器学习中普遍应用的被称作model averaging(模型平均) 的策略。使用这种策略的技术被称作ensemble methods(集成方法)。值得一提的是，dropout其实就是一种以低算成本实现装袋法的精妙方法，其通过随机使一些神元失活来构建指数级别的不同的模型。不同之处在于，装袋法每个模型都是独立的，dropout则在模型之间共享一部分参数，以此降低存储指数级别模型所需要的内存。

下面以一张图展示该方法的大致过程：

Bagging(装袋法)

在原始数据集上通过放回抽样的方法构造k个与原始数据集大小相同的新数据集去训练k个分类器，然后将k个分类器通过一定的组合策略聚合成一个强学习器。在预测时，所有分类器都进行分类，最后对k个结果进行票选(通过某种规则，比如平均)，决定最终的输出。

为了提高模型的差异性，装袋法从训练集上随机抽取数据，而且是有放回的抽取。这意味着对于一个样本，它在某一次采样中被采集到的概率是 1 m \frac{1}{m} m1，不被采集到的概率是 1 − 1 m 1-\frac{1}{m} 1−m1。在k次采样中，没有被采集到的概率是 ( 1 − 1 m ) k (1-\frac{1}{m})^k (1−m1)k。当 k → ∞ k\rightarrow\infty k→∞时， ( 1 − 1 m ) k → 1 e ≈ 0.368 (1-\frac{1}{m})^k\rightarrow\frac{1}{e}\approx0.368 (1−m1)k→e1≈0.368，略大于三分之一。也就是说，可能有超过三分之一的数据没有被采集到。这些数据称为袋外数据(Out of Bag, OOB)。这些数据没有参与训练，可以用来检测模型泛化能力。

模型平均(model averaging)背后的原理是，不同的模型在测试集上通常不会产生同样的误差。

假设我们有一个包含k个回归器的集合。每个模型在一个样本上的误差是 ϵ i \epsilon_i ϵi，该误差服从从零均值方差为 E [ ϵ i 2 ] = v \mathbb{E}[\epsilon_i^2]=v E[ϵi2]=v且协方差是 E [ ϵ i ϵ j ] \mathbb{E}[\epsilon_i \epsilon_j] E[ϵiϵj]的多变量正态分布。通过所有集成模型的平均预测误差是 1 k ∑ i ϵ i \frac{1}{k}\sum_i\epsilon_i k1∑iϵi。集成预测器的平方误差期望是：

在误差完全相关即 c = v c = v c=v的情况下，均方误差减少到 v，所以模型平均不会有任何帮助；在错误完全不相关即 c = 0 的情况下，该集成平方误差的期望仅为 1 k v \frac{1}{k}v k1v，这意味着集成平方误差的期望与集成规模k的倒数成正比。换言之，集成平均至少与它的任何成员表现得一样好，并且如果成员的误差是独立的，集成将显著地比其成员表现得更好。

不同的集成方法以不同的方式集成模型。例如，每个组合的成员模型可以使用完全不同的算法和目标函数。装袋提供了一个方法，使得同种类的模型，训练算法和目标函数可以被多次重用。

特别值得指出的是，由于装袋法要构建k个不同的数据集，但数据集是在原始数据集上采用放回抽样构建的。这表示，在很大的概率下，每一个数据集缺失一部分原始数据集的样本，并且含有重复样本。数据集里的不同样本会导致模型的不同。

神经网络能够达到足够广泛的求解点，因此如果模型是在同一数据集下训练的，网络通常能从模型平均中获益。随机初始化的差异，随机选择minibatch的差异，超参数的差异，神经网络非确定的实现结果，这些通常都足够使得集成模型的成员产生相互独立的误差。

模型平均是一个及其有效并且可靠的减少泛化误差的方法。在学术上通常不推荐，因为任何机器学习的算法都能以计算和内存增大的代价从模型平均中获得巨大收益。因此，在benchmark比较时，通常只使用一个模型。

而机器学习的竞赛通常是以在多个模型上取平均来获胜的。

除了为了使构建集成使得模型能比单个模型更能泛化之外，还有其他集成的方法。比如，boosting，是想要提高单个模型的容量(capacity)。Boosting既可以不断地增加神经网络构建集成模型；也可以把网络本身看作集成模型，不断的增加隐藏单元。

参考文献

Deep Learning Chapter 7.11
https://blog.csdn.net/qq_37423198/article/details/76795426
https://baijiahao.baidu.com/s?id=1619984901377076475&wfr=spider&for=pc

Bagging (bootstrap aggregating) - 集成方法之一相关推荐

Bagging(bootstrap aggregating)
在误差完全相关即 c = v 的情况下,均方误差减少到 v,所以模型平均没有任何帮助.在错误完全不相关即 c = 0 的情况下,该集成平方误差的期望仅为 1/k * v.这意味着集成平方误差的期望会随 ...
机器学习集成方法Bagging、Boosting和Stacking
一. 概述集成学习是一种训练多个弱学习器从而得到更好预测结果的方法.一般情况来说,集合弱学习器可以得到更准确更强力的模型. 1. 弱学习器弱学习器,弱学习器常指泛化性能略优于随机猜测的学习器,例如 ...
R语言分类算法之集成学习（Bootstrap Aggregating）
1.集成学习(Bootstrap Aggregating)原理分析: Bagging是Bootstrap Aggregating的缩写,简单来说,就是通过使用boostrap抽样得到若干不同的训练集, ...
python机器学习库sklearn——集成方法（Bagging、Boosting、随机森林RF、AdaBoost、GBDT）
分享一个朋友的人工智能教程.零基础!通俗易懂!风趣幽默!还带黄段子!大家可以看看是否对自己有帮助:点击打开 docker/kubernetes入门视频教程全栈工程师开发手册 (作者:栾鹏) pyth ...
机器学习模型的集成方法总结：Bagging, Boosting, Stacking, Voting, Blending
机器学习是人工智能的一个分支领域,致力于构建自动学习和自适应的系统,它利用统计模型来可视化.分析和预测数据.一个通用的机器学习模型包括一个数据集(用于训练模型)和一个算法(从数据学习).但是有些模型的 ...
集成方法Ensemble Method(bagging, AdaBoost)
1 主要思想将原始数据分成几个组训练一组分类器,里面有很多种弱分类器每个分类器的标签看作一次投票,投票最多的标签为最终标签其架构如下所示: 2 为什么集成方法可行假设这里有25个训练的弱分类 ...
【机器学习实战】第7章集成方法（随机森林和 AdaBoost）
第7章集成方法 ensemble method 集成方法: ensemble method(元算法: meta algorithm) 概述概念:是对其他算法进行组合的一种形式. 通俗来说: 当做重 ...
bagging算法_集成学习(Ensemble Learning)——Bagging与Random Forest（1）
一. 什么是集成学习集成学习是通过构建并结合多个学习器来完成学习任务的一类算法. 根据个体学习器(基学习器)之间是否存在强依赖关系可将集成学习分为两类: Boosting 个体学习器之间存在强依赖关 ...
第7章集成方法、随机森林
欢迎分享本文,转载请保留出处集成方法: ensemble method(元算法: meta algorithm) 概述概念:是对其他算法进行组合的一种形式. 通俗来说: 当做重要决定时,大家可能都 ...

Bagging (bootstrap aggregating) - 集成方法之一

Bagging(装袋法)

参考文献

Bagging (bootstrap aggregating) - 集成方法之一相关推荐

最新文章

热门文章