Bagging和Boosting的概念和区别

Bagging算法(套袋法)

bagging的算法过程如下：

从原始样本集中使用Bootstraping 方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集（k个训练集之间相互独立，元素可以有重复）。
对于n个训练集，我们训练k个模型，（这个模型可根据具体的情况而定，可以是决策树，knn等）
对于分类问题：由投票表决产生的分类结果；对于回归问题，由k个模型预测结果的均值作为最后预测的结果（所有模型的重要性相同）。

Boosting（提升法）

boosting 是一种将弱分类器转化为强分类器的方法统称，而AdaBoost是其中的一种。

boosting的算法过程如下：

对于训练集中的每个样本建立权值wi，表示对每个样本的权重，其关键在与对于被错误分类的样本权重会在下一轮的分类中获得更大的权重（错误分类的样本的权重增加）。
同时加大分类误差概率小的弱分类器的权值，使其在表决中起到更大的作用，减小分类误差率较大弱分类器的权值，使其在表决中起到较小的作用。每一次迭代都得到一个弱分类器，需要使用某种策略将其组合，最为最终模型，(adaboost给每个迭代之后的弱分类器一个权值，将其线性组合作为最终的分类器,误差小的分类器权值越大。)

Bagging和Boosting 的主要区别

	Bagging	Boosting
样本选择	随机有放回的取样，各轮训练集之间相互独立	训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权重是根据上一轮的分类结果进行调整。
样本权重	均匀取样，且每个样本的权重相同	根据错误率调整样本权重，错误率越大的样本权重会变大
预测函数权重	所有的预测函数权值相同	误差越小的预测函数权值越大
各个预测函数	预测函数之间没有依赖关系，可以并行拟合	预测函数之间有依赖关系，必须按照顺序迭代生成

将决策树与以上框架组合成新的算法

Bagging + 决策树 = 随机森林
AdaBoost + 决策树 = 提升树
gradient + 决策树 = GDBT

Bagging和Boosting的概念和区别相关推荐

三分钟让面试官满意系列 - Bagging和Boosting 的联系及区别
联系 Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法.即将弱分类器组装成强分类器的方法. 介绍 1. ...
bagging 与boosting的联系与区别
区别: 1.样本选择上.bagging使用自助采样方法每轮抽取局部数据训练基模型,boosting使用全部样本训练基模型. 2.样例权重.bagging中每个样本所占的权重是一样的,boosting中 ...
Bagging和Boosting 概念及区别
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法.即将弱分类器组装成强分类器的方法. 首先介绍Boot ...
Bagging和Boosting 策略及其区别
转自:Bagging和Boosting 概念及区别:http://www.cnblogs.com/liuwu265/p/4690486.html (仅作为笔记,如有侵权请告知) Bagging和Boo ...
xgboost原理，怎么防止过拟合。随机森林，GBDT,Xgoost的区别，bagging和boosting
一.bagging和boosting的区别参考:https://www.cnblogs.com/liuwu265/p/4690486.html Bagging和Boosting都是将已有的分类或回归 ...
机器学习中Bagging和Boosting的区别
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 Bagging和Boosting都是将已有的分类或回归算法通过一定 ...
Bagging和Boosting的区别（面试准备）
Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好. Bagging: 先介绍Bagging方法: Bagging ...
【机器学习】Bagging和Boosting的区别（面试准备）
Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好. Bagging: 先介绍Bagging方法: Bagging ...
Bagging和Boosting的区别
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法.即将弱分类器组装成强分类器的方法. 首先介绍Boot ...
Bagging与Boosting算法的原理与区别，Boosting算法之一Adaboost原理与代码实现
1. Bagging和Boosting的原理与区别在讲解Boosting之前,必须提一下Bagging算法.两者作为机器学习中集成学习的主要算法,其思想是必须理解和掌握的.总的来说Bagging和B ...

Bagging和Boosting的概念和区别

Bagging算法(套袋法)

Boosting（提升法）

Bagging和Boosting 的主要区别

将决策树与以上框架组合成新的算法

Bagging和Boosting的概念和区别相关推荐

最新文章

热门文章