Boosting and AdaBoost

Boosting是一种从一些弱分类器中创建一个强分类器的集成技术（提升算法）。

它先由训练数据构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误。不断添加模型，直到训练集完美预测或已经添加到数量上限。

Bagging与Boosting的区别：取样方式不同。Bagging采用均匀取样，而Boosting根据错误率取样。Bagging的各个预测函数没有权重，而Boosting是由权重的，Bagging的各个预测函数可以并行生成，而Boosing的哥哥预测函数只能顺序生成。

AdaBoost算法的全称是自适应boosting（Adaptive Boosting），是一种用于二分类问题的算法，它用弱分类器的线性组合来构造强分类器。弱分类器的性能不用太好，仅比随机猜测强，依靠它们可以构造出一个非常准确的强分类器。

AdaBoost是为二分类开发的第一个真正成功的Boosting算法，同时也是理解Boosting的最佳起点。目前基于AdaBoost而构建的算法中最著名的就是随机梯度boosting。

AdaBoost常与短决策树一起使用。

在创建第一棵树之后，每个训练实例在树上的性能都决定了下一棵树需要在这个训练实例上投入多少关注。

难以预测的训练数据会被赋予更多的权重，而易于预测的实例被赋予更少的权重。

模型按顺序依次创建，每个模型的更新都会影响序列中下一棵树的学习效果。

在建完所有树之后，算法对新数据进行预测，并且通过训练数据的准确程度来加权每棵树的性能。

因为算法极为注重错误纠正，所以一个没有异常值的整洁数据十分重要。

AdaBoost的实现是一个渐进的过程，从一个最基础的分类器开始，每次寻找一个最能解决当前错误样本的分类器。用加权取和(weighted sum)的方式把这个新分类器结合进已有的分类器中。

它的好处是自带了特征选择（feature selection），只使用在训练集中发现有效的特征(feature)。这样就降低了分类时需要计算的特征数量，也在一定程度上解决了高维数据难以理解的问题。

最经典的AdaBoost实现中，它的每一个弱分类器其实就是一个决策树。这就是之前为什么说决策树是各种算法的基石。

集成学习

AdaBoost算法是一种集成学习（ensemble learning）方法。集成学习是机器学习中的一类方法，它对多个机器学习模型进行组合形成一个精度更高的模型，参与组合的模型称为弱学习器（weak learner）。在预测时使用这些弱学习器模型联合起来进行预测；训练时需要用训练样本集依次训练出这些弱学习器。典型的集成学习算法是随机森林和boosting算法，而AdaBoost算法是boosting算法的一种实现版本。

转载于:https://www.cnblogs.com/ytxwzqin/p/9074672.html

Boosting and AdaBoost相关推荐

Boosting、Adaboost、AdaBoost模型的优缺点、提升树、梯度提升树GBDT
Boosting.Adaboost.AdaBoost模型的优缺点.提升树.梯度提升树GBDT 目录 Boosting.Adaboost.AdaBoost模型的优缺点.提升树.梯度提升树GBDT Boo ...
机器学习：集成学习之 Bagging、Boosting和AdaBoost
Bagging.Boosting和AdaBoost(Adaptive Boosting)都是Ensemble learning的方法.集成学习其实就是有很多个分类器,概念就是三个臭皮匠,顶过诸葛亮. ...
机器学习两大利器：Boosting 与 AdaBoost
本文经机器之心(almosthuman2014) 授权转载,禁止二次转载在 Kaggle 及其它机器学习任务中,集成方法非常流行,不论是还是随机森林,它们都强大无比.而本文作者从最基础的 Boos ...
面试必备｜ID3、C4.5、CART、RF、boosting、Adaboost、GBDT、xgboost模型
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:知乎,笑个不停,https://zhuanlan.zhihu ...
决策树随机森林 xgboost_推荐收藏 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结...
作者:ChrisCao https://zhuanlan.zhihu.com/p/75468124 一. 决策树决策树是一个有监督分类模型,本质是选择一个最大信息增益的特征值进行分割,直到达到结束条件 ...
决策树ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost
决策树 1.决策树学习算法主要由三部分构成: 特征选择决策树生成决策树的剪枝特征选择而我们应该基于什么准则来判定一个特征的分类能力呢? 这时候,需要引入一个概念:信息增益.,下面是公式(其中x ...
机器学习算法总结之Boosting：AdaBoost
写在前面正所谓"三个臭皮匠,顶个诸葛亮",在机器学习中也存在这样的哲理.提升方法(Boosting)就是这样的代表:通过将一系列弱学习器综合提升为强学习器的算法.Boosting ...
5000字干货 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结
作者:ChrisCao https://zhuanlan.zhihu.com/p/75468124 大家好,我是小z 今天分享一波机器学习的干货~ 一. 决策树决策树是一个有监督分类模型,本质是选择 ...
深入理解机器学习——集成学习（二）：提升法Boosting与Adaboost算法
分类目录:<深入理解机器学习>总目录 Boosting是一族可将弱学习器提升为强学习器的算法.这族算法的工作机制类似:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进 ...

Boosting and AdaBoost

集成学习

Boosting and AdaBoost相关推荐

最新文章

热门文章