Boosting 简介--A (small) introduction to Boosting

A (small) introduction to Boosting
https://codesachin.wordpress.com/tag/adaboost/

这里翻译了一下这篇博客，对 boosting 介绍的很好

What is Boosting? 什么是 Boosting
Boosting is a machine learning meta-algorithm that aims to iteratively build an ensemble of weak learners, in an attempt to generate a strong overall model.
下面分别对上面的定义进行逐词解析
1）weak learners 弱学习器
A ‘weak learner’ is any ML algorithm (for regression/classification) that provides an accuracy slightly better than random guessing.
就是比随机猜测好一点的一个机器学习算法。随机猜测的准确率是 50%，所以任何一个算法其准确率超过50% 都是一个弱学习器。
常用的弱学习器有 Decision Stumps or smaller Decision Trees

2） Ensemble
Boosting 构建的模型最终的输出就是所以弱学习器的权重和
The overall model built by Boosting is a weighted sum of all of the weak learners. The weights and training given to each ensures that the overall model yields a pretty high accuracy (sometimes state-of-the-art)

3） Iteratively build 许多组合方法如 bagging/random forests ，这些模型中的弱学习器都可以并行独立训练的，因为这些弱学习器之间没有依赖性。但是 Boosting 不是这样的。在每个步骤， Boosting 尝试评估当前已构建的模型 shortcomings ，然后生成一个弱学习器来解决这个 shortcomings ，然后将这个弱学习器加到总体模型中去。所以整个训练过程是序列进行的。

4） Meta-algorithm
因为 Boosting 本身不是一个机器学习算法，它只是将一些基础算法构建成一个强算法，所以说它是 ‘meta’algorithm
Since Boosting isn’t necessarily an ML algorithm by itself, but rather uses other (basic) algorithms to build a stronger one, it is said to be a ‘meta’ algorithm.

How does Boosting work?

通常一个基于 Boosting 框架的回归算法工作流程如下：

在 Boosting 的每个迭代步骤中，通过引入一个新的弱学习器到当前的 ensemble 中来提升当前模型的性能，这个新引入的弱学习器主要负责解决当前模型不能解决的那些样本。这个ensemble 不仅减少 bias 也同样降低 variance

Each of the iterations in Boosting essentially tries to ‘improve’ the current model by introducing another learner into the ensemble. Having such an ensemble not only reduces the bias (which is generally pretty high for weak learners), but also the variance (since multiple learners contribute to the overall output, each with their own unique training).

Boosting 有很多种版本，其差别主要在上面算法步骤中的一些细节上。
例如 Gradient Boosting 主要的思路是计算 Loss function 在当前步骤某一 data point 的梯度 gradient ，然后用一个新的弱学习器来学习预测这个梯度 gradient，这个弱学习器的权重通过最小化损失函数值得到 The weight is then optimized so as to minimize the total Loss value

Boosting 简介--A (small) introduction to Boosting相关推荐

Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting
这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以下是搜索得到的原文, ...
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting
Jackknife,Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting 这些术语,我经常搞 ...
【机器学习】Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting...
Jackknife,Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting 这些术语,我经常搞混淆, ...
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting的简单介绍
转之 http://blog.csdn.net/chenhongc/article/details/9404583 http://blog.sina.com.cn/s/blog_5dd2e927010 ...
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting的区别
这些术语,我经常搞混淆,现在把它们放在一起,以示区别.(部分文字来自网络,由于是之前记的笔记,忘记来源了,特此向作者抱歉) Bootstraping: 名字来自成语"pull up by y ...
Jackknife，Bootstrap, bagging, boosting, AdaBoost, Rand forest 和 gradient boosting的区别
Jackknife,Bootstrap, bagging, boosting, AdaBoost, Rand forest 和 gradient boosting 这些术语,我经常搞混淆,现在把它们放 ...
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Random forest 和 gradient boosting的区别
转自:http://blog.csdn.net/xianlingmao/article/details/7712217 Jackknife,Bootstraping, bagging, boostin ...
Decision stump、Bootstraping、bagging、boosting、Random Forest、Gradient Boosting
1)首先来看看 Decision stump https://en.wikipedia.org/wiki/Decision_stump A decision stump is a machine le ...
boosting算法_集成学习：boosting、BDT、GBDT的概括理解
boosting是一种集成学习的方法,与bagging并列形成俩中不同的集成学习算法,本文主要概括boosting方法. boosting在训练过程中,它通过改变训练样本的权重,学习多个学习器,然后将 ...

Boosting 简介--A (small) introduction to Boosting

Boosting 简介--A (small) introduction to Boosting相关推荐

最新文章

热门文章