Boosting

boosting一句话理解：三个臭皮匠，顶个诸葛亮。
在计算机学习理论里，强可学习和弱可学习是等价的。
弱可学习模型转化为强可学习模型方法：前向分布加法模型。

最简单前向分布加法模型

y_k+1 = y_k + ( y-y_k )
( y-y_k )即为残差，每一个新的弱分类器学习的目标都是残差
这么一个简单的模型，能否得到我们想要的结果？
理论上( y-y_k )只有方向是准确的，具体是多少是模糊的。

进阶用梯度代替残差，即GB

理论上( y-y_k )只有方向是准确的，具体是多少是模糊的。
用梯度代替( y-y_k )：
y_k+1 = y_k + ( a_k *梯度)， a_k为步长
这里的梯度就是我们常听说的伪残差，拟合伪残差得到方向，扫描搜索得到最好的步长。

使用指数函数为损失函数，即为Adaboost
使用决策树为分类器，即为GBDT
通过上述算法，我们(x,伪残差)得到方向g，（x,g）得到步长（单变量一元回归）

泰勒展开与GB

GBDT使用上述公式一阶泰勒展开
XGBoosting上述公式二阶泰勒展开
我们知道泰勒二阶展开就是牛顿法，直接求出了方向和步长，不需要线性搜索合适的步长。

XGBoosting

XGBoosting上述公式二阶泰勒展开
我们知道泰勒二阶展开就是牛顿法，直接求出了方向和步长，不需要线性搜索合适的步长。
实际上处理不会一步到位，避免过拟合
详细推导见：https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf link.
从这里可以看出XGBoost基本还是集成前人的东西，考虑大数据处理，优化并行计算，形成工业级应用才是XGBoost最大作用。

参考学习资料：

https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf link.
https://arxiv.org/abs/1603.02754

从GB到GBDT到XGBoost相关推荐

一步一步理解GB、GBDT、xgboost
GBDT和xgboost在竞赛和工业界使用都非常频繁,能有效的应用到分类.回归.排序问题,虽然使用起来不难,但是要能完整的理解还是有一点麻烦的.本文尝试一步一步梳理GB.GBDT.xgboost,它们 ...
GB与gbdt以及xgboost
本文转自:博客 GBDT和xgboost在竞赛和工业界使用都非常频繁,能有效的应用到分类.回归.排序问题,虽然使用起来不难,但是要能完整的理解还是有一点麻烦的.本文尝试一步一步梳理GB.GBDT.xg ...
GBDT和XGBoost
写在最开头,对GB的理解: 1.Gradient Boosting:每一次的计算是为了减少上一次的残差(residual),而为了消除残差,我们可以在残差减少的梯度(Gradient)方向上建立一个新 ...
数据挖掘算法（logistic回归，随机森林，GBDT和xgboost）-腾讯云社区
机器学习就是样本中有大量的x(特征量)和y(目标变量)然后求这个function.(了解更多可以看: https://zhuanlan.zhihu.com/p/21340974?refer=mlear ...
RF和GBDT和Xgboost的异同总结，加上lightgbm
相同点(照顾标题): 都用到了Bootstrap思想,Bootstrap是一种有放回的抽样方法思想不同点: 基类器: RF用的回归树或者分类树,GBDT和xgboost用的是CART(回归树) 分裂 ...
面试必备｜ID3、C4.5、CART、RF、boosting、Adaboost、GBDT、xgboost模型
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:知乎,笑个不停,https://zhuanlan.zhihu ...
决策树随机森林 xgboost_推荐收藏 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结...
作者:ChrisCao https://zhuanlan.zhihu.com/p/75468124 一. 决策树决策树是一个有监督分类模型,本质是选择一个最大信息增益的特征值进行分割,直到达到结束条件 ...
5000字干货 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结
作者:ChrisCao https://zhuanlan.zhihu.com/p/75468124 大家好,我是小z 今天分享一波机器学习的干货~ 一. 决策树决策树是一个有监督分类模型,本质是选择 ...
决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结
作者:ChrisCao https://zhuanlan.zhihu.com/p/75468124 一. 决策树决策树是一个有监督分类模型,本质是选择一个最大信息增益的特征值进行输的分割,直到达到结 ...

从GB到GBDT到XGBoost