文章目录

  • 算法介绍
  • 算法差异

算法介绍

XGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。
说到XGBoost,不得不提GBDT(Gradient Boosting Decision Tree)。因为XGBoost本质上还是一个GBDT,但是力争把速度和效率发挥到极致,所以叫X (Extreme) GBoosted。两者都是boosting方法。

算法差异

其一:
传统GBDT以CART(gini系数进行裂分的决策树)作为基分类器,XGBoost还支持线性分类器,这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。

其二(经过GBDT推导,目前GBDT也是二阶导数):
传统GBDT在优化时只用到一阶导数信息,XGBoost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,XGBoost工具支持自定义代价函数,只要函数可一阶和二阶求导。

其三:
XGBoost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。正则降低了模型的方差,使学习出来的模型更加简单,防止过拟合,这也是XGBoost优于传统GBDT的一个特性。

其四:
Shrinkage(缩减),相当于学习速率(XGBoost中的eta)。XGBoost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。(补充:传统GBDT的实现也有学习速率)

其五:
列抽样(column subsampling)。XGBoost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是XGBoost异于传统GBDT的一个特性。

其六:
对缺失值的处理。对于特征的值有缺失的样本,XGBoost可以自动学习出它的分裂方向。

其七:
XGBoost工具支持并行。boosting不是一种串行的结构吗? 怎么并行的?注意XGBoost的并行不是tree粒度的并行,XGBoost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。XGBoost的并行是在特征粒度上的。我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),XGBoost在训练之前,预先对数据进行了排序,然后保存为Block结构,后面的迭代中重复地使用这个结构,大大减小计算量。这个Block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。

XGBoost VS GBDT相关推荐

  1. adaboost和GBDT的区别以及xgboost和GBDT的区别

    adaboost和GBDT的区别以及xgboost和GBDT的区别 AdaBoost:提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值.这样一来,那些没有得到正确分类的数据, ...

  2. 随机森林RF、XGBoost、GBDT和LightGBM的原理和区别

    随机森林RF.XGBoost.GBDT和LightGBM的原理和区别 https://www.cnblogs.com/hugechuanqi/p/10554156.html

  3. xgboost 和 gbdt的对比

    xgboost 是gbdt的具体实现方案之一 1.gbdt的损失函数: 1.1 回归损失函数: 均方损失函数.绝对值损失函数.huber损失函数(是均方损失函数 和 绝对值损失函数的折中).分位数损失 ...

  4. XGBoost与GBDT比较

    XGBoost与GBDT有什么不同 除了算法上与传统的GBDT有一些不同外,XGBoost还在工程实现上做了大量的优化.总的来说,两者之间的区别和联系可以总结成以下几个方面. GBDT是机器学习算法, ...

  5. xgboost与gbdt的区别

    目标函数的区别:如图所示(来自于xgboost论文): 从这里来看传统的gbdt是xgboost中的一种特例, 正则化参数为0: 正则化中的T代表叶子的数量,w代表叶子中的结果,即预测值(得分值) , ...

  6. 机器学习面试——XGBoost,GBDT,RF(上)

    1.常见的集成思想 bagging:基学习器之间并行训练,且学习器之间没有依赖,像是集体决策的过程,每个个体都进行单独学习,再通过投票的方式做最后的集体决策.常见的算法有随机森林 boosting:基 ...

  7. XGboost和GBDT区别及解读XGboost参数

    GBDT和XGBoost区别 传统的GBDT以CART树作为基学习器,XGBoost还支持线性分类器,这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归(分类)或者线性回归(回归): 传统的G ...

  8. XGBoost和GBDT

    建树的时候最关键的一步就是选择一个分裂的准则,也就如何评价分裂的质量.比如在前面文章GBDT的介绍里,我们可以选择MSE,MAE来评价我们的分裂的质量,但是,我们所选择的分裂准则似乎不总是和我们的损失 ...

  9. 梯度提升决策树(GBDT)与XGBoost、LightGBM

    20211224 [机器学习算法总结]XGBoost_yyy430的博客-CSDN博客_xgboost xgboost参数 默认:auto.XGBoost中使用的树构造算法.可选项:auto,exac ...

最新文章

  1. 阿里巴巴DevOps实践指南 | 数字化转型下,DevOps的根本目标是什么?
  2. MySQL : 报错:1130-host ... is not allowed to connect to this MySql server 开放mysql远程连接 不使用localhost...
  3. Prime算法生成迷宫
  4. 信息学奥赛C++语言:推销产品
  5. 計算機二級-java09
  6. 如何用计算机管理员权限,计算机管理员权限在哪里设置_电脑系统如何设置管理员权限-win7之家...
  7. 深入研究java.lang.Runtime类,Process类
  8. 智能优化算法:未来搜索算法-附代码
  9. crontab 日志_linux计划任务-单次任务(at)与循环任务(crontab)
  10. visual studio code Python终端运行_微软常用运行库合集 v2020.5.20 装机必备神器静默整合免费版...
  11. SQL注入理解与防御
  12. 深度学习是什么,深度学习概念的基本理解?
  13. oracle wmsys.wm_concat ORA-00932: 数据类型不一致: 应为 -, 但却获得 CLOB
  14. VC编程——QQ连连看外挂
  15. session Asii码转换
  16. PyCharm下载插件失败解决方法
  17. iOS逆向:微信逆向及动态库开发过程中的坑
  18. 51单片机驱动——LCD1602
  19. C++ find函数详解
  20. 谷歌AI版“你画我猜”背后是什么样的原理?

热门文章

  1. 火车站智能公共广播系统方案
  2. 条码标签打印软件CodeSoft 6.0培训教程
  3. wps使用xml文件显示ui
  4. 什么是数据恢复?数据丢失的最常见原因有哪些?
  5. 小达人点读笔报电量低无法充电故障的处理
  6. 泰勒法计算sin和cos值
  7. android hook 程序,Android hook框架之Xposed插件开发
  8. 【UI自动化-2】UI自动化元素定位专题
  9. elasticsearch(ES)的安装部署及其插件安装
  10. python淘宝抢单_Python使用Selenium实现淘宝抢单的流程分析