GBDT、XGBoost、LightGBM比较
1.GBDT
GBDT (Gradient Boosting Decision Tree) 梯度提升决策树。DT-Decision Tree决策树,GB是Gradient Boosting,是一种学习策略,GBDT的含义就是用Gradient Boosting的策略训练出来的DT模型
在前几年深度学习还没有大行其道之前,GBDT在各种竞赛是大放异彩。一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。
Boosting共有的缺点为训练是按顺序的,难以并行,这样在大规模数据上可能导致速度过慢,所幸近年来XGBoost和LightGBM的出现都极大缓解了这个问题。XGBoost和LightGBM是GBDT的升级版。
支持以下应用:
1)回归,目标函数为 L2 loss
2)二分类, 目标函数为 logloss(对数损失)
3)多分类
4)ambdarank, 目标函数为基于 NDCG 的 lambdarank
GBDT学习总结(Boosting、决策树)
https://blog.csdn.net/zephyr_wang/article/details/106409307
XGBoost | LightGBM |
---|---|
默认基于 pre-sorted 的算法 | 基于 histogram 的算法 |
Leaf-wise (Best-first) 的决策树生长策略 | |
连续的值替换为 discrete bins | |
直方图差加速 |
2.XGBoost
1)设计和建立了一个可扩展的端到端的树提升系统。特点是可以快速的处理大数据。2015-2017年。
2)引入了一个新颖的稀疏感知算法,可以并行的树训练;
3)提出了一个理论上公平的权重分位数略图方法,方便近似学习查找最佳分割点。
4)对于硬盘上的大数据的树学习,我们提出了一个有效的缓存感知块结构,以及数据压缩、分片。
XGBoost论文笔记(https://blog.csdn.net/zephyr_wang/article/details/109211849)
3.LightGBM
2017年。LightGBM在准确率不影响的情况下,比XGBoost更快。
采用GOSS和EFB的GBDT算法,我们叫做LightGBM。Gradient-based One-Side Sampling (GOSS) and Exclusive Feature Bundling (EFB,排除在外特征的捆绑打包)。
采用GOSS,我们可以排除相当比例的小梯度信息的数据实例,仅使用剩下的数据实例评估信息增益。拥有大梯度的数据实例在信息增益计算中扮演重要的角色。
即GOSS用来减少训练数据量。
采用EFB,我们可以把互斥的特征(他们很少同时拥有非零值)打包在一起,来减少特征的数量。寻找互斥特征的最优打包是NP-hard(NP是指多项式复杂程度的非确定性问题non-deterministic polynomial,缩写NP)的,但一个贪婪的算法可以完成很好的近似比率。
即EFB用来减少特征维度。
《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》论文笔记
https://blog.csdn.net/zephyr_wang/article/details/109244085
GBDT、XGBoost、LightGBM比较相关推荐
- 机器学习实战:GBDT Xgboost LightGBM对比
Mnist数据集识别 使用Sklearn的GBDT GradientBoostingClassifier GradientBoostingRegressor import gzip import pi ...
- GBDT Xgboost LightGBM区别与联系
https://www.cnblogs.com/mata123/p/7440774.html
- 机器学习时代的三大神器:GBDT,XGBOOST和LightGBM
来源:https://blog.csdn.net/bbbeoy/article/details/79590981 本文主要简要的比较了常用的boosting算法的一些区别,从AdaBoost到Ligh ...
- 随机森林RF、XGBoost、GBDT和LightGBM的原理和区别
随机森林RF.XGBoost.GBDT和LightGBM的原理和区别 https://www.cnblogs.com/hugechuanqi/p/10554156.html
- 基于集成学习方法Random Forest、Adaboost、GBDT、LightGBM、XGBoost的调参、建模、评估实现kaggle竞赛员工离职案例分析(2)
基于集成学习方法Random Forest.Adaboost.GBDT.LightGBM.XGBoost的调参.建模.评估实现kaggle竞赛员工离职案例分析(2) 引言 3. adaboost模型分 ...
- R︱Yandex的梯度提升CatBoost 算法(官方述:超越XGBoost/lightGBM/h2o)
俄罗斯搜索巨头 Yandex 昨日宣布开源 CatBoost ,这是一种支持类别特征,基于梯度提升决策树的机器学习方法. CatBoost 是由 Yandex 的研究人员和工程师开发的,是 Matri ...
- XGBoost, LightGBM
目录 XGBoost (eXtreme Gradient Boosting) Regularized Learning Objective Gradient Tree Boosting (How do ...
- 【基础算法】 GBDT/XGBoost 常见问题
原文作者:Jack Stack 原文:https://zhuanlan.zhihu.com/p/81368182 在非深度学习的机器学习模型中,基于GBDT算法的XGBoost.lightgbm等有着 ...
- 从xgboost, lightgbm 到catboost
CSDN xgboost 目标函数 O b j t = ∑ j = 1 T ( G j w j + 1 2 ( H j + λ ) w j 2 ) Obj^t= \sum_{j=1}^T(G_jw_j ...
- xgboost, lightgbm, catboost, 谁才是预言之战的最终赢家?
引子: xgboost,lightgbm和catboost都是非常好用的工具,它们将多个弱分类器集成为一个强分类器.在此对他们使用的框架背景和不同之处做简单的总结. xgboost vs lightg ...
最新文章
- 助力高校学子快速上手!昇腾AI处理器应用开发实践一览|华为昇腾师资培训沙龙北京场...
- 西交利物浦计算机专业分数线,西交利物浦大学2018年各省及各专业录取分数线及最低录投档线【理科 文科】...
- 关于arguments,caller以及匿名函数调用的问题
- LeetCode简单题目(#118 #119 #121 #122 #125 #136 #141 #155)-8道
- 构建路径_深度学习的幸福课堂构建从评价细则中找“路径”——基于深度学习的幸福课堂构建实践研究...
- python基本语句大全_python常见语句汇总
- 树形结构 —— 树与二叉树 —— 无根树转有根树
- Windows下批量合并文本文件
- sticky粘性定位
- 用友U9数据库--用户对应的权限明细查询
- 阿里王坚受邀成为 TGO 鲲鹏会荣誉导师
- Fluent NHibernate入门
- 2021年PHP最新面试题(一)
- BPF入门1:BPF技术简介
- 虽然是假的,但是我还是很高兴
- Mac回收站清空还能恢复吗?2个方法快速找回废纸篓清空文件
- 删除oracle数据锁,【总结】oracle恢复误删除数据,解除锁定的等sql语句
- visual studio 2019 在安装windows sdk 10.1.18362.1组件时卡住的问题解决
- 万文长字总结「类别增量学习」的前世今生、开源工具包
- 什么是原型,原型链?原型链是如何实现的?(带图清晰理解)
热门文章
- 智能小夜灯(基于PIC16F887)
- Qt 菜单背景设置颜色 菜单设置颜色
- 【PMP】学习笔记 第6章 时间管理
- 32位计算机处理64位数据,win764位和32位区别
- 诺基亚 android系统升级,诺基亚在中国发布的智能手机都已升级至Android 9.0系统...
- 误删分区怎么办?必备数据恢复工具!
- 服务器显示atal error,RE: 在T630服务器上安装了独立显卡,重启后液晶面板显示“pci1318 fatal error on bus 128d”,然后黑屏重启,该问题如何解决阿。...
- Edge浏览器如何清除缓存
- 一个SAPer的网络日志-连载一-看,内部订单都能用来干啥
- WinCE驱动开发问题精华集锦 [转]