十三、机器学习四大神器之XGBoost、LightGBM、Catboost和NGBoost

前言：
XGBoost、LightGBM 和 Catboost 是三个基于 GBDT（Gradient Boosting Decision Tree）代表性的算法实现

GBDT 是机器学习中的一个非常流行并且有效的算法模型

XGBoost（eXtreme Gradient Boosting）：2014 年陈天奇博士提出的，特点是计算速度快，模型表现好，可以用于分类和回归问题中
LightGBM（Light Gradient Boosting Machine）：2017年1月，由微软开源的一个机器学习框架，它的训练速度和效率更快、使用的内存更低、准确率更高、并且支持并行化学习与处理大规模数据
Catboost（ Categorical Features+Gradient Boosting）：2017年4月，俄罗斯的搜索巨头 Yandex 开源的框架，采用的策略在降低过拟合的同时保证所有数据集都可用于学习。性能卓越、鲁棒性与通用性更好、易于使用而且更实用。据其介绍 Catboost 的性能可以匹敌任何先进的机器学习算法
NGBoost：2019年10月，Stanford 吴恩达团队提出。暂时在早期，目前还在主要使用前三个

常用预测（分类，回归）模型：

分类算法：LR , SVM，KNN
矩阵分解：FunkSVD，BiasSVD，SVD++
FM模型：FM, FFM, DeepFM, NFM，AFM
树模型：GBDT, XGBoost, LightGBM, CatBoost，NGBoost
Attention模型：DIN, DIEN, DSIN

好的特征工程决定模型的上限

XGBoost算法模型参考我的另一篇文章：https://blog.csdn.net/s_daqing/article/details/118424605?spm=1001.2014.3001.5501

十三、机器学习四大神器之XGBoost、LightGBM、Catboost和NGBoost相关推荐

机器学习：XGBoost+LightGBM+catboost+5折+stacking的用法
前言: 目前传统机器学习的比赛中,基本是树模型打天下了,xgboost.lightgbm和catboost各有优劣,如果把三者结合起来,即使使用投票效果也会很好.另外如果再使用5折交叉验证的方法(KF ...
xgboost lightgbm catboost 多分类多标签
xgboost 与 lightgbm 官方均支持多分类任务,但不直接支持多标签分类任务,实现多标签任务的方法之一是结合sklearn 提供的 multiclass 子类,如OneVsRestClass ...
xgboost, lightgbm, catboost, 谁才是预言之战的最终赢家？
引子: xgboost,lightgbm和catboost都是非常好用的工具,它们将多个弱分类器集成为一个强分类器.在此对他们使用的框架背景和不同之处做简单的总结. xgboost vs lightg ...
Kaggle八门神器（一）：竞赛神器之XGBoost介绍
文章目录数据集数据清理特征工程分类结果 Xgboost为一个十分有效的机器学习模型,在各种竞赛中均可以看到它的身影,同时Xgboost在工业届也有着广泛的应用,本文以Titanic数据集为研究 ...
Spring Boot:四大神器之CLI
文章目录简介优势一.安装 Spring Boot CLI 二.测试 2.1 Spring Boot CLI 创建 Hello World 示例 2.2 @Grab 2.3 @ Controlle ...
java.vm.info_SpringBoot四大神器之Actuator的使用小结
序 Spring Boot有四大神器,分别是auto-configuration.starters.cli.actuator,本文主要讲actuator.actuator是spring boot提供的 ...
Springboot监控之一：SpringBoot四大神器之Actuator之3-springBoot的监控和管理--指标说明...
Spring Boot包含很多其他的特性,它们可以帮你监控和管理发布到生产环境的应用.你可以选择使用HTTP端点,JMX或远程shell(SSH或Telnet)来管理和监控应用.审计(Auditing ...
Spring Boot四大神器之Auto Configuration
Spring Boot非常简单容易上手,它隐藏了很多内容而不需要你去关心.但对于一个好的开发人员也许希望知道Spring Boot自动配置背后到底发生了什么? Spring Boot并不属于一种新的技 ...
Spring Boot四大神器之Starter
1.概述依赖管理是任何复杂项目的关键方面.手动完成这些操作并不理想; 你花在它上面的时间越多,你在项目的其他重要方面所花费的时间就越少. 构建Spring Boot启动器是为了解决这个问题.Star ...

十三、机器学习四大神器之XGBoost、LightGBM、Catboost和NGBoost

十三、机器学习四大神器之XGBoost、LightGBM、Catboost和NGBoost相关推荐

最新文章

热门文章