11.XGBoost

集成算法：-1. Bagging随机森林多个基模型的构建是基于不同数据来构建-2. Boosting通过迭代的形式基于之前构建好的模型，对样本数据做一定的修正，然后影响之后的模型构建，模型构建的方向或者目的：让预测更准，让误差更小。Adaboost通过修正样本的权重GBDT通过修正样本的预测值label标签值-3. Stacking

01_XGBoost概述

02_XGBoost安装讲解

07:29- 讲解XGBoot的官网,以及安装

03_XGBoost原理讲解一

决策树：构建的方向：让数据集更纯，每次选择划分之后纯度变化最大的这个特征作为数据的划分特征纯的度量指标：信息熵、gini系数、错误率、MSE、MAE划分特征选择的衡量指标：信息增益、信息增益率算法：ID3分类决策树、多分枝的决策树C4.5分类决策树、多分枝的决策树CART分类&回归的决策树、二分枝的决策树

3.1 GBDT 的目标函数

**43: 36 - 01:30 XGBoost公式推导

为什么要考虑损失函数？

XGBoost和GBDT比较-1. XGBoost在GBDT的基础上加入了正则化项，防止模型过拟合-2. XGBoost在构建的过程中考虑的二阶导函数，GBDT只考虑一阶导函数-3. XGBoost中的决策树的构建是基于损失函数，GBDT内的决策树(CART)是基于MSE\MAE\Gini系数....  -4. XGBoost中支持列采样(类似随机森林的方式)，可以降低过拟合的情况-5. XGBoost的并行计算指的是划分特征选择过程中是并行计算的-6. XGBoost底层支持CART、线性回归、逻辑回归等多种算法，GBDT只支持CART。

**01:21-01:26？？？

 解析：
1、列采样：不会取所有的值，只取部分值
2、把缺失值当做一种特征
3、并行计算指的是划分特征选择过程中是并行计算的,模型的构建还是串行的
5、底层支持CART、线性回归、逻辑回归等多种算法，GBDT只支持CART
6、一般情况下不会自定义损失函数

06_聚类算法概述_转

** 01:30- 01:51

分类： objective: binary:logistic
回归： objective: reg:linear

*01:30-01:32 01:36-01:40:15 通过官网看api

http://xgboost.readthedocs.io/en/latest/python/python_api.html#modulexgboost.sklearn

注意：1、如果不做模型的参数调优，优先选择GBDT(相对稳定)2、当GBDT的运行速度和运行效果达不到要求的时候，这时候使用XGBOOT(需要调参)

11.XGBoost相关推荐

数据竞赛利器XGBoost常见面试题集锦
XGBoost的威名想必大家都有所耳闻,它不仅是数据科学竞赛神器,在工业界中也被广泛地使用.本文给大家分享珍藏了多年的XGBoost高频面试题,希望能够加深大家对XGBoost的理解,更重要的是能够在 ...
菜菜sklearn——XGBoost(3)
4 XGBoost应用中的其他问题 4.1 过拟合:剪枝参数与回归模型调参 class xgboost.XGBRegressor (max_depth=3, learning_rate=0.1, n_ ...
推荐：数据竞赛的利器XGBoost的常见面试题
XGBoost的威名想必大家都有所耳闻,它不仅是数据科学竞赛神器,在工业界中也被广泛地使用.本文给大家分享珍藏了多年的XGBoost高频面试题,希望能够加深大家对XGBoost的理解,更重要的是能够在 ...
机器学习——XgBoost特征筛选
目录 1. 什么是Xgboost 2. Xgboost的优点 2.1 正则化 2.2 并行处理 2.3 灵活性 2.4 缺失值处理 2.5 剪枝 2.6 内置交叉验证 3. Xgboost模型详解 3 ...
20道XGBoost面试题
20道XGBoost面试题 20道XGBoost面试题 XGBoost的威名想必大家都有所耳闻,它不仅是数据科学竞赛神器,在工业界中也被广泛地使用.本文给大家分享珍藏了多年的XGBoost高频面试题, ...
集成学习-xgboost学习
XGboost相关学习 from xgboost import XGBRegressor as XGBR from sklearn.ensemble import RandomForestRegres ...
2018：数据科学20个最好的Python库
作者 | ActiveWizards 译者 | 婉清编辑 | 阿司匹林出品 | AI科技大本营(公众号ID:rgznai100) Python 在解决数据科学任务和挑战方面继续处于领先地位. ...
盘点数据科学20个最好的Python库（附链接）
来源:网络大数据本文约3000字,建议阅读6分钟. 本文将给大家介绍数据科学领域20个最好的Python库. Python 在解决数据科学任务和挑战方面继续处于领先地位.去年,我们曾发表一篇博客文章 ...
python 统计组合用什么库_Python数据科学，用这些库就够了
为了方便学习,本文列出的20个Python库将按领域进行分类,有些你可能并不熟悉,但是真的能提高你的模型算法实现效率,多一点尝试,多一些努力! ▌核心库和统计数据 1. NumPy (Commits: ...

11.XGBoost

01_XGBoost概述

02_XGBoost安装讲解

03_XGBoost原理讲解一

3.1 GBDT 的目标函数

11.XGBoost相关推荐

最新文章

热门文章