三张简图搞懂GBDT

首先假设你有初步的了解什么是决策树，CART树，集成，Adaboost, boosting的一些概念。

下面我们先了解什么是提升树

都知道，在每个基分类器（CART树）生成的过程，有一个最小化损失函数的步骤，那么对于回归树来说，当我们使用的损失函数是平方损失误差的话，来看看是什么情况：

（注意图片上的标注红字）

看了红字，我觉得大家应该能理解有些书上说的残差，拟合什么的了。

搞懂了提升树，那么来看看什么是GBDT,它也是提升树，只不过是用梯度求解的方法，那么当采用平方损失作为损失函数时，你可以先计算一下此时损失函数的梯度值是什么，你会恍然大悟。

我们来看看下面的图片，平方损失的负梯度求解其实就是我们上面的残差，那么此时用这个负梯度去代替残差，我们就叫GBDT;那么对于一般的损失函数，它的梯度值就不是残差，但是我们用这个梯度去近似残差，这就是更一般的GBDT;

总的来说，当我们用梯度去代替或近似残差，结合所以样本的特征向量，也就是用（X,r残差）去生成回归树，再生成提升树的过程，其实就是GBDT的过程。

最后看一下提升树的算法流程：

希望大家能够看懂！！！！

三张简图搞懂GBDT相关推荐

三张图搞懂JavaScript的原型对象与原型链
对于新人来说,JavaScript的原型是一个很让人头疼的事情,一来prototype容易与__proto__混淆,二来它们之间的各种指向实在有些复杂,其实市面上已经有非常多的文章在尝试说清楚,有一张 ...
H.264 Profile、Level、Encoder三张简图
H.264有四种画质级别,分别是BP.EP.MP.HP: 1.BP-Baseline Profile:基本画质.支持I/P 帧,只支持无交错(Progressive)和CAVLC: 2.EP-Exte ...
一张图搞懂Spring bean的完整生命周期
转载自一张图搞懂Spring bean的完整生命周期一张图搞懂Spring bean的生命周期,从Spring容器启动到容器销毁bean的全过程,包括下面一系列的流程,了解这些流程对我们想在其中任 ...
java 原型图_一张图搞懂原型、原型对象、原型链
基本概念在javascript中,函数可以有属性. 每个函数都有一个特殊的属性叫作原型(prototype) 每个对象拥有一个原型对象 [[Prototype]] / __proto__ / Obj ...
【笔记】三张图读懂机器学习：基本概念、五大流派与九种常见算法
文章目录 [笔记]三张图读懂机器学习:基本概念.五大流派与九种常见算法 Chapter 1: A look at Machine learning 1.What is it? 2.How does m ...
【科普干货】3张图搞懂Salesforce的认证体系（附新手考证攻略）
Salesforce.com,这家神一般的公司及其产品我就不多说了,需要了解的可以阅读我的另一篇科普文章<一张图读懂Salesforce的产品架构>. 今天给大家带来另一篇关于Salesf ...
5张图搞懂Java深浅拷贝
微信搜一搜「bigsai」关注这个专注于Java和数据结构与算法的铁铁文章收录在github/bigsai-algorithm 欢迎star收藏如果本篇对你有帮助,记得点赞收藏哦! 在开发.刷 ...
eplan步进电机_干货丨三张接线图搞定步进电机接线问题！
很多小伙伴刚接触步进电机,步进电机驱动器,很有可能对于步进电机接线方法和步进电机接线图弄不明白,所以可能无从下手.下面这篇文章让您快速掌握步进电机的接线方法,三张实用的步进电机接线图教你快速解决. 首 ...
4张图搞懂Salesforce的认证体系（附新手考证攻略）
Salesforce认证计划概述最近这一两年,Salesforce的Trailhead和认证太热门了,小伙伴们前赴后继地刷Badge拿认证,可以考的认证也随着产品家族的增加而增加,从十几年前的几个认 ...

三张简图搞懂GBDT

三张简图搞懂GBDT相关推荐

最新文章

热门文章