gdbt java_GBDT算法详解与代码实现

1, 远观GBDT

GBDT算法也是有很多决策树(CART)集成而来，但与随机森林不同，GBDT生成的决策树之间有依赖关系，GBDT算法用到的是一种boosting策略，由弱学习器组合而成强学习器。

在GBDT中，每一轮弱学习器的得出都与已经得到的模型(已得到的弱学习器的组合)有关，怎么有关法？提到的弱学习器的组合是怎么做的？这是我们要学习的主要问题。先来大致讲述一下GBDT在当前轮的弱学习器中拟合损失函数的负梯度值在已经得到的模型的值，这与之前的机器学习算法不同，不再拟合真实值，而是拟合梯度值。

组合的方式就是简单直接的加法模型或者加入一个学习率之后在相加(防过拟合)，有没有感觉进入了求损失函数最小用的梯度下降算法，我觉得就是这种算法。

具体怎么做和损失函数的设定问题我们下面详细讲解

2, 理论部分

$y_{i}$ 样本

$x_{i}$ (自变量)对应的真实值，也就是我们要拟合的目标。

$f_{m}$ 第

$m$ 个弱学习期

$F_{m}$ 前

$m$ 个弱学习器的组合

损失函数的形式有多种，回归与分类所用的损失函数也不同，这篇文章我们先讲回归任务。

回归任务

选择的损失函数为

$L\left( y_{i},F(x_{i}) \right)=\frac{1}{2}*\left( y_{i}-F(x_{i}\right)^{2}$

损失函数在已训练模型(前

$m-1$ 个弱学习器的组合

$F_{m-1}(x_i)$ )的负梯度值为

$-\left[ \frac{\partial L(x_i,F(x_i))}{\partial F(x_i)} \right]_{F(x_i)=F_{m-1}(x_i)}=y_i-F_{m-1}(x_i)$

算法过程初始化第1个弱分类器

$f_{1}(x_i)=\frac{1}{n}\sum_{i=1}^{n}{y_{i}}=\bar{y} ,i=1,2,\cdot\cdot\cdot,n$

第二个弱分类器的拟合值就为损失函数负梯度在已有模型(第一轮弱分类器)的值：

$\tilde{y_i}=y_i-\bar{y}$

以

$\left\{ x_i,\tilde{y_i} \right\}_{i=1}^{n}$ 为训练数据拟合一条回归树(CART)作为第

$2$ 个弱学习器

$f_2(x)$ ，每个

叶子结点的值取为此叶子结点所有样本值

$y_i$ 的均值。为何取均值？本节最后我做个推导。....

第

$m$ 个弱学习器的拟合值为：

$\tilde{y_i}=y_i-F_{m-1}(x_i)$ ,

$F_{m-1}=\sum_{i=1}^{m-1}{f_{i}}$ ,以

$\left\{ x_i,\tilde{y_i} \right\}_{i=1}^{n}$ 为训练数据得到第

$m$ 个决策树

$f_m$ ,计算叶子节点的值。

$F_{m}(x)=F_{m-1}(x)+f_m(x)=\sum_{i=1}^{m}{f_m(x)}$ 为我们最终得到的强学习器。

总结GBDT的思路：每一轮用一个回归树来拟合一个负梯度值。拟合完一颗树之后，需要计算叶子节点的值。最终预测结果其实就是每一颗树的预测结果相加，所以整个过程就是如此简单。

叶子结点取值的推导：(个人理解)

在某一轮弱学习器的学习中，损失函数可以写成

$L=\sum_{j=1}^{Y}{\sum_{i=1}^{T_j}{[\frac{1}{2}*(\tilde{y_i}-\omega _j)^2}]}$

$T$ 为叶子结点的个数，

$T_j$ 为第

$j$ 个叶子节点上的样本个数，

$\omega_j$ 为第

$j$ 个叶子节点的取值。

我们要找到最优的

$\omega _j$ 使得损失函数最小，想到求导等于

$0$ ，得到最优的值。

$\frac{\partial L}{\partial \omega _{j}}=-\sum_{i=1}^{T_j}{\left( \tilde{y_i}- \omega _{j}\right)}$

取值为零，得到

$\omega _j=\frac{1}{T_j}\sum_{i=1}^{T_j}{\tilde{y_i}}$

分类任务

分类任务也是建立回归树，原因嘛，因为要使用梯度下降算法，得到的连续型数值，个人看法而已。过程与回归任务的GBDT一样，不同之处在于损失函数不同，引起的负梯度形式不同，叶子结点计算方式不同。

选择的损失函数为逻辑损失：

$L=-\left\{ y_ilogp_i + (1-y_{i})log (1-p_i) \right\}$

其中

$p_i = \frac{1}{1+e^{(-F(x_i))}}$ ,因此第

$m$ 个弱学习器的拟合值为损失函数的负梯度在已得出模型上的值

$\tilde{y_i}=-[\frac{\partial L}{\partial F(x_i)}]_{F(x_i)=F_{m-1}(x_i)}=y_i - \frac{1}{1+e^{(-F_{m-1}(x_i))}}$ 初始化第1个弱分类器

$f_1(x_i)=log(\frac{\sum_{i=1}^{n}{y_i}}{\sum_{i=1}^{n}{(1-y_i)}}),i=1,2,\cdot\cdot\cdot,n$ .

第二个弱分类器的拟合值就为损失函数负梯度在已有模型(第一轮弱分类器)的值：

$\tilde{y_i}=y_i- \frac{1}{1+e^{(-F_{1}(x_i))}}$

以

$\left\{ x_i,\tilde{y_i} \right\}_{i=1}^{n}$ 为训练数据拟合一条回归树(CART)作为第

$2$ 个弱学习器

$f_2(x)$ ，每个

叶子结点的值取为：

$\gamma _{j2}=\frac{\sum_{x_i\in R_{j2}}{\tilde{y}_{i}}}{\sum_{x_i\in R_{j2}}{(y_i-\tilde{y}_{i})*(1-y_i+\tilde{y}_{i})}}$ ,其中，

$j$ 代表第

$j$

叶子。...

第

$m$ 个弱学习器的拟合值为：

$\tilde{y_i}=y_i-\frac{1}{1+e^{-F_{m-1}(x_i)}}$ ,

$F_{m-1}=\sum_{i=1}^{m-1}{f_{i}}$ ,以

$\left\{ x_i,\tilde{y_i} \right\}_{i=1}^{n}$ 为训练数据得到第

$m$ 个决策树

$f_m$ ,计算叶子节点的值。

$F_{m}(x)=F_{m-1}(x)+f_m(x)=\sum_{i=1}^{m}{f_m(x)}$ ，

$p=\frac{1}{1+e^{-F_{m}(x)}}$ 为我们最终得到的强学习器，即样本

$x$ 为正样本的概率。

总结：与回归任务是不是过程已一致啊？有没有感觉被我的总结给忽悠了。嘻嘻

代码实现

我们直接调用函数来做一个分类任务

#先导入我们需要的库

import numpy as np

import pandas as pd

from sklearn.ensemble import GradientBoostingClassifier

from sklearn.model_selection import train_test_split#用于划分测试集与训练集

from sklearn.datasets import load_iris #使用sklearn库中的iris数据集

data = load_iris()

X = data.data #特征

Y=data.target #类标

X = X[0:100,:]

Y=Y[0:100] #我们做个二分类，iris本来是三个类，前100 个包括两个类

X_train,X_test,Y_train,Y_test=train_test_split(X,Y,\

test_size=0.2,random_state=0)#数据划分

clas = GradientBoostingClassifier(random_state=2020)#我们用的默认参数，如果数据比较复杂，需要调参

clas.fit(X_train,Y_train)#训练模型

clas.predict(X_train)#预测训练集

clas.predict(X_test)#预测测试集

print("训练集准确率：%s"%clas.score(X_train,Y_train)) #输出测试集准确度

print("测试集准确率：%s"%clas.score(X_test,Y_test)) #输出测试集准确度

训练集准确率：1.0

测试集准确率：1.0

gdbt java_GBDT算法详解与代码实现相关推荐

粒子群(pso)算法详解matlab代码,粒子群(pso)算法详解matlab代码
粒子群(pso)算法详解matlab代码 (1)---- 一.粒子群算法的历史粒子群算法源于复杂适应系统(Complex Adaptive System,CAS).CAS理论于1994年正式提出,C ...
数学建模——主成分分析算法详解Python代码
数学建模--主成分分析算法详解Python代码 import matplotlib.pyplot as plt #加载matplotlib用于数据的可视化 from sklearn.decomposi ...
Go-AES算法详解与代码
目录 AES 发展史概述轮函数F 字节代换行移位列混淆轮密钥加密钥编排 AES和DES的不同之处分组模式CTR AES的Go实现 aes包 cipher包加密/解密参考本篇介绍分组 ...
【分享实录】BANCOR算法详解及代码实现
1 活动基本信息 1)主题:[区块链技术工坊22期]BANCOR算法详解及代码实现 2)议题: BANCOR算法的特点和优劣势 BANCOR算法和举例如何加入BANCOR.NETWORK交易所如何 ...
技术工坊|BANCOR算法详解及代码实现（上海）
2019独角兽企业重金招聘Python工程师标准>>> EOS项目在RAM分配中采用了Bancor算法,并将RAM的价格爆炒到了很高的价位,凭借EOS项目在区块链领域的强大运营宣传能 ...
【区块链技术工坊22期实录】王登辉：BANCOR算法详解及代码实现
1,活动基本信息 1)题目: [区块链技术工坊22期]BANCOR算法详解及代码实现 2)议题: 1)BANCOR算法的特点和优劣势 2)BANCOR算法和举例 3)如何加入BANCOR.NETWOR ...
算法经典的八大排序算法详解和代码实现
算法经典的八大排序算法详解和代码实现排序算法的介绍排序的分类算法的时间复杂度时间频度示例图表理解时间复杂度的特点时间复杂度常见的时间复杂度空间复杂度排序算法的时间复杂度冒泡排序 ...
[联邦学习] FedAvg聚合算法详解及代码实现
该文章首发于若绾 [联邦学习] FedAvg聚合算法详解及代码实现,转载请标注出处. 论文原文:Communication-Efficient Learning of Deep Networks fr ...
KMP算法详解及代码
KMP算法详解及代码 KMP算法详解及代码定义及应用理论基本概念 next 数组总结注意代码 KMP算法详解及代码最近正好在看字符串相关的算法内容,就顺便把KMP算法回顾了一下.相应的代 ...

gdbt java_GBDT算法详解与代码实现

gdbt java_GBDT算法详解与代码实现相关推荐

最新文章

热门文章