推荐算法-GBDT与LR算法融合

什么是GBDT算法？

GBDT算法是boosting算法中的一种，这种算法的特点是，由多个弱分类算法组成，并且下级的弱分类器是依赖上级分类器的。

GBDT算法依赖CART算法

cart算法的目标是找到一个分割点使得分割后的两个子集合内部产生的方差要最小。公式如下：

通过上面的方式可以产生m个决策区域，而决策的过程其实就是根据输入条件找到符合条件的决策区域，该区域的平均值就是预测值。

GBDT算法的依赖于CART算法，但又不同于CART算法。

怎么说呢，GBDT算法树的形成过程是利用了和CART算法一样的原理，也就是找可以形成最小方差的分割点。

但是预测过程是不一样点的，GBDT是不断累积每层产生的残差得到的预测。

具体的GBDT算法介绍可以参考：https://blog.csdn.net/zpalyq110/article/details/79527653

GBDT算法为什么要与LR算融合使用呢？又是怎么融合使用的？

我们知道LR算法使用来做分类预测的，但是这个算法需要众多的特征作为输入条件。

而GBDT算法就可以帮助找到这样的特征组合，节省人工寻找特征组合的过程。

由上图所示，树的叶子节点将作为LR的特征向量，样本所落的叶子节点为1，其余的节点为0。通过上面的变化特征的维度表多了，数值化的数据也转化成了类别化的数据，有利于LR模型进行分类。

项目代码见下面的连接：

链接：https://pan.baidu.com/s/1di2c1NEr4qXLS8cQZVHiig
提取码：gudq

推荐算法-GBDT与LR算法融合相关推荐

CTR预估中GBDT与LR融合方案
1. 背景 CTR预估(Click-Through Rate Prediction)是互联网计算广告中的关键环节,预估准确性直接影响公司广告收入.CTR预估中用的最多的模型是LR(Logistic R ...
GBDT + LR模型融合
n)[1],LR是广义线性模型,与传统线性模型相比,LR使用了Logit变换将函数值映射到0~1区间[2],映射后的函数值就是CTR的预估值.LR这种线性模型很容易并行化,处理上亿条训练样本不是问题, ...
杨鹏谈世纪佳缘推荐算法：基于Spark GraphX，弃GBDT和LR用FM
杨鹏谈世纪佳缘推荐算法:基于Spark GraphX,弃GBDT和LR用FM 发表于2015-09-30 09:53| 1447次阅读| 来源CSDN| 2 条评论| 作者杨鹏机器学习推荐算法 ...
推荐系统 | 基础推荐模型 | GBDT+LR模型 | Python实现
基础推荐模型--传送门: 推荐系统 | 基础推荐模型 | 协同过滤 | UserCF与ItemCF的Python实现及优化推荐系统 | 基础推荐模型 | 矩阵分解模型 | 隐语义模型 | PyTor ...
深入理解GBDT二分类算法
我的个人微信公众号: Microstrong 微信公众号ID: MicrostrongAI 微信公众号介绍: Microstrong(小强)同学主要研究机器学习.深度学习.计算机视觉.智能对话系统相关 ...
集成学习-Boosting集成学习算法GBDT
GBDT算法的核心为:先构造一个(决策)树,然后不断在已有模型和实际样本输出的残差上再构造一颗树,依次迭代. 目录 Decistion Tree(决策树) Gradient Boosting(梯度提升 ...
深入解析GBDT二分类算法（附代码实现）
目录: GBDT分类算法简介 GBDT二分类算法 2.1 逻辑回归的对数损失函数 2.2 GBDT二分类原理 GBDT二分类算法实例手撕GBDT二分类算法 4.1 用Python3实现GBDT二分类 ...
推荐算法（二）--算法总结
转自:https://www.jianshu.com/p/1464eab67711 推荐算法分类 1 个性化推荐 1.1 基于用户推荐(Demographic-based Recommendation ...
推荐常用的排序学习算法——BPR（贝叶斯个性化排序）
文章目录 1. 排序学习 1.1 优势 1.2 排序学习在推荐领域的作用 1.3 排序学习设计思路 1.3.1 单点法(Pointwise) 1.3.2 配对法(Pairwise) 1.3.3 列表法 ...
基于CB，CF，LR算法的推荐系统实现
在开篇之前,我们先来说下上次CB,CF算法实现粗的推荐系统,我们知道,CB,CF算法只是在召回阶段使用,这种推荐出来的item毕竟是粗排的,这篇文章正是对上图画上一个圆满的句号,将CB,CF召回回来的 ...

推荐算法-GBDT与LR算法融合

推荐算法-GBDT与LR算法融合相关推荐

最新文章

热门文章