LambdaMART的源码分析：一（MART：回归树)

2014-12-31 17:39 508人阅读评论(0) 收藏举报

本文章已收录于：

分类：

learning to rank（6）

作者同类文章X

参考论文:
From RankNet to LambdaRank to LambdaMART: An Overview（公式主要引用这个）

GREEDY FUNCTION APPROXIMATION: A GRADIENT BOOSTING MACHINE （MART的思想）

Adapting boosting for information retrieval measures

回归树：

1.思想(参考李航的《统计学习方法》的5.51节CART生成)

注意：这里的回归树，每次split的时候，都是为了选择最优的feature和切分点，这里的切分点，只会按照该feature,把数据集一分为二

2.回归树实现（ciir.umass.edu.learning.tree.RegressionTree 二叉树）

参数介绍：

int nLeaves //控制分裂的次数，这个次数是按照节点来算的，而不是按照层数来计算的，例如，2个叶子的时候，分裂1次；3个叶子的时候，分裂2次；4个叶子的时候，分裂3次。N个叶子，分裂N-1次。

DataPoint[] trainingSamples //训练的数据点

double[] labels //这里的lables就是y值，在lambdaMART里为lambda值

FeatureHistogram hist,

int minLeafSupport //控制分裂的次数，如果某个节点所包含的训练数据小于2*minLeafSupport ，则该节点不再分裂。

fit方法

根据输入的数据以及lable值，生成回归树。

辅助类：

ciir.umass.edu.learning.tree.FeatureHistogram来选择每次split时的最优feature和最优划分点

construct方法：

sum[i][j] ：指定feature i 的所有值（训练数据中出现的值），每个j代表一个训练数据中出现的一个值,

sum[i][j]的值为feature i 的所有小于某个指定值（该值由threshold[j]提供）的训练数据 datapoint的label（该算法里为lambda）之和。

count[i][j]:

指定feature i 的所有值（训练数据中出现的值），每个j代表一个训练数据中出现的一个值,

sum[i][j]的值为feature i 的所有小于某个指定值（该值由threshold[j]提供）的训练数据 datapoint的总数。

update方法：

用新的label更新sum[i][j]

findBestSplit方法：

a.选取feature作为划分的备选（可全选，可选部分）。

b.选取最优feature和最优划分点

计算每个feature的每个划分点，

double S = sumLeft * sumLeft / countLeft + sumRight * sumRight / countRight;

最小的S即为最优feature和最优划分点s(该s是feature的具体值)。

sumLeft是该节点下某个feature的值小于指定值（备选s）的所有训练数据的lambad之和。

countLeft是该节点下某个feature的值小于指定值（备选s）的所有训练数据的总数。

sumRight 是该节点下某个feature的值大于等于指定值（备选s）的所有训练数据的lambad之和。

countRight是该节点下某个feature的值大于等于指定值（备选s）的所有训练数据的总数。

这里非常不理解，参考CART的资料，均不是按照这种方式来分裂的，希望有朋友能够帮忙解释一下

int countLeft = count[i][t];
int countRight = totalCount - countLeft;

double sumLeft = sum[i][t];
double sumRight = sumResponse - sumLeft;
double S = sumLeft * sumLeft / countLeft + sumRight * sumRight / countRight;
if(cfg.S < S)
{
cfg.S = S;
cfg.featureIdx = i;
cfg.thresholdIdx = t;
}

通过学习LambdaMART的思路，构建树的时候，输入为（xi,lambdai）,其中lambdai代表着对xi的评分（影响排序结果，是增大还是减少）。

最好的划分点，就是把增大的划分到一起（全部为正值，相加结果为sumA），减少的划分到一起（全部为负值，相加结果为sumb）.

此时的sumA*sumA/countA+sumB*sumB/countB为最大。

因此，这里的S的含义为:该划分点尽量把正值和负值区分开。正值表示：后续评分调大；负值表示:后续评分调小；

lambdai就是si从newTree中获取的值，表示si的值如何调整才能满足C最大(类似梯度)。

C表示的是排序后的NDCG，求其最大值。

Sim=Sim-1+lambdai

Sim-1为经过m-1棵树之后，i的评分；

Sim为经过m棵树之后，i的评分；

lambdai就是第m棵树对i的影响，决定了评分是增大，还是减少

LambdaMART的源码分析：一（MART：回归树)相关推荐

从源码分析TreeSet集合（树集）
从源码分析TreeSet 简介构造方法 TreeSet() TreeSet(Comparator<? super E> comparator) TreeSet(Collection< ...
LambdaMART的源码分析：二（LambdaMART的流程)
参考论文: From RankNet to LambdaRank to LambdaMART: An Overview(公式主要引用这个) GREEDY FUNCTION APPROXIMATION: ...
【机器学习经典算法源码分析系列】-- 逻辑回归
1.逻辑回归(Logistic Regression)又常被成为"逻辑斯蒂回归",实质上是一个二元分类问题. 逻辑回归代价函数: 代价函数导数: Matlab实现: 采用matla ...
Ranklib部分源码分析
Ranklib部分源码分析LambdaMARTRandomForest 声明关于Ranklib 主框架Evlauatorjava 程序主入口main函数训练器evaluate函数预测test函数 ...
SpringBoot-web开发(四): SpringMVC的拓展、接管（源码分析）
[SpringBoot-web系列]前文: SpringBoot-web开发(一): 静态资源的导入(源码分析) SpringBoot-web开发(二): 页面和图标定制(源码分析) SpringBo ...
Yolov3Yolov4网络结构与源码分析
Yolov3&Yolov4网络结构与源码分析从2018年Yolov3年提出的两年后,在原作者声名放弃更新Yolo算法后,俄罗斯的Alexey大神扛起了Yolov4的大旗. 文章目录论文汇总 ...
android字符显示流程图,Android应用层View绘制流程与源码分析
1 背景还记得前面<Android应用setContentView与LayoutInflater加载解析机制源码分析>这篇文章吗?我们有分析到Activity中界面加载显示的基本流程原 ...
MyBatis 源码分析 - SQL 的执行过程
本文速览本篇文章较为详细的介绍了 MyBatis 执行 SQL 的过程.该过程本身比较复杂,牵涉到的技术点比较多.包括但不限于 Mapper 接口代理类的生成.接口方法的解析.SQL 语句的解析.运 ...
android(cm11)状态栏源码分析（一）
版权声明:您好,转载请留下本人博客的地址,谢谢 https://blog.csdn.net/hongbochen1223/article/details/50216563 (一):写在前面最近由于工 ...

LambdaMART的源码分析：一（MART：回归树)

LambdaMART的源码分析：一（MART：回归树)相关推荐

最新文章

热门文章