1. RankNet的基本思想

RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。

2. 方法流程

首先，我们要明确RankNet方法的目的就是要学习出一个模型，这个模型就是给文档算法的函数f(d, w)。其中d为文档特征，w为模型参数。

输入：query的许多个文档结果，每个文档需要人为标注得分，等分越高的说明排名越靠前；

输出：打分模型f(d, w)。

Step 1：把query的结果分成pair，计算pair中排名的概率。在pair中，如果Ui排在Uj的前面，概率为：

【注： RankNet是一种Pairwise方法, 定义了文档对<A, B>的概率(假设文档A, B的特征分别为s i ,s j )，其中是神经网络的输出。】

而Ui排在Uj的前面的真实概率计算为：

其中Sij=1表明Ui真实情况就是排在Uj的前面；否则，就是Ui排在Uj的后面。

【即：如果文档A比文档B和查询q更加相关, 则目标概率: =1, 如果文档B比文档A更相关, 目标函数 =0, 如果A和B同样相关, 则 =0.5.】

Step 2：交叉熵作为损失函数。

带入有

这个损失函数是用来衡量Pij和Pij_的拟合程度的，当两个文档的不相关时，给与了一定的惩罚，让它们分开。RankNet算法没有使用学习排序中的一些衡量指标直接作为损失函数的原因在于，它们的函数形式都不是很连续，不太好求导，也就不太好用梯度下降法。而交叉熵的函数形式比较适合梯度下降法。

Step 3：梯度下降法更新迭代求最优的模型参数w。显然，我们需要设置一定的学习步长，不断的更新学习新的w，具体公式如下：

后面就是求损失函数C关于w的偏导计算公式了，如下：

上式中，得分s关于w的偏导和具体的学习模型有关，原始的RankNet方法使用的是神经网络模型。这个需要具体模型，具体分析。

这样我们便直到了如何通过梯度下降法来求RankNet中的打分模型了~

最后我们说一下RankNet算法的一大好处：使用的是交叉熵作为损失函数，它求导方便，适合梯度下降法的框架；而且，即使两个不相关的文档的得分相同时，C也不为零，还是会有惩罚项的。

参看文献：

【1】http://demo.netfoucs.com/puqutogether/article/details/42124491

【2】http://www.tuicool.com/articles/EnEnYv

【3】Learning to Rank using Gradient Descent

RankNet——基本思想相关推荐

员外带你读论文：From RankNet to LambdaRank to LambdaMART: An Overview
严格来说,这并不是一篇论文,只是一个 ,里面系统的介绍了三个比较著名的排序模型 ,链接 Rank[1] 本篇博文将分析总结下这三个排序模型.其参考的代码RankNet.LambdaRank[2],L ...
RankNet，LambdaRank，LambdaMart
1. RankNet RankNet是2005年微软提出的一种pairwise的Learning to Rank算法,它从概率的角度来解决排序问题.RankNet的核心是提出了一种概率损失函数来学习R ...
RankNet - LambdaRank - LambdaMART
RankNet -> LambdaRank -> LambdaMART Ranking 问题的常见的评价指标如NDCG.MAP等,都是不平滑.不连续.无法求梯度,因此不能直接用梯度下降法求 ...
算法设计思想（5）— 递归法
1. 递归概念递归 Recursion是指在函数的定义中使用函数自身的方法,直观上来看,就是某个函数自己调用自己. 递归有两层含义: 递归问题必须可以分解为若干个规模较小.与原问题形式相同的子问 ...
卷积神经网络之卷积计算、作用与思想深度学习
博客:blog.shinelee.me | 博客园 | CSDN 卷积运算与相关运算在计算机视觉领域,卷积核.滤波器通常为较小尺寸的矩阵,比如3×33×3.从这个角度看,多层卷积是在进行逐层映射,整 ...
分治算法的设计思想（二分检索、二分归并排序）
分治策略思想: 将原问题划分或者归结为规模较小的子问题. 递归或迭代求解每一个问题. 将子问题的解综合得到原问题的解. 性质: 子问题与原问题具有相同的性质. 子问题的求解彼此独立. 划分时子问题的规 ...
AI框架精要：设计思想
AI框架精要:设计思想本文主要介绍飞桨paddle平台的底层设计思想,可以帮助用户理解飞桨paddle框架的运作过程,以便于在实际业务需求中,更好的完成模型代码编写与调试及飞桨paddle框架的二次 ...
算法设计思想（3）— 迭代法
1. 迭代法基本思想迭代法的实现,一般需要确定以下三个要点. 1.1 确定迭代变量: 迭代变量一般就是要求解的问题的解,利用迭代递推公式可以不断地由旧值递推出新值.根据问题的不同,迭代变量可以是一个 ...
算法设计思想（2）— 贪婪法
1. 贪婪法定义贪婪法,又称贪心算法,是寻找最优解问题的常用方法,这种方法模式一般将求解过程分成若干个步骤,但每个步骤都应用贪心原则,选取当前状态下最好的或最优的选择(局部最有利的选择),并以此希望 ...

RankNet——基本思想

1. RankNet的基本思想

2. 方法流程

RankNet——基本思想相关推荐

最新文章

热门文章