Ranking relevance in yahoo search (2016)论文阅读
文章链接
https://www.kdd.org/kdd2016/papers/files/adf0361-yinA.pdf
- abstract
点击特征在长尾query上的稀疏性问题
基础相关性三大技术:排序函数,语义匹配特征,query改写
- introduction
问题:
1)直接文本匹配的问题:query和doc的语义差异,query中的‘how much’如何匹配doc中的‘price’;
2)大量的长尾query使得点击模型失效;
3)用户视搜索引擎为智能问答系统,希望一键找到答案。
综合相关性:
时效性query:‘safest cars’
地域性query:‘walmart’,‘restaurant’
本文重点:
1)排序函数设计:learning to rank,考虑上下文的rerank
2)三种语义匹配特征,将头部query的点击特征迁移至长尾query:点击相似度(click similarity),深度语义匹配(deep semantic matching),转译文本匹配(translated text matching)
3)query改写:针对长尾query
4)时效性,地域性排序
- background
——overview of architecture
按doc分片索引,并行召回,打分,去重,基础排序(core ranking)
——ranking features
网络拓扑(web graph):通过网页拓扑连接关系决定doc质量或热度。pagerank;与已知优劣网页的距离
doc statistics:网页各域(field)的词数
doc classifier:spam/adult/langrage/main topic/quality/type(navigational,informational)
query features:包含词数;query频次;各词词频(tf);有点比(ctr)
text match:各域文本匹配特征(title, body, abstract, keywords, anchor text, url),可以是计数或更复杂(例如BM25);query各词邻近度(proximity),在doc正文中词之间越近越好
topical matching:主题相似度
click:click,first click,last click,long dwell time click,only click
time:新鲜度(freshness);inlink和outlink的新鲜度
——evaluation of search relevance
dcg@1,3,5;置信度:wilcoxon t-test方法给出p-value
三个query集合:高频(top),低频(torso),长尾(tail)。本文重点关注低频和长尾query的效果。
- machine learned ranking
基础排序(core ranking)使用GBDT model,logistic loss:LogisticRank
使用perfect,excellent,good信息放大梯度信息有更大提升
——core ranking
perfect/excellent/good对应scale:3/2/1
LogisticRank >> GBRank, LambdaMart尤其在高频query上
GBRank(混合了pairwise loss和pointwise loss) > LambdaMart(listwise loss,只学习doc的相对顺序)
长尾query上:GBRank接近LogisticRank,LogisticRank在去除bad结果效果明显
在LTR challenge data set上DCG@5:LambdaMart > GBRank > LogisticRank,原因是商用搜索引擎数据中有明显更多的bad query-doc pair
定义基线为‘background’部分所述特征+LogisticRank。
——contextual reranking
在少量数十个top results上提取上下文特征:
rank:对url的rank增序排列,实际中使用rank值效果比直接使用core ranking的分数好,因为索引更新时分数会漂移
mean:top30 url的特征值均值
variance:top30 url的特征值方差
normalized feature:使用均值和方差将特征归一化
topic model feature:聚合top30 url的主题向量作为query的主题向量,分别算query-url的主题相似度
rerank的目的在于区分perfect/excellent/good,core ranking目的在于去除bad results
——implementation and deployment
core ranking部署在index节点上,rerank在汇集节点上
- semantic matching features
长尾query上有点击稀疏性问题,相关doc的锚文本也稀少,另外有query-doc在词汇上的不匹配(比如‘how much’和‘price’),所以从点击日志中提取三种重要的语义匹配特征:点击相似度(click similarity),深度语义匹配(deep semantic matching),转译文本匹配(translated text matching)
——click similarity,CS
VSM具有词汇不匹配的问题。因此从点击二部图(bipartite click graph)中提取query和doc的向量表示,都使用query的词典为各维度含义。具体方法:
使用点击数作为点击二部图中边的权重,提取doc的co-click query作为doc的表示,参考query的co-click doc向量表示将doc vector中的terms传递给query,轮流迭代。
每轮迭代只保留top-k个term,在数轮迭代后qv(query vector)和dv(doc vector)可收敛。
用qv和dv的內积作为click similarity。
每月更新,qv保存在汇集节点,dv保存在正排索引中。
——translated text matching,TTM
click similarity不能计算点击日志之外的query和doc。统计机器翻译(statistical machine translation,SMT)将query和doc互译可作为启发,用户解决词汇差异。
使用clicked query-title pair做一个翻译模型(translation model)。用此模型将q翻译成k个alternate q,在title词典上表示。对于每个alternate q,都和d算一个cosine similarity值,最后将k个值取max/avg/median作为最终query-doc的相似度。
试验取k=10,将k个值max是实测中最好的,即EXT_Q_TLM1特征;另外有一个AGG_Q_TLM特征,使用title LM下的rewritten queries和query LM下的rewritten titles计算。
为了控制延时实际服务中使用cache,对于cache miss的使用裁剪过的translation model进行在线计算
——deep semantic matching,DSM
CS和TTM都在word级别,deep model可以提取语义和上下文信息,泛化到低频和长尾query上。
使用DSSM模型。使用一年的数据,用简单规则去除spamming queries,拼session后去掉abandon(即无任何点击)的session。使用10-slot窗口从上往下滑动,first slot作为d+,其余9个是d-。doc的输入特征除了title还要考虑site名称(比如wiki, weather, imdb),按照DSSM的做法,3-letter shingling BOW,将embedding的內积作为特征。
实际部署中,正排中存储预算好的title和site的embedding,在线预估query的embedding,然后算相似度。
- query rewriting
为了性能,大型搜索引擎会在recall阶段将包含所有query terms的doc预筛选出来。词汇差异导致相关doc不通过筛选。rewriting可用来改善这一问题。
——methodology
分两个阶段learning phase和decoding phase。
learning phase,从query-doc中学习phrase级别的翻译:
co-click query-title pairs作为平行语料,按照典型的SMT过程:词对齐(word alignment),phrase提取,phrase打分。由于title长于query,需要控制null-word alignment
decoding phase,为query生成候选:
为每个feature function算出candidate q(即qc)和q的打分,然后对所有feature functions打分加权求和(权重可拍可学),找出分最高的qc作为rewritten query(即qw)。
常用的feature function:
1)learning phase学到的:q的LM分数, word panalty,phrase penalty, distortion
2)query/rewrite query feature functions:词数,停用词数,LM分数,query频次,包含词的平均长度,分别作用在query/rewrite query上
3)pair feature functions:二部图上q和qc共现url的Jaccard similarity,q和qc频次上的差异,词级别q和qc的cosine similarity,q和qc词数上的差异,q和qc共有的词,q和qc在LM分数上的差异,q和qc在停用词数上的差异,q和qc在包含词的平均长度的差异
——ranking strategy
将q和qw召回的docs合并,重复的doc取两者的最高分。使用线上搜索效果评估。
- comprehensive experiments
baseline,+3features,+rewrite
- recency-sensitive ranking
结合大量无时效性标注数据和少量时效性标注数据训练。用一个分类器判定query-doc pair时效性高低,如果是,训练数据标注增加时效性得分。训练GBDT ranker时先训练相关性,补充更多树学习时效性分数。
- location-sensitive ranking
【TODO】
- conclusion
高效、实用,对垂直搜索引擎也合适。
转载于:https://www.cnblogs.com/yaoyaohust/p/7862074.html
Ranking relevance in yahoo search (2016)论文阅读相关推荐
- Transformer Memory as a Differentiable Search Index论文阅读
文章目录 简介 相关工作 可区分搜索指数DSI 索引策略 索引方法 文档表示策略 为检索表示docids 训练和优化 实验 基线 实验结果 结论 题目:Transformer Memory as a ...
- 《Regularized Evolution for Image Classifier Architecture Search》论文阅读笔记
AmoebaNet 这篇文章还是出自Google Brain,是对他们之前发表在CVPR2018的论文<Learning Transferable Architectures for Scal ...
- 【论文阅读报告】 Real-time Personalization using Embeddings for Search Ranking at Airbnb
主要内容 Airbnb作为全球最大的住宿网站之一,其团队希望构建一个能够实时为用户提供个性化的房源排名的系统. Airbnb利用word2vec模型针对用户的长期兴趣和短期兴趣分别对房源和用户做了嵌入 ...
- 论文阅读——TR-GAN: Topology Ranking GAN with Triplet Loss for Retinal Artery/Vein Classification
论文阅读--TR-GAN: Topology Ranking GAN with Triplet Loss for Retinal Artery/Vein Classification 基于对抗神经网络 ...
- 【论文阅读】Mastering the game of Go with deep neural networks and tree search
[论文阅读]Mastering the game of Go with deep neural networks and tree search 1 本文解决了什么问题? 在所有的 完全信息博弈 中, ...
- [论文阅读] (07) RAID2020 Cyber Threat Intelligence Modeling Based on Heterogeneous GCN
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- 推荐系统公平性论文阅读(六)
做为最后一篇论文阅读记录,我决定对我目前为止粗读和精读的论文进行一次总结,然后陈述一些个人对该研究领域的见解和想法. 论文总结归纳 推荐系统中的偏差和不公平现象是随着推荐算法的诞生就与生俱来的,而不是 ...
- 3D目标检测论文阅读多角度解析
3D目标检测论文阅读多角度解析 一.前言 CNN(convolutional neural network)在目标检测中大放异彩,R-CNN系列,YOLO,SSD各类优秀的方法层出不穷在2D图像的目标 ...
- 【论文阅读】 Object Detection in 20 Years: A Survey
[论文阅读]Object Detection in 20 Years: A Survey 摘要 论文介绍 1.目标检测 2.目标检测的里程碑 3.数据集 4.性能度量 摘要 本篇博客参考Object ...
最新文章
- 吴琦:AI研究一路走到“黑”, 从VQA到VLN
- 207. Course Schedule 210. Course Schedule II
- 黑客用python还是ruby-Python、Lua和Ruby之优劣
- nstall.php a data,通过Typecho install.php 后门理解PHP对象注入 - 嘶吼 RoarTalk – 回归最本质的信息安全,互联网安全新媒体,4hou.com...
- 有些错误,即便时光倒流也无法弥补——《时光幻境》
- Java-线程间通信小结
- Java Web应用的生命周期
- 10.15 lzxkj
- (二叉树DFS)下落的树叶
- IOT(22)---NB-IoT、LoRa产业组织格局
- Android WifiManager.WifiLock 简介
- struts2:表单标签
- 嵌入式 Linux 入门(四、Linux 下的编辑器 — 让人爱恨交加的 vi )
- 自然语言处理(NLP)语义分析:“词汇级”语义分析【词义消歧、词义表示和学习】、“句子级”语义分析【浅层语义分析(语义角色标注)、深层语义分析】
- 从借呗借了100元,看背后的系统架构
- 黑马代码生成器2.5
- Nginx 联合创始人已被释放:“这是典型的敲诈,就这么简单”
- Unity 消息推送
- 摄影毁一生单反穷三代顺口溜_严锋老师谈HIFI:单反穷三代,hifi毁一生。这就对了...
- JavaScript相等与全等区别
热门文章
- Saltstack系列之一——安装篇
- win 下 安装 iphone 环境
- 美国公司欲联合大电脑商阻止绿坝推广
- php 数字转中文函数 1转一,一个阿拉伯数字转中文数字的函数-PHP教程,PHP函数
- Git错误:fatal: Not a git repository (or any of the parent directories)解决方法
- DSP编程技巧---C/C++与汇编语言的交互之-使用编译器的内联函数
- 天线的基本原理和概念
- 模型压缩的开源项目工具
- double转换为int以及浮点型相加损失精度问题
- Django REST framework API 指南(25):状态码