Bert系列：论文阅读Learning-to-rank with bert in tf-ranking

2024-06-04 09:35:21

背景：

首次使用bert做query和documents的排序工作。
做排序的通用方法：
构建一个分类模型，目标是该doc是否与query相关，预测的结果用于排序，也就是说分类模型得到的是排序文档的候选集。但相比于pairwiese和listwise，这种方式做排序没有考虑doc之间的相关性。
这篇论文，提出TFR-BERT，通用的doc排序方法。用TF预训练了一个query-doc对的bert模型。

TFR-BERT

构建query - doc对，这样每一个query跟doc作为两个句子，拼接一起，如下：
[CLS] query text [SEP] passage text [SEP]
举个例子：
[CLS] 阿里晋升 [SEP] 4月30号，阿里公布晋升结果和调薪情况 [SEP]

Bert的pooled输出结果作为rank 模型的输入，这样就构建了TF-Ranking模型。这个框架提供了pointwise、pairwise、listwise loss，这样能跟别的LTR方法做比较。

这里有两个概念：

passage re-ranking task:对于每一个query，通过BM25从所有page中选出top1000，然后再重排序，找出跟query最相关的page。
passage full-ranking task: 从8千万page中直接诶排序，选出出最相关的doc。（如何保证性能？）

五个实验：

1和2是从loss上做优化，3是将召回和排序做ensemble，，4和5主要是模型的ensemble。
1.re-ranking, TF-Ranking + BERT, softmax loss。
2.(re-ranking): TF-Ranking + BERT (Ensemble of pointwise, pairwise and listwise losses)
3. (full ranking): DeepCT Retrieval + TF-Ranking BERT Ensemble
4. (re-ranking): TF-Ranking Ensemble of BERT, RoBERTa and ELECTRA
5. (full ranking): DeepCT + TF-Ranking Ensemble of BERT, RoBERTa and ELECTRA
实验结果显示：
re-rank:
1.从loss作为变量，进行对比，loss ensemble的效果最好。
2.从模型角度，ensemble的模型效果最好，不过不是太显著。

读后，就觉得好像没啥用呢…只是打比赛能看看，很难应用到工作中。

Bert系列：论文阅读Learning-to-rank with bert in tf-ranking相关推荐

Transformer系列论文阅读
这是博主在五一期间对Transformer几篇相关论文阅读的小笔记和总结也借鉴参考了很多大佬的优秀文章,链接贴在文章下方,推荐大家前去阅读该文章只是简单叙述几个Transformer模型的基本框架 ...
dqn系列梳理_系列论文阅读——DQN及其改进
DQN 作为DRL的开山之作,DeepMind的DQN可以说是每一个入坑深度增强学习的同学必了解的第一个算法了吧.先前,将RL和DL结合存在以下挑战:1.deep learning算法需要大量的lab ...
[论文阅读] Learning Loss for Active Learning
论文地址:https://arxiv.org/abs/1905.03677 发表于:CVPR'19 Abstract 深度神经网络的性能随着更多的标注数据而提高.问题是用于标注的预算是有限的.解决这个 ...
论文阅读 Learning Motion in Feature Space: Locally-Consistent Deformable Convolution Networks
Learning Motion in Feature Space: Locally-Consistent Deformable Convolution Networks for Fine-Graine ...
论文阅读 Learning Transferable Visual Models From Natural Language Supervisio
Learning Transferable Visual Models From Natural Language Supervision Computer Vision and Pattern Re ...
定位系列论文阅读-RoNIN（二）-Robust Neural Inertial Navigation in the Wild: Benchmark, Evaluations
这里写目录标题 0.Abstract 0.1逐句翻译 0.2总结 1. Introduction 1.1逐句翻译第一段(就是说惯性传感器十分重要有研究的必要) 第二段(惯性导航是非常理想的一个导航方 ...
[论文阅读] Learning without Memorizing
论文地址:https://link.springer.com/chapter/10.1007/978-3-319-46493-0_37 代码:https://github.com/stony-hub/ ...
[2022_CVPR_LAV]论文阅读learning from all vehicles
LAV: learning from all vehicles 这篇论文v2版本已经发布,待看数据集太大暂时无法全部下载,具体的数据集内容查看mdb文件,待看主要是大概看了一遍代码,跟以往IL-b ...
SSL for Medical Image Classification系列论文阅读笔记 -- ACPL
ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification(CVPR 2022) C ...
【定位系列论文阅读】-Indoor Visual Positioning Aided by CNN-Based Image Retrieval: Training-Free(一)
文章目录 0.论文速览 0.1 文章信息 0.2 概述 0.2.1 研究什么东西 0.2.2 评价 1.Abstract 1.1 逐句翻译 1.2 总结 2.INTRODUCTION 2.1 逐句翻译 ...

最新文章

热门文章