Passage Re-ranking with BERT

task

有一个给定的问题，要给出答案分三个阶段
1、通过一个标准的机制从语料库中见多大量可能与给定相关的文档
2、passage re-ranking：对这些文档打分并重排序
3、分数前几的（前10、或前15等）的文档将会是这个问题答案的来源，用答案生成模型产出答案

这篇论文主要是研究第二个阶段

方法

要做的工作即是：对于一个询问qqq，一个候选文章did_idi，给出一个分数sis_isi

询问为句子A，限制在64个token内
文章为句子B，有文章截取，其长度与分隔符、询问的和最大不超过512个token

使用BERT_LARGE来做一个二分类网络，取最顶层的[CLS]作为句子的表示：来计算每个文章和询问的相关的概率，最后通关对这个概率排序来进入第三阶段

loss:

L=−∑j∈Jposlog⁡(sj)−∑j∈Jneglog⁡(1−sj)L=-\sum_{j\in J_{pos}}\log (s_j)-\sum_{j\in J_{neg}}\log (1-s_j) L=−j∈Jpos∑log(sj)−j∈Jneg∑log(1−sj)

JposJ_{pos}Jpos ：相关的文章
JnegJ_{neg}Jneg ：不相关的文章

实验

效果比之前的好很多

Passage Re-ranking with BERT相关推荐

BERT在美团搜索核心排序的探索和实践
为进一步优化美团搜索排序结果的深度语义相关性,提升用户体验,搜索与NLP部算法团队从2019年底开始基于BERT优化美团搜索排序相关性,经过三个月的算法迭代优化,离线和线上效果均取得一定进展.本文主要 ...
ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation
ERNIE-Search:通过自动态蒸馏将交叉编码器与双编码器桥接,用于密集通道检索 Yuxiang Lu, Yiding Liu, Jiaxiang Liu, Yunsheng Shi, Zheng ...
MT-BERT在文本检索任务中的实践
基于微软大规模真实场景数据的阅读理解数据集MS MARCO,美团搜索与NLP中心提出了一种针对该文本检索任务的BERT算法方案DR-BERT,该方案是第一个在官方评测指标MRR@10上突破0.4的模型 ...
2020年NLP所有领域最新、经典、顶会、必读论文
本资源整理了近几年,自然语言处理领域各大AI相关的顶会中,一些经典.最新.必读的论文,涉及NLP领域相关的,Bert模型.Transformer模型.迁移学习.文本摘要.情感分析.问答.机器翻译.文本 ...
大众点评搜索相关性技术探索与实践
搜索相关性用于衡量Query和Doc的相关程度,是搜索引擎的重要环节,本文主要讲述大众点评搜索团队在相关性计算上的技术探索和实践,通过多相似矩阵模型结构.多阶段训练等方法提升预训练模型在相关性问题上的 ...
多任务学习综述Multi-Task Deep Recommender Systems
Multi-Task Deep Recommender Systems: A Survey 最近看到一篇多任务学习的综述,觉得总结的不错,记录一下. 1. 简介推荐系统天然具有多任务学习的需求,以视 ...
Bert时代的创新：Bert应用模式比较及其它 | 技术头条
作者:张俊林,中国中文信息学会理事,中科院软件所博士.目前在新浪微博 AI Lab 担任资深算法专家.在此之前,张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队,以及在百度和用友担任技术经理及技术总 ...
Bert时代的创新：Bert应用模式比较及其它
来源:知乎本文约6900字,建议阅读10+分钟. 本文比较了Bert的不同应用模式,并分析了可能的NLP创新路径. 最近两个月,我比较关注Bert的领域应用现状,以及Bert存在哪些问题及对应的解决 ...

Passage Re-ranking with BERT

task

方法

实验

Passage Re-ranking with BERT相关推荐

最新文章

热门文章