Sparse Retriever

Sparse Retriever使用经典的IR方法来搜索相关文档，例如TF-IDF和BM25等，这些传统检索方法使用稀疏表示来衡量术语匹配，因此将其称为Sparse Retriever。

Yadav, V., Sharp, R., & Surdeanu, M. (2018). Sanity Check: A Strong Alignment and Information Retrieval Baseline for Question Answering. https://arxiv.org/abs/1807.01836v1
————————————————
版权声明：本文为CSDN博主「北在哪」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43183860/article/details/121381192

Dense Retriever
稀疏检索不能解决术语不匹配问题，在问题与文档相似但不存在重复术语的情况下，稀疏检索会失去效果。过去几年，随着深度模型的发展，密集的语义表示逐渐用于检索，一定程度上解决了术语不匹配的问题。根据对问题和文档的编码方式以及对其相似性进行评分的不同，现代 OpenQA 系统中的密集检索器（Dense Retriever）大致可以分为三种类型：基于表示的检索器（

Representation-based Retriever）、基于交互的检索器（Interaction-based Retriever）和表示-交互检索器（Representation-interaction Retriever），如下图所示。
————————————————
版权声明：本文为CSDN博主「北在哪」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43183860/article/details/121381192

1）基于表示的检索器

也称为双编码器或双塔检索器，采用两个独立或共享参数的编码器（如 BERT）分别对问题和文档进行编码，并通过计算两个表示之间的单个相似度得分来估计它们的相关性。

2）基于交互的检索器

这种检索器同时将问题与文档一起输入模型，让它们之间进行令牌级的交互。

3）表示-交互检索器

将基于表示和基于交互的方法相结合，以实现高精度和高效率。

知识问答之信息检索-1相关推荐

知识问答(KBQA)两种主流方法：基于语义解析和基于信息检索的方法介绍
什么是知识问答基于知识的问答是以知识库为认知源,在知识库的基础上回答自然语言问题. 知识库(KB)是一个结构化数据库,其中包含形式<主题,关系,对象>的事实集合,每个事实都可以随附所谓的 ...
H. 知识图谱知识问答
H. 知识问答概述问答系统四大要素问题:是问答系统的输入答案:是问答系统的输出,除了文本表示的答案,有时也需要输出一组答案.候选答案的选择.甚至是多媒体信息智能体:问答系统的执行者,需要理解 ...
知识图谱学习笔记八（知识问答）
知识问答知识问答是一个拟人化的智能系统,接收使用自然语言表达的问题,理解用户的意图,获取相关的知识,通过推理计算形成相应的答案并反馈给用户. 知识问答的基本要素 1.问题,也就是问答系统的输入.(问 ...
知识图谱入门【九】- 知识问答
知识图谱入门 [一]- 认识图谱技术知识图谱入门 [二]- 知识表示与知识建模知识图谱入门 [三]- 知识抽取知识图谱入门 [四]- 知识挖掘知识图谱入门 [五]- 知识存储知识图谱入门 [ ...
知识图谱赵军学习笔记（十）--知识问答与对话
知识问答与对话知识图谱最直接和最重要的任务是满足用户的精确信息需求,提供个性化知识服务. 目前的问答只能事实型问题,不能很好地处理复杂问题.例如:为什么天是蓝色的.关注回答事实型问题的相关技术. 自 ...
【知识图谱赵军学习笔记】第十章知识问答与对话
第十章知识问答与对话自动问答概述知识问答知识问答技术概述基于语义解析的方法有监督方法语义组合模型语义辞典构造组合消歧模型无监督方法基于搜索排序的方法基于特征工程的方法问句特征 ...
知识图谱入门 (九) 知识问答
欢迎大家关注我的博客 http://pelhans.com/ ,所有文章都会第一时间发布在那里哦~ 本节对知识问答的概念做一个概述并介绍KBQA实现过程中存在的挑战,而后对知识问答主流方法做一个介绍. ...
知识图谱在信息检索中的应用_如何使用知识图谱增强信息检索模型？
©PaperWeekly 原创 · 作者|刘布楼学校|清华大学博士生研究方向|信息检索传统的信息检索模型中,文本通常使用词袋模型表示.该方法有两个较为明显的缺陷:1)只能通过 TF-IDF 等相 ...
信贷风控知识问答库（持续更新）
原文链接:信贷风控知识问答库(持续更新写了几篇关于风控求职或者从业的文章,吸引了不少同学的关注,也吊足了一些伙伴的胃口,为解答常见疑惑,现贴一个持续更新的风控问答链接:<信贷风控知识问答库&g ...

知识问答之信息检索-1

Sparse Retriever

1）基于表示的检索器

2）基于交互的检索器

3）表示-交互检索器

知识问答之信息检索-1相关推荐

最新文章

热门文章