全面理解搜索Query：当你在搜索引擎中敲下回车后，发生了什么？

2024-05-16 19:03:06

1. 前言

Query理解（QU，Query Understanding），简单来说就是从词法、句法、语义三个层面对query进行结构化解析。这里query从广义上来说涉及的任务比较多，最常见的就是我们在搜索系统中输入的查询词，也可以是FAQ问答或阅读理解中的问句，又或者可以是人机对话中用户的聊天输入。本文主要介绍在搜索中的query理解，会相对系统性地介绍query理解中各个重要模块以及它们之间如何work起来共同为搜索召回及排序模块服务，同时简单总结个人目前了解到业界在各个模块中的一些实现方法。

2. 相关概念

2.1 NLP

自然语言处理（NLP，Natural Language Processing）是集语言学、统计学、计算机科学，人工智能等学科于一体的交叉领域，目标是让计算机能在处理理解人类自然语言的基础上进一步执行结构化输出或语言生成等其他任务，其涉及的基础技术主要有：词法分析、句法分析、语义分析、语用分析、生成模型等。诸如语音识别、机器翻译、QA问答、对话机器人、阅读理解、文本分类聚类等任务都属于NLP的范畴。

这些任务从变换方向上来看，主要可以分为自然语言理解（NLU，Natural Language Understanding）和自然语言生成（NLG，Natural Language Generation）两个方面，其中NLU是指对自然语言进行理解并输出结构化语义信息，而NLG则是多模态内容（图像、语音、视频、结构/半结构/非结构化文本）之间的相互生成转换。

一些任务同时涵盖NLU和NLG，比如对话机器人任务需要在理解用户的对话内容（NLU范畴）基础上进行对话内容生成（NLG范畴），

全面理解搜索Query：当你在搜索引擎中敲下回车后，发生了什么？相关推荐

搜索-Query理解(全)
Query 模块: 纠错分词紧密度同义词词权重实体词识别意图识别长尾 query 的多样性对于搜索系统来说是一个很大的挑战,原因有: ❶ 存在输入错误.例如上图中的错误 query &q ...
python大数据搜索_【大数据搜索】JZSearch大数据搜索引擎
大数据的特点有四个层面:第一,数据体量巨大.从TB级别,跃升到PB级别:第二,数据类型繁多.网络日志.视频.图片.地理位置信息等等.第三,价值密度低.以视频为例,连续不间断监控过程中,可能有用的数据仅 ...
如何解决Chrome浏览器多功能搜索框搜索时不能调用百度搜索引擎
2019独角兽企业重金招聘Python工程师标准>>> 如何解决Chrome浏览器多功能搜索框搜索时不能调用百度搜索引擎 http://www.baidu.com/s?ie=UTF- ...
c语言在txt文件中搜索关键词_网络推广外包—网络推广外包如何在搜索引擎中体现关键词优化效果...
在当下的互联网时代中,没有企业愿意远离这种流量获取快.用户需求大.宣传推广能力见效快的搜索引擎,况且通过互联网的帮助下,企业网站能够通过搜索引擎进行关键词优化后获取更多的转化率,增加企业交易额度的提升 ...
百度搜索引擎中的特殊符号和搜索语句
2019独角兽企业重金招聘Python工程师标准>>> 一.引号双引号和书名号都属于精确匹配搜索,如果输入的关键词很长,百度在经过分析后,会将该词拆分搜索.如果您对这种情况不满意 ...
技术博客|第16期:个性化视频搜索引擎:排序篇(下)
模型结构决定了信息提取的效率,在搜广推领域有大量的相关研究.我们借鉴业内排序模型的优秀实践并结合视频搜索的特点,设计了一套以深度编码网络为基础提取信息.适合多目标优化的多任务专家网络以及解决偏差问题的 ...
python利用Trie(前缀树)实现搜索引擎中关键字输入提示（学习Hash Trie和Double-array Trie）...
python利用Trie(前缀树)实现搜索引擎中关键字输入提示(学习Hash Trie和Double-array Trie) 主要包括两部分内容: (1)利用python中的dict实现Trie: ( ...
微信搜索引擎中索引的分布式演进
一.引言提起分布式,不少人能很清晰的阐述paxos.CAP等理论,但我们在遇到一个具体的分布式问题时,很少有人能知道如何做出一个"好"的设计.对于当前的很多分布式数据系统,包括开 ...
搜索引擎中同义词的挖掘及使用
用户在使用搜索引擎过程中,由于表述不清晰或者查询词与索引库描述不一致,为了能召回更多更优质的结果展示给用户.这时就需要对用户查询进行分析,包括词权.同义词.纠错等技术,对原查询进行处理.通常搜索引擎中 ...
搜索引擎优化基础，第 1 部分: 提高站点在搜索引擎中的排名
运用白帽技术实现有机 SEO L. Jennette Banks (ljbanks@us.ibm.com), 搜索引擎优化专家, IBM 作为一名 Web 站点开发人员,使您的 Web 站点得到搜索引 ...

最新文章

热门文章