1.搜索技术理论基础

1.1. 搜索引擎的发展历史

l萌芽：Archie、Gopher

l起步：Robot（网络机器人）的出现与spider（网络爬虫）

l发展：excite、galaxy、yahoo

l繁荣：infoseek（百度李彦宏曾是其核心开发人员），altaVista，Google和baidu。

Robot 网络机器人：自动在网络中运行，完成特定任务的程序（例如刷票器）

spider 网络爬虫：是一种特殊网络机器人，抓取（下载）并分析网络资源

1.2. 搜索技术应用场景

应用场景：

1、单机软件的搜索（word中的搜索）

2、站内搜索（baidu贴吧、论坛、京东、淘宝）

3、专业搜索引擎公司（谷歌、百度）

学习lucene对我们最主要的应用场景：站内搜索。

1.1. 搜索数据方法

1.1.1. 顺序扫描法

顺序扫描方法是先找到文件，然后在文件中找内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大就搜索慢。

我们可以通过一个例子来理解顺序扫描：

例如要查找内容中包含某一个字符串的文件，就是一个文档一个文档的“看”。然后每一个文档，从头看到尾。如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。

1.1.2. 倒排索引（重点）

倒排索引结构是根据内容（词语）找文档，倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它是在索引中匹配搜索关键字，由于索引内容量有限并且采用固定优化算法搜索速度很快，找到了索引中的词汇，词汇与文档关联，从而最终找到了文档。

我们可以再通过一个例子来理解倒排索引。

例如我们使用新华字典查询汉字，新华字典有偏旁部首的目录（索引）。我们查字首先查这个目录，找到这个目录中对应的偏旁部首，就可以通过这个目录中的偏旁部首找到这个字所在的位置页面（文档），而这个偏旁部首目录就是倒排索引结构的。

1.1.2.1. 倒排索引结构理解

现在有两篇文档：

Doc1: When in Rome, do as the Romans do.

Doc2: When do you come back from Rome?

Lucene会对以上两篇文档建立倒排索引

倒排索引结构如下图：

2.Lucene介绍

Lucene是使用java实现的全文检索库。

所以学习lucene还要先了解全文检索。

全文检索和搜索之间的联系，全文检索只是利用倒排索引结构实现的一种搜索技术。

1.1. 什么是全文索引

全文检索的概念：

全文检索，首先将要查询的目标文档中的词提取出来，组成索引，通过查询索引达到搜索目标文档的目的。这种先建立索引，再根据索引搜索文档的过程就叫全文检索（Full-text Search）。

1.2. 什么是Lucene

全文检索是一种思想或者说是一种架构，而lucene就是实现该架构的一门全文检索技术。

Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

Lucene就是全文检索的核心依赖库。它不能独立运行，只是提供给程序员，让程序员使用它实现全文检索的应用。

1.1. 为什么要学习Lucene

原来的方式实现搜索功能，我们的搜索流程如下图：

上图就是原始搜索引擎技术，如果用户比较少而且数据库的数据量比较小，那么这种方式实现搜索功能在企业中是比较常见的。

但是数据量过多时，数据库的压力就会变得很大，查询速度会变得非常慢。我们需要使用更好的解决方案来分担数据库的压力。

现在的方案（使用Lucene），如下图

为了解决数据库压力和速度的问题，我们的数据库就变成了索引库，我们使用Lucene的API的来操作服务器上的索引库。这样完全和数据库进行了隔离。而且索引库中的查询都是根据索引来查询，效率很快。

1.1. Lucene与搜索引擎的区别

全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统，包括建立索引、处理查询返回结果集、增加索引、优化索引结构等功能。例如：百度搜索、eclipse帮助搜索、淘宝网商品搜索等。

搜索引擎是全文检索技术最主要的一个应用，例如百度。搜索引擎起源于传统的信息全文检索理论，即计算机程序通过扫描每一篇文章中的每一个词，建立以词为单位的倒排文件，检索程序根据检索词在每一篇文章中出现的频率和每一个检索词在一篇文章中出现的概率，对包含这些检索词的文章进行排序，最后输出排序的结果。全文检索技术是搜索引擎的核心支撑技术。

Lucene和搜索引擎不同：

1、Lucene是一套用java或其它语言写的全文检索的工具包，为应用程序提供了很多个api接口去调用，可以简单理解为是一套实现全文检索的类库。

2、搜索引擎是一个全文检索系统，它是一个单独运行的软件系统。

1.2. Lucene官网

官网： http://lucene.apache.org/

1.1. Lucene主要包结构

3.Lucene全文检索的流程

1.1. 索引和搜索流程图

1、绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：

确定原始内容即要搜索的内容->获得文档->创建文档->分析文档->索引文档

2、红色表示搜索过程，从索引库中搜索内容，搜索过程包括：

用户通过搜索界面->创建查询->执行搜索，从索引库搜索->渲染搜索结果

1.1. 索引流程

索引流程也就是对文档索引的过程。也就是将用户要搜索的文档内容进行索引，索引存储在索引库（index）中。

索引流程拆分为几个子流程，我们需要逐个了解。

1.1.1. 原始内容

原始内容是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。

1.1.2. 获得文档（采集数据）

从互联网上、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，采集数据的目的是为了对原始内容进行索引。

采集的数据分类：

1、对于互联网上网页，可以使用工具将网页抓取到本地生成html文件。

2、数据库中的数据，可以直接连接数据库读取表中的数据。

3、文件系统中的某个文件，可以通过I/O操作读取文件的内容。

在Internet上采集信息的软件通常称为爬虫或蜘蛛，也称为网络机器人，爬虫访问互联网上的每一个网页，将获取到的网页内容存储起来。

Lucene不提供信息采集的类库，需要自己编写一个爬虫程序实现信息采集，也可以通过一些开源软件实现信息采集，如下：

Solr（http://lucene.apache.org/solr），solr是apache的一个子项目，支持从关系数据库、xml文档中提取原始数据。

Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。

jsoup（http://jsoup.org/ ），jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

1.1.1. 创建文档

获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（Document），文档中包括一个一个的域（Field），域中存储内容。

这里我们可以将磁盘上的一个文件当成一个document，也可以将数据库中的一条记录当成一个Document。Document中包括一些Field，如下图：

注意：每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同）

1.1.1. 分析文档

将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。

简单点说，分析文档的过程就是分词。主要分为两步：分词、过滤。

如何分词？

1、对原始文档提取单词

如何过滤？

2、去除标点符号

3、将字母转为小写

4、去除停用词

最终形成语汇单元（token）。而token需要再被处理为词项（Term）。Term才是一个索引结构中最小的单位。

比如下边的文档经过分析如下：

原文档内容：

Lucene is a Java full-text search engine. Lucene is not a complete

application, but rather a code library and API that can easily be used

to add search capabilities to applications.

分析文档的过程：

原始文档：

Lucene is a Java full-text search engine.

分词：

Lucene

Java

Full

text

engine

除去标点符号：

Lucene

Java

Full

text

engine

大写转小写过滤：

lucene

java

full

text

engine

去除停用词过滤：

lucene

java

full

text

engine

分析后得到的语汇单元（Token）：

lucene、java、full、search、engine、java。。。。

如果一个原始文档中，同样的词，有多个，那么Token是多个。

得到语汇单元之后，分词器会将token处理为term。同样的词对应的不同的token，最终会合并为一个Term。

1.1.1. 索引文档

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。

创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

倒排索引结构是根据内容（词汇）找文档，如下图：

要搜索的内容。

1.1.1. 用户

用户可以是自然人，也可以是远程调用的程序。

1.1.2. 用户搜索界面

全文检索系统提供用户搜索的界面供用户提交搜索的关键字，搜索完成展示搜索结果。

如下图：

Lucene不提供制作用户搜索界面的功能，需要根据自己的需求开发搜索界面。

1.1.1. 创建查询

用户输入查询关键字执行搜索之前需要先构建一个查询对象，查询对象中可以指定查询要查询关键字、要搜索的Field文档域等，查询对象会生成具体的查询语法，比如：

name:lucene表示要搜索name这个Field域中，内容为“lucene”的文档。

desc:lucene AND desc:java 表示要搜索即包括关键字“lucene”也包括“java”的文档。

1.1.2. 执行搜索

搜索索引过程：

1.根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。

例如搜索语法为“desc:lucene AND desc:java”表示搜索出的文档中既要包括lucene也要包括java。

2、由于是AND，所以要对包含lucene或java词语的链表进行交集，得到的文档链表应该包括每一个搜索词语

3、获取文档中的Field域数据。

1.1.3. 渲染结果（了解）

以一个友好的界面将查询结果展示给用户，用户根据搜索结果找自己想要的信息，为了帮助用户很快找到自己的结果，提供了很多展示的效果，比如搜索结果中将关键字高亮显示，百度提供的快照等。

Lucene（全文检索）入门相关推荐

Lucene 02 - Lucene的入门程序(Java API的简单使用)
目录 1 准备环境 2 准备数据 3 创建工程 3.1 创建Maven Project(打包方式选jar即可) 3.2 配置pom.xml, 导入依赖 4 编写基础代码 4.1 编写图书POJO 4. ...
Lucene全文检索
目录结构: 1.全文检索 2.Lucene入门 3.Lucene进阶全文检索一, 生活中的搜索: 1.Windows系统中的有搜索功能:打开"我的电脑",按"F ...
Lucene全文检索_分词_复杂搜索_中文分词器
1 Lucene简介 Lucene是apache下的一个开源的全文检索引擎工具包. 1.1 全文检索(Full-text Search) 1.1.1 定义全文检索就是先分词创建索引,再执行搜索的过 ...
Lucene从入门到使用
第一节:lucene入门阶段 1.什么是Lucene? Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供.Lucene提供了一个简单却强大的应用程式接口,能够做全文 ...
2021年大数据ELK（三）：Lucene全文检索库介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章一.什么是全文检索 1.结构化数据与非结构化数据 2.搜索结构化 ...
lucene快速入门_为Lucene选择快速唯一标识符（UUID）
lucene快速入门大多数使用Apache Lucene的搜索应用程序都会为每个索引文档分配一个唯一的ID(即主键). 尽管Lucene本身不需要这样做(它可能不太在乎!),但应用程序通常需要它以后 ...
lucene配置动态域_学位论文查重中如何使用Lucene全文检索
本系统用的是Lucene全文检索架构,Lucene作为一个全文检索引擎框架,在构建机制上有众多明显的优点:首先,它可以对任何可以转化成文本格式的数据进行索引的创建,而学术论文包含的doc.PDF和CA ...
Solr or Lucene全文检索实现原理
Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口.用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引:也可以通过Http Get操 ...
个人博客系统开发总结之 lucene全文检索
博客系统前台提供搜索功能,希望不仅仅是通过文章标题.摘要来模糊搜索,而是可以跟文章内容进行匹配.由于文章内容在数据库中使用blob字段存储,无法使用数据库进行模糊查询.于是决定采用Lucene全文检索 ...
Lucene—全文检索工具包
一.Lucene简介 Lucene是Apache Jakarta家族中的⼀个开源项目,是⼀个开放源代码的全文检索引擎工具包,但它不是⼀个完整的全文检索引擎,而是⼀个全文检索引擎的架构,提供了完整的 ...

Lucene（全文检索）入门

1.搜索技术理论基础

2.Lucene介绍

3.Lucene全文检索的流程

Lucene（全文检索）入门相关推荐

最新文章

热门文章