Lucene是用Java编写的全文搜索引擎,可以为任何应用程序提供强大的搜索功能。 Lucene的核心是基于文件的全文本索引。 Lucene提供API创建该索引,然后向该索引添加和删除内容。 此外,它允许使用功能强大的搜索算法从该索引中搜索和检索信息。 可以从不同的来源(如数据库,文件系统以及网站)中提取存储的数据。 在开始之前,让我们先考虑一下。

倒排索引

倒排索引是一种数据结构,用于存储内容的映射以及包含该内容的对象的位置。 为了更加清楚,这里有一些示例

  1. 图书索引图书索引包含重要的单词以及包含这些单词的页面。 因此,书索引可帮助我们导航到包含特定单词的页面。
  2. 使用价格范围列出葡萄酒 –价格范围是内容,葡萄酒名称是具有该价格范围的对象
  3. 网站索引 -通过关键字列出网站地址。 例如,所有包含关键字“ Apache Lucene”的网页的列表
  4. 购物车 –按类别列出购物车中的物品。  

多面搜索

任何对象都可以具有多个属性,每个属性是该对象的一个方面分面搜索使我们能够基于多个分面来搜索对象的集合。 多面搜索也称为多面导航或多面浏览 ,它使我们可以搜索根据多面组织结构组织的信息

考虑一个购物车中的商品示例。 商品可以具有多个类别,例如类别,标题,价格,颜色,重量等。现在,商品搜索可以让我们搜索花园类别中所有具有红色且价格在30卢比到Rs之间的商品.40。

Lucene为我们提供了一个API

  1. 创建一个倒排索引。
  2. 根据分面分类存储信息。
  3. 使用分面搜索检索信息。

所有这些使Lucene成为超快速的搜索引擎,它返回超相关的搜索结果。

Lucene功能

  1. 相关性排名搜索
  2. 短语,接近度,通配符搜索。
  3. 可插入式山墙分析仪。
  4. 多面搜索。
  5. 基于字段的排序
  6. 范围查询
  7. 多重索引搜索。
  8. 快速索引150GB /小时。
  9. 轻松备份和还原。
  10. 小内存需求。
  11. 增量加法和快速搜索。

有关完整列表,请访问此处: http : //lucene.apache.org/core/features.html

Lucene概念和术语

  1. 索引编制–索引编制涉及通过称为“ IndexWriter ”的类将文档添加到Lucene索引中。
  2. 搜索 –搜索涉及借助名为“ IndexSearcher ”的类从Lucene索引中检索文档。
  3. 文档 – Lucene文档是单个搜索和索引单元。 例如购物车中的物品。 Lucene索引可以包含数百万个文档。
  4. 字段 –字段是任何文档的属性。 换句话说,字段是作为对象的文档的各个方面。 例如,购物车中某项目的类别。 每个文档可以具有多个字段。
  5. 查询 – Lucene有自己的查询语言。 这使我们可以基于多个字段搜索文档。 我们可以为一个字段分配权重,也可以对查询使用布尔表达式,例如和和或。 例如– 返回购物车中属于花园或家庭类别且颜色为红色且价格低于1000卢比的所有物品。
  6. 分析器 –要对字段文本进行索引时,需要将其转换为最基本的形式。 首先,将它们标记化,然后将其转换为小写字母,标记化,去斑点化。 这些任务由分析器执行。 分析仪非常复杂,我们需要深入研究如何使用它们。 大多数情况下,内置分析仪不能满足我们的要求,在这种情况下,我们可以创建一个新的分析仪。 在本教程中,我们将使用StandardAnalyzer,因为它们包含了我们所需的大多数基本功能。

教程目标

  1. 尝试创建一个Lucene索引。
  2. 在其中插入书籍记录。
  3. 在此索引上执行各种搜索。
  1. 书名(字符串
  2. 图书作者(字符串)
  3. 图书类别(字符串)
  4. #Pages(int)
  5. 价格(浮动)

本教程的代码已提交给SVN。 可以从以下位置检出: https : //www.assembla.com/code/weblog4j/subversion/nodes/24/SpringDemos/trunk

这是一个扩展项目,包含更多教程。 lucene类位于com.aranin.spring.lucene包中

  1. LuceneUtil –此类包含创建索引,创建IndexWriter和IndexSearcher的实用方法。
  2. MySearcherManager –此类使用LuceneUtil并对索引执行搜索。
  3. MyWriterManager –此类使用LuceneUtil并对索引执行写入。

逐步演练

1. 依赖关系 –依赖关系可以通过maven添加

<dependency><artifactId>lucene-core</artifactId><groupId>org.apache.lucene</groupId><type>jar</type><version>${lucene-version}</version></dependency><dependency><artifactId>lucene-queries</artifactId><groupId>org.apache.lucene</groupId><type>jar</type><version>${lucene-version}</version></dependency><dependency><artifactId>lucene-queryparser</artifactId><groupId>org.apache.lucene</groupId><type>jar</type><version>${lucene-version}</version></dependency><dependency><artifactId>lucene-analyzers-common</artifactId><groupId>org.apache.lucene</groupId><type>jar</type><version>${lucene-version}</version></dependency><dependency><artifactId>lucene-facet</artifactId><groupId>org.apache.lucene</groupId><type>jar</type><version>${lucene-version}</version></dependency>

2. 创建索引 –可以通过在创建模式下创建IndexWriter来创建索引。

public void createIndex() throws Exception {boolean create = true;File indexDirFile = new File(this.indexDir);if (indexDirFile.exists() && indexDirFile.isDirectory()) {create = false;}Directory dir = FSDirectory.open(indexDirFile);Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_43);IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_43, analyzer);if (create) {// Create a new index in the directory, removing any// previously indexed documents:iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE);}IndexWriter writer = new IndexWriter(dir, iwc);writer.commit();writer.close(true);}
  • indexDir是您要在其中创建索引的目录。
  • 目录是用于存储索引的文件的平面列表。 它可以是RAMDirectory,FSDirectory或基于DB的目录。
  • FSDirectory实现目录并将索引保​​存在文件系统中的文件中。
  • IndexWriterConfig.Open模式在create或create_append或appned模式下创建编写器。 如果创建模式不存在或覆盖现有索引,则创建模式将创建一个新索引。 为了创建目的,我们创建一个现有的。
  • 调用上述方法将创建一个空索引。

3. 写入索引 –创建索引后,我们可以向其中写入文档。 这可以通过以下方式完成。

public void createIndexWriter() throws Exception {boolean create = true;File indexDirFile = new File(this.indexDir);Directory dir = FSDirectory.open(indexDirFile);Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_43);
<span style="color: #222222; font-family: 'Courier 10 Pitch', Courier, monospace; line-height: 21px;">IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_43, analyzer);</span>iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);this.writer = new IndexWriter(dir, iwc);}

上面的方法在create_append模式下创建一个writer。 在这种模式下,如果创建了索引,则不会覆盖它。 您可以注意到,此方法不会关闭编写器。 它只是创建并返回它。 创建IndexWriter是一项昂贵的操作。 因此,我们不应该在每次必须将文档写入索引时都创建作者。 相反,我们应该创建一个IndexWriter池并使用线程系统从池中将写入器写入索引,然后将写入器返回到池中。

public void addBookToIndex(BookVO bookVO) throws Exception {Document document = new Document();document.add(new StringField("title", bookVO.getBook_name(), Field.Store.YES));document.add(new StringField("author", bookVO.getBook_author(), Field.Store.YES));document.add(new StringField("category", bookVO.getCategory(), Field.Store.YES));document.add(new IntField("numpage", bookVO.getNumpages(), Field.Store.YES));document.add(new FloatField("price", bookVO.getPrice(), Field.Store.YES));IndexWriter writer =  this.luceneUtil.getIndexWriter();writer.addDocument(document);writer.commit();}

插入时,我们不会在代码中创建编写器。 取而代之的是,我们使用了一个预先创建的writer,它被存储为实例变量。

4. 搜索索引 –这又分两个步骤完成:1.创建IndexSearcher 2.创建查询并进行搜索。

public void createIndexSearcher(){IndexReader indexReader = null;IndexSearcher indexSearcher = null;try{File indexDirFile = new File(this.indexDir);Directory dir = FSDirectory.open(indexDirFile);indexReader  = DirectoryReader.open(dir);indexSearcher = new IndexSearcher(indexReader);}catch(IOException ioe){ioe.printStackTrace();}this.indexSearcher = indexSearcher;}

注–搜索器中使用的分析器应与用于创建编写器的分析器相同,因为分析器负责将数据存储在索引中的方式。 再次创建IndexSearcher是一项昂贵的操作,因此预创建IndexSearcher池并以与IndexWriter类似的方式使用它是有意义的。

public List<BookVO> getBooksByField(String value, String field, IndexSearcher indexSearcher){List<BookVO> bookList = new ArrayList<BookVO>();Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_43);QueryParser parser = new QueryParser(Version.LUCENE_43, field, analyzer);try {BooleanQuery query = new BooleanQuery();query.add(new TermQuery(new Term(field, value)), BooleanClause.Occur.MUST);//Query query = parser.Query(value);int numResults = 100;ScoreDoc[] hits =   indexSearcher.search(query,numResults).scoreDocs;for (int i = 0; i < hits.length; i++) {Document doc = indexSearcher.doc(hits[i].doc);bookList.add(getBookVO(doc));}} catch (IOException e) {e.printStackTrace(); }return bookList;
}

预创建了IndexSearcher并将其传递给该方法。 搜索的主要部分是查询形成。 Lucene支持许多不同种类的查询器。

  1. TermQuery
  2. BooleanQuery
  3. WildcardQuery
  4. PhraseQuery
  5. PrefixQuery
  6. MultiPhraseQuery
  7. FuzzyQuery
  8. RegexpQuery
  9. TermRangeQuery
  10. NumericRangeQuery
  11. ConstantScoreQuery
  12. DisjunctionMaxQuery
  13. MatchAllDocsQuery

您可以为搜索选择适当的查询。 可以从此处了解查询语言的语法: http : //lucene.apache.org/core/old_versioned_docs/versions/2_9_1/queryparsersyntax.pdf

资源资源

  1. http://lucene.apache.org/core/old_versioned_docs/versions/2_9_1/queryparsersyntax.pdf
  2. http://lucene.apache.org/core/old_versioned_docs/versions/3_1_0/api/all/org/apache/lucene/index/IndexWriterConfig.OpenMode.html
  3. http://lucene.apache.org/core/old_versioned_docs/versions/3_5_0/api/all/org/apache/lucene/store/FSDirectory.html
  4. https://today.java.net/pub/a/today/2003/07/30/LuceneIntro.html
  5. http://www.lucenetutorial.com/lucene-query-syntax.html
  6. http://lucene.apache.org/core/4_3_0/core/org/apache/lucene/search/Query.html

摘要

搜索仍然是任何内容驱动的应用程序的骨干。 传统的数据库驱动的搜索功能不是很强大,还有很多不足之处。 因此,需要一种快速,准确且功能强大的搜索解决方案,该解决方案可以轻松地并入应用程序代码中。 Lucene很好地填补了这一空白,它使搜索变得轻而易举,并得到强大的搜索算法数组的支持,例如相关性排名,词组,通配符,接近度和范围搜索。 它还具有空间和内存效率。 难怪在Lucene之上构建了如此多的应用程序。 本文旨在提供有关如何为亲爱的读者提供Lucene入门工具的基础教程。 还有很多话要说,但是那您不想自己探索吗?

参考:通过Weblog4j博客的JCG合作伙伴 Niraj Singh, 使用Apache Lucene 4.3可以轻松进行搜索 。

翻译自: https://www.javacodegeeks.com/2013/06/searching-made-easy-with-apache-lucene-4-3.html

使用Apache Lucene 4.3轻松进行搜索相关推荐

  1. lucene使用3.0.3_使用Apache Lucene 4.3轻松进行搜索

    lucene使用3.0.3 Lucene是用Java编写的全文搜索引擎,可以为任何应用程序提供强大的搜索功能. Lucene的核心是基于文件的全文本索引. Lucene提供API创建该索引,然后向该索 ...

  2. 使用 Apache Lucene 搜索文本——轻松为应用程序构建搜索和索引功能

    简介: 本文将探讨 Apache Lucene -- 性能卓越.功能全面的文本搜索引擎库.我们将学习 Lucene 架构及其核心 API.学习如何使用 Lucene 进行跨平台全文本搜索.建立索引.显 ...

  3. solr和lucene_使用Apache Lucene和Solr 4进行下一代搜索和分析

    solr和lucene 六年前,我开始为developerWorks撰写有关Solr和Lucene的文章(请参阅参考资料 ). 多年来,Lucene和Solr确立了自己的坚如磐石的技术(Lucene作 ...

  4. apache lucene_全文搜索Apache Lucene简介

    apache lucene 在本教程中,我想谈谈Apache Lucene . Lucene是一个开源项目,提供基于Java的索引和搜索技术. 使用其API,很容易实现全文搜索 . 我将处理Lucen ...

  5. 全文搜索Apache Lucene简介

    在本教程中,我想谈谈Apache Lucene . Lucene是一个开源项目,提供基于Java的索引和搜索技术. 使用其API,很容易实现全文搜索 . 我将处理Lucene Java版本 ,但请记住 ...

  6. Apache Lucene中的并发查询执行

    Apache Lucene是一个出色的并发纯Java搜索引擎,如果您愿意,它可以轻松地使服务器上的可用CPU或IO资源饱和. "典型" Lucene应用程序的并发模型在搜索时每个查 ...

  7. 【手把手教你全文检索】Apache Lucene初探

    讲解之前,先来分享一些资料 首先呢,学习任何一门新的亦或是旧的开源技术,百度其中一二是最简单的办法,先了解其中的大概,思想等等.这里就贡献一个讲解很到位的ppt.已经被我转成了PDF,便于搜藏. 其次 ...

  8. A SPI class of type org.apache.lucene.codecs.PostingsFormat with name 'Lucene40' does not exist.

    简单的建立索引和查询索引并不难,关键在于他的二次开发,让他适合你自己的需求 既然要二次开发就必须查看源码 首先看看索引过程中的核心类吧: IndexWriter 这个是核心组件, 建立和打开索引,以及 ...

  9. Apache Lucene与Lucene.Net——全文检索服务器

    lucene学习教程 1.1 什么是lucene Lucene是一个全文搜索框架,而不是应用产品.因此它并不像www.baidu.com 或者google Desktop那么拿来就能用,它只是提供了一 ...

最新文章

  1. python 网络通讯 plc_PLC与PC网络通信实验
  2. Source Insight 4怎么取消函数结束提示字符
  3. STM32F103五分钟入门系列(十三)独立看门狗IWDG
  4. html/js/css资源
  5. 重大改革:Python 语言将被加入高考科目,VB 惨被淘汰!
  6. kotlin android获取按钮,Kotlin Android按钮
  7. Django数据库连接丢失问题
  8. 博文视点读书节第八日丨大咖书单升级放送,今日直播助你成为Offer收割机~晒单赢福袋正在派送中!
  9. Tomcat 修改端口号
  10. 软件著作权-说明书范本
  11. 人力资源常用理论和法则
  12. 脱壳基础篇——常用六操作
  13. 【Python】B样条曲线绘制
  14. 安卓获取指定目录内所有指定文件类型的文件路径和名字
  15. css 去除png图片黑色背景色,css的filter给png图片换色
  16. 高斯模糊处理头像作为背景图的两种高效便捷方法
  17. Android 动态修改app名称(市场和手机中显示两个不同的名称)
  18. 根据脸部毛孔生长方向去护肤
  19. 初识ElasticSearch(2) -文档查询之match查询 | 分词器
  20. 付费代理个人测评及选取——重复率、可用率、响应时间、稳定性、价格(只供参考)...

热门文章

  1. 鸿蒙 电视 安卓,华为鸿蒙2.0来了!打通手机、电视、PC全平台,Mate 40 整装齐发...
  2. 八爪鱼 是java做的吗_章鱼扫描仪:Java构建工具和恶意软件
  3. spring react_使用Spring WebFlux构建React性REST API –第2部分
  4. 使用Spring Boot和MongoDB构建一个React式应用程序
  5. 网络研讨室_网络研讨会:Java 9的第一印象–构建可伸缩企业应用程序的新方法...
  6. 并发查询parallel_惯用并发:flatMap()与parallel()– RxJava常见问题解答
  7. tdd java_适用于Idea的面向现代TDD的Java 8 JUnit测试模板(带有Mockito和AssertJ)
  8. java拦截器项目应用_使用拦截器分析Java EE应用程序的性能下降/提高
  9. java 编译 器 ide_在没有IDE的情况下编译和运行Java
  10. java lambda循环_在Java 8 Lambda中创建自己的循环结构