Lucene.Net

Lucene.Net

Lucene.Net是由Java版本的Lucene移植过来的,所有的类、方法都几乎和Lucene一模一样,因此使用时参考Lucene 即可。NHibernate、Spring.Net、NPOI。MONO。
Lucene.Net只是一个全文检索开发包(就像ADO.Net和管理系统的关系),不是一个现成的搜索引擎,它的功能就是:把数据扔给Lucene.Net ,查询数据的时候从Lucene.Net 查询数据,可以看做是提供了全文检索功能的一个数据库。Lucene.Net不管文本数据怎么来的。用户可以基于Lucene.Net开发满足自己需求的搜索引擎。 Lucene.Net只能对文本信息进行检索。如果不是文本信息,要转换为文本信息,比如要检索Excel文件,就要用NPOI把Excel读取成字符串,然后把字符串扔给Lucene.Net。Lucene.Net会把扔给它的文本切词保存,加快检索速度。因为是保存的时候分词(切词),所以搜索速度非常快!

分词

分词是核心的算法,搜索引擎内部保存的就是一个个的“词(Word)”。英文分词很简单,按照空格分隔就可以。中文则麻烦,把“北京,Hi欢迎你们大家” 拆成“北京 Hi 欢迎 你们 大家”。大学生生什么
Lucene.Net中不同的分词算法就是不同的类。所有分词算法类都从Analyzer类继承,不同的分词算法有不同的优缺点。
(*)内置的StandardAnalyzer是将英文按照空格、标点符号等进行分词,将中文按照单个字进行分词,一个汉字算一个词。
(*)二元分词算法,每两个汉字算一个单词,“欢迎你们大家”会分词为“欢迎   迎你  你们  们大  大家” 。CJKAnalyzer
无论是一元分词还是二元分词,分词效率比较高,但是分出无用词,因此索引库大。
基于词库的分词算法,基于一个词库进行分词,可以提高分词的成功率。有庖丁解牛、盘古分词等。

StandardAnalyzer示例

1  Analyzer analyzer = new StandardAnalyzer();
2             TokenStream tokenStream = analyzer.TokenStream("",new StringReader("北京,Hi欢迎你们大家"));
3             Lucene.Net.Analysis.Token token = null;
4             while ((token = tokenStream.Next()) != null)
5             {
6                 Console.WriteLine(token.TermText());
7             }

盘古分词算法使用

打开PanGu4Lucene\WebDemo\Bin,将Dictionaries添加到项目根路径(改名为Dict),添加对PanGu.dll(同目录下不要有Pangu.xml,那个默认的配置文件的选项对于分词结果有很多无用信息)、PanGu.Lucene.Analyzer.dll的引用
把上节代码的Analyzer用PanGuAnalyzer代替
运行报错?通用技巧:把Dict目录下的文件“复制到输出目录”设定为“如果较新则复制”,每次生成的时候都会自动把文件拷到bin\Debug 下,非常方便。(只有Web应用程序有那个选项,网站没有。)永远不要对bing\debug下的东西做直接的修改,要改“源文件”。
(*)Dictionaries下几个txt文件简介
词库的编辑,使用DictManage.exe,对单词编辑的时候要先查找。工作的项目中要将行业单词添加到词库中,比如餐饮搜索、租房搜索、视频搜索等。

Lucene.Net核心类简介

(*)Directory表示索引文件(Lucene.net用来保存用户扔过来的数据的地方)保存的地方,是抽象类,两个子类FSDirectory(文件中)、RAMDirectory (内存中)。使用的时候别和IO里的Directory弄混了。
创建FSDirectory的方法,FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath),new NativeFSLockFactory()), path索引的文件夹路径
IndexReader对索引进行读取的类,对IndexWriter进行写的类。
IndexReader的静态方法bool IndexExists(Directory directory)判断目录directory是否是一个索引目录。IndexWriter的bool IsLocked(Directory directory) 判断目录是否锁定,在对目录写之前会先把目录锁定。两个IndexWriter没法同时写一个索引文件。IndexWriter在进行写操作的时候会自动加锁,close的时候会自动解锁。IndexWriter.Unlock方法手动解锁(比如还没来得及close IndexWriter 程序就崩溃了,可能造成一直被锁定)。

对数据进行索引

 1 string indexPath = “d:/temp”;//注意和磁盘上文件夹的大小写一致,否则会报错。
 2 FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath),new NativeFSLockFactory());
 3 bool isExists= IndexReader.IndexExists(directory);
 4             if (isExists)
 5             {
 6                 //如果索引目录被锁定(比如索引过程中程序异常退出),则首先解锁
 7         //Lucene.Net在写索引库之前会自动加锁,在close的时候会自动解锁
 8         //不能多线程执行,只能处理意外被永远锁定的情况
 9         if (IndexWriter.IsLocked(directory))
10                 {
11                   IndexWriter.Unlock(directory);//强制解锁
12                 }
13         }
14  IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isExists, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);
15             for (int i = 1000; i < 1100; i++)
16             {
17                 string txt = File.ReadAllText(@"C:\MxDownload\dnt_3.1.0_sqlserver\upload_files\文章\" + i + ".txt");
18                 Document document = new Document();//一条Document相当于一条记录
19                 document.Add(new Field(“number”, i.ToString(), Field.Store.YES, Field.Index. NOT_ANALYZED));//每个Document可以有自己的属性(字段),所有字段名都是自定义的,值都是string类型
20                 document.Add(new Field("body", txt, Field.Store.YES, Field.Index. ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
21                 writer.AddDocument(document);//insert into...插入一条记录,有两个字段:number和body
22                 Console.WriteLine("索引"+i+"完毕");
23             }
24             writer.Close();
25             directory.Close();//不要忘了Close,否则索引结果搜不到

创建索引

构造函数:IndexWriter(Directory dir, Analyzer a, bool create, MaxFieldLength mfl)因为IndexWriter把输入写入索引的时候,Lucene.net是把写入的文件用指定的分词器将文章分词(这样检索的时候才能查的快),然后将词放入索引文件。
void AddDocument(Document doc),向索引中添加文档(Insert)。Document类代表要索引的文档(文章),最重要的方法Add(Field field),向文档中添加字段。Document是一片文档,Field是字段(属性)。Document相当于一条记录,Field相当于字段(列)。
DeleteAll()删除所有文档; DeleteDocuments按照条件删除文档。
Field类的构造函数 Field(string name, string value, Field.Store store, Field.Index index, Field.TermVector termVector):
– name表示字段名; value表示字段值;
–store表示是否存储value值,可选值 Field.Store.YES存储, Field.Store.NO不存储, Field.Store.COMPRESS压缩存储;默认只保存分词以后的一堆词,而不保存分词之前的内容,搜索的时候无法根据分词后的东西还原原文,因此如果要显示原文(比如文章正文)则需要设置存储。
– index表示如何创建索引,可选值Field.Index. NOT_ANALYZED
–,不创建索引,Field.Index. ANALYZED,创建索引;创建索引的字段才可以比较好的检索。是否碎尸万段!是否需要按照这个字段进行“全文检索”。
–termVector表示如何保存索引词之间的距离。“北京欢迎你们大家”,索引中是如何保存“北京”和“大家”之间“隔多少单词”。方便只检索在一定距离之内的词。

转载于:https://www.cnblogs.com/Tan-sir/p/4869437.html

Lucene.Net相关推荐

  1. 2021年大数据ELK(四):Lucene的美文搜索案例

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 美文搜索案例 一.需求 二.准备工作 1.创建IDEA项目 2. ...

  2. 2021年大数据ELK(三):Lucene全文检索库介绍

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 一.什么是全文检索 1.结构化数据与非结构化数据 2.搜索结构化 ...

  3. lucene.net mysql_用Lucene[1].net对数据库建立索引及搜索+

    cs代码 using System; using System.Collections; using System.ComponentModel; using System.Data; using S ...

  4. lucene构建同义词分词器

    lucene4.0版本号以后 已经用TokenStreamComponents 代替了TokenStream流.里面包含了filter和tokenizer 在较复杂的lucene搜索业务场景下,直接网 ...

  5. 影响Lucene索引速度原因以及提高索引速度技巧

    在网上看了一篇外文文章,里面介绍了提高Lucene索引速度的技巧,分享给大家. 先来看下影响索引的主要因素: MaxMergeDocs 该参数决定写入内存索引文档个数,到达该数目后就把该内存索引写入硬 ...

  6. Lucene.net中文分词探究

    一.中文分词方式: 中文分词几种常用的方式: A. 单字分词 单字分词,顾名思义,就是按照中文一个字一个字地进行分词.如:我们是中国人,效果:我/们/是/中/国/人. B. 二分法 二分法,就是按两个 ...

  7. 【Java】Lucene检索引擎详解

    基于Java的全文索引/检索引擎--Lucene Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能. L ...

  8. Lucene:基于Java的全文检索引擎简介(转载)

    Lucene是一个基于Java的全文索引工具包. 基于Java的全文索引引擎Lucene简介:关于作者和Lucene的历史 全文检索的实现:Luene全文索引和数据库索引的比较 中文切分词机制简介:基 ...

  9. Lucene.net: the main concepts

    2019独角兽企业重金招聘Python工程师标准>>> In the previous post you learnt how to get a copy of Lucene.net ...

  10. Lucene.Net无障碍学习和使用:索引篇

    项目中可能需要再次用到Lucene.Net,利用空闲时间写了个demo,主要涉及到索引的创建.删除.更新和一个简单查询.在本文示例中,Lucene.Net的版本是2.4.0,某些类和方法与最新版本或者 ...

最新文章

  1. tabs选项卡切换效果(jquery版)
  2. SDUT_2119 数据结构实验之链表四:有序链表的归并
  3. 分表分库时机选择及策略
  4. python文件是怎么写_python头文件怎么写
  5. Git生成patch及打patch到源代码
  6. 阿里开源深度学习框架XDL,面向高维稀疏数据,支持千亿参数训练规模
  7. Silverlight 动画性能
  8. python属于什么专业类别-关于python:1D CNN用于分类
  9. spring手动控制事务开启_手动控制spring事务
  10. python 微信自动回复机器人
  11. 长沙云栖谷交通事故_长沙含浦片区自发成立抗洪救灾志愿者服务队转移被困群众(组图)...
  12. 纯java编写的联机五子棋项目(附带开源链接)
  13. 传奇人物赫伯特·西蒙的原则
  14. 接收Request请求Bearer令牌参数
  15. 山东大学计算机学院李庆忠,研究生导师李庆忠:山东大学
  16. 2021.12.11 新星杯简单总结
  17. ad19中原理图库添加_altium designer 工程中的原理图库和封装如何提取出来
  18. C++语言程序设计基础
  19. [含论文+源码等]SSM网上水果生鲜超市商城|电商系统
  20. 修改盒子上的host文件

热门文章

  1. 二叉树 知道度 求节点数
  2. Ubuntu source insight3稳定性
  3. C程序设计语言(2)文摘
  4. 使用ISA Server 2006发布Exchange Server 2007安全的Web、安全的OWA和Outlook Anyw
  5. 简单的Hibernate入门简介
  6. 阿里为什么推荐使用LongAdder?而不是AtomicLong?
  7. 新来的老大说,“公司以后禁止使用Lombok”,我表示反对~
  8. 这样的代码才是好代码
  9. 高性能负载均衡是如何架构的?
  10. Android性能优化系列---管理你的app内存(一)