(转)全文检索技术学习(三)——Lucene支持中文分词
http://blog.csdn.net/yerenyuan_pku/article/details/72591778
分析器(Analyzer)的执行过程
如下图是语汇单元的生成过程:
从一个Reader字符流开始,创建一个基于Reader的Tokenizer分词器,经过三个TokenFilter生成语汇单元Token。
要看分析器的分析效果,只需要看TokenStream中的内容就可以了。每个分析器都有一个方法tokenStream,返回的是一个TokenStream对象。
标准分析器的分词效果
之前我们创建索引库的时候,就用到了官方推荐的标准分析器——org.apache.lucene.analysis.standard.StandardAnalyzer。现在我们就来看看其分词效果,可在LuenceFirst单元测试类中编写如下方法:
public class LuenceFirst {// 查看分析器的分词效果@Testpublic void testAnanlyzer() throws IOException { // 1、创建一个分析器对象 Analyzer analyzer = new StandardAnalyzer(); // 官方推荐的标准分析器 // 2、从分析器对象中获得tokenStream对象 // 参数1:域的名称,可以为null,或者是"" // 参数2:要分析的文本 TokenStream tokenStream = analyzer.tokenStream("", "The Spring Framework provides a comprehensive programming and configuration model."); // 3、设置一个引用(相当于指针),这个引用可以是多种类型,可以是关键词的引用,偏移量的引用等等 CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class); // charTermAttribute对象代表当前的关键词 // 偏移量(其实就是关键词在文档中出现的位置,拿到这个位置有什么用呢?因为我们将来可能要对该关键词进行高亮显示,进行高亮显示要知道这个关键词在哪?) OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class); // 4、调用tokenStream的reset方法,不调用该方法,会抛出一个异常 tokenStream.reset(); // 5、使用while循环来遍历单词列表 while (tokenStream.incrementToken()) { System.out.println("start→" + offsetAttribute.startOffset()); // 关键词起始位置 // 6、打印单词 System.out.println(charTermAttribute); System.out.println("end→" + offsetAttribute.endOffset()); // 关键词结束位置 } // 7、关闭tokenStream对象 tokenStream.close(); } }
- 运行以上方法,Eclipse控制台打印:
从上图中我们可以清楚地看到当前的关键词,以及该关键词的起始位置和结束位置。
中文分析器分析
Lucene自带中文分词器
Lucene自带的中文分词器有:
- StandardAnalyzer
单字分词,就是按照中文一个字一个字地进行分词。如:“我爱中国”,效果:“我”、“爱”、“中”、“国”。 - CJKAnalyzer
二分法分词,按两个字进行切分。如:“我是中国人”,效果:“我是”、“是中”、“中国”、“国人”。
上边这两个分词器一看就无法满足需求。 - SmartChineseAnalyzer
对中文支持较好,但扩展性差,扩展词库,禁用词库和同义词库等不好处理。
现在我们来看看第三个中文分析器的分析效果,相比前两个中文分析器,SmartChineseAnalyzer绝对要胜出一筹。为了观看其分析效果,我们可将LuenceFirst单元测试类中的testAnanlyzer方法改造为:
public class LuenceFirst {// 查看分析器的分词效果@Testpublic void testAnanlyzer() throws IOException { // 1、创建一个分析器对象 Analyzer analyzer = new SmartChineseAnalyzer(); // 智能中文分析器 // 2、从分析器对象中获得tokenStream对象 // 参数1:域的名称,可以为null,或者是"" // 参数2:要分析的文本 TokenStream tokenStream = analyzer.tokenStream("", "数据库中存储的数据是结构化数据,即行数据java,可以用二维表结构来逻辑表达实现的数据。"); // 3、设置一个引用(相当于指针),这个引用可以是多种类型,可以是关键词的引用,偏移量的引用等等 CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class); // charTermAttribute对象代表当前的关键词 // 偏移量(其实就是关键词在文档中出现的位置,拿到这个位置有什么用呢?因为我们将来可能要对该关键词进行高亮显示,进行高亮显示要知道这个关键词在哪?) OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class); // 4、调用tokenStream的reset方法,不调用该方法,会抛出一个异常 tokenStream.reset(); // 5、使用while循环来遍历单词列表 while (tokenStream.incrementToken()) { System.out.println("start→" + offsetAttribute.startOffset()); // 关键词起始位置 // 6、打印单词 System.out.println(charTermAttribute); System.out.println("end→" + offsetAttribute.endOffset()); // 关键词结束位置 } // 7、关闭tokenStream对象 tokenStream.close(); } }
- 1
- 2
运行以上方法,Eclipse控制台打印:
虽然SmartChineseAnalyzer分析器对中文支持较好,但扩展性差,扩展词库,禁用词库和同义词库等不好处理。故实际开发中我们也是弃用的,取而代之的是第三方中文分析器。
第三方中文分析器
第三方中文分析器有:
- paoding:庖丁解牛最新版在https://code.google.com/p/paoding/ ,其最多只支持Lucene3.0,且最新提交的代码在2008-06-03,在svn中最新也是2010年提交,已经过时,不予考虑。
- mmseg4j:最新版已从https://code.google.com/p/mmseg4j/移至https://github.com/chenlb/mmseg4j-solr,支持Lucene4.10,且在github中最新提交代码是2014年6月,从09年~14年一共有18个版本,也就是一年几乎有3个大小版本,有较大的活跃度,用了mmseg算法。
- IK-analyzer:最新版在https://code.google.com/p/ik-analyzer/上,支持Lucene4.10,从2006年12月推出1.0版开始,IKAnalyzer已经推出了4个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开始,IK发展为面向Java的公用分词组件,独立于Lucene项,同时提供了对Lucene的默认优化实现。在2012版本中,IK实现了简单的分词歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化。但是也就在2012年12月后没有再更新了。
- ansj_seg:最新版本在[https://github.com/NLPchina/ansj_seg tags](https://github.com/NLPchina/ansj_seg tags),仅有1.1版本,从2012年到2014年更新了大小6次,但是作者本人在2014年10月10日说明:“可能我以后没有精力来维护ansj_seg了”,现在由”nlp_china”管理。2014年11月有更新。并未说明是否支持Lucene,是一个由CRF(条件随机场)算法所做的分词算法。
- imdict-chinese-analyzer:最新版在https://code.google.com/p/imdict-chinese-analyzer/,最新更新也在2009年5月,可下载源码,不支持Lucene4.10。它是利用HMM(隐马尔科夫链)算法。
- Jcseg:最新版本在git.oschina.net/lionsoul/jcseg,支持Lucene 4.10,作者有较高的活跃度。其利用的是mmseg算法。
但在这里,我使用的是IK-analyzer,所以下面的讲解也是围绕着该中文分析器来进行的。下面是我下载的IK-analyzer:
解压缩之后,其目录结构是:
IK-analyzer中文分析器的使用
IK-analyzer中文分析器的使用步骤:
- 把IKAnalyzer2012FF_u1.jar包添加到工程中。
- 把配置文件和扩展词典和停用词词典添加到classpath下。
注意:扩展词典和停用词词典这两个文件的字符集一定要保证是UTF-8字符集,注意是无BOM的UTF-8编码,严禁使用Windows的记事本编辑。
下面我们来看看IK-analyzer这个第三方中文分析器的分析效果。现在随着互联网的日趋发展,网络用语层出不穷,例如“高富帅”,“白富美”等等,像这样的网络用语是不需要进行分词的,而是当作一个整体的关键词, 这样像这种不用分词的网络用语就应该存储在扩展词典中。为了清楚地观看IK-analyzer这个第三方中文分析器的分析效果,在扩展词典添加“高富帅”。如下:
接着将LuenceFirst单元测试类中的testAnanlyzer方法改造为:
public class LuenceFirst {// 查看分析器的分词效果@Testpublic void testAnanlyzer() throws IOException { // 1、创建一个分析器对象 Analyzer analyzer = new IKAnalyzer(); // 智能中文分析器 // 2、从分析器对象中获得tokenStream对象 // 参数1:域的名称,可以为null,或者是"" // 参数2:要分析的文本 TokenStream tokenStream = analyzer.tokenStream("", "数据库中存储的数据是结构化数据高富帅,即行数据java,可以用二维表结构来逻辑表达实现的数据。"); // 3、设置一个引用(相当于指针),这个引用可以是多种类型,可以是关键词的引用,偏移量的引用等等 CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class); // charTermAttribute对象代表当前的关键词 // 偏移量(其实就是关键词在文档中出现的位置,拿到这个位置有什么用呢?因为我们将来可能要对该关键词进行高亮显示,进行高亮显示要知道这个关键词在哪?) OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class); // 4、调用tokenStream的reset方法,不调用该方法,会抛出一个异常 tokenStream.reset(); // 5、使用while循环来遍历单词列表 while (tokenStream.incrementToken()) { System.out.println("start→" + offsetAttribute.startOffset()); // 关键词起始位置 // 6、打印单词 System.out.println(charTermAttribute); System.out.println("end→" + offsetAttribute.endOffset()); // 关键词结束位置 } // 7、关闭tokenStream对象 tokenStream.close(); } }
- 1
运行以上方法,Eclipse控制台打印:
从上图可清楚地看出“高富帅”并没有分词,这正是我们所期望的结果。
除此之外,对于一些敏感的词,如“习”,像这样的敏感词汇就不应该出现在单词列表中,所以可将这种敏感词汇存储在停用词词典中,如下:
接着将LuenceFirst单元测试类中的testAnanlyzer方法改造为:
public class LuenceFirst {// 查看分析器的分词效果@Testpublic void testAnanlyzer() throws IOException { // 1、创建一个分析器对象 Analyzer analyzer = new IKAnalyzer(); // 智能中文分析器 // 2、从分析器对象中获得tokenStream对象 // 参数1:域的名称,可以为null,或者是"" // 参数2:要分析的文本 TokenStream tokenStream = analyzer.tokenStream("", "数据库中存储的数据是结构化数据高富帅,即行数据java,可以用二维表结构来逻辑表达实现的数据。"); // 3、设置一个引用(相当于指针),这个引用可以是多种类型,可以是关键词的引用,偏移量的引用等等 CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class); // charTermAttribute对象代表当前的关键词 // 偏移量(其实就是关键词在文档中出现的位置,拿到这个位置有什么用呢?因为我们将来可能要对该关键词进行高亮显示,进行高亮显示要知道这个关键词在哪?) OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class); // 4、调用tokenStream的reset方法,不调用该方法,会抛出一个异常 tokenStream.reset(); // 5、使用while循环来遍历单词列表 while (tokenStream.incrementToken()) { System.out.println("start→" + offsetAttribute.startOffset()); // 关键词起始位置 // 6、打印单词 System.out.println(charTermAttribute); System.out.println("end→" + offsetAttribute.endOffset()); // 关键词结束位置 } // 7、关闭tokenStream对象 tokenStream.close(); } }
- 1
运行以上方法,Eclipse控制台打印:
从上图可知,像“”这样的敏感词汇并没有出现在单词列表中。
分析器的应用场景
索引时使用Analyzer
输入关键字进行搜索,当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析,需要经过Analyzer分析器处理生成语汇单元(Token)。分析器分析的对象是文档中的Field域。当Field的属性tokenized(是否分词)为true时会对Field值进行分析,如下图:
对于一些Field可以不用分析:
- 不作为查询条件的内容,比如文件路径
- 不是匹配内容中的词而匹配Field的整体内容,比如订单号、身份证号等
搜索时使用Analyzer
对搜索关键字进行分析和索引分析一样,使用Analyzer对搜索关键字进行分析、分词处理,使用分析后的每个词语进行搜索。比如:搜索关键字:spring web,经过分析器进行分词,得出:spring web,拿词去索引词典表查找 ,找到索引链接到Document,解析Document内容。
对于匹配整体Field域的查询可以在搜索时不分析,比如根据订单号、身份证号查询等。
注意:搜索使用的分析器要和索引使用的分析器最好保持一致。
- 顶
- 0
- 踩
转载于:https://www.cnblogs.com/telwanggs/p/6962710.html
(转)全文检索技术学习(三)——Lucene支持中文分词相关推荐
- Lucene支持中文分词代码实现
支持中文分词 分析器(Analyzer)的执行过程 如下图是语汇单元的生成过程: 从一个Reader字符流开始,创建一个基于Reader的Tokenizer分词器,经过三个TokenFilter生成语 ...
- (转)全文检索技术学习(一)——Lucene的介绍
http://blog.csdn.net/yerenyuan_pku/article/details/72582979 本文我将为大家讲解全文检索技术--Lucene,现在这个技术用到的比较多,我觉得 ...
- Lucene快速入门第三讲——看看Lucene是如何支持中文分词的?
在这一讲中,我们要看看Lucene到底是如何支持中文分词的?为了向大家阐述明白这个问题,咱们可先从分析器的执行过程入手. 分析器(Analyzer)的执行过程 如下图所示是语汇单元的生成过程: 从一个 ...
- Lucene加中文分词paoding调研结果
Lucene加中文分词paoding调研结果 因为项目原因,调研了下全文检索.网上开源的最流行的检索好像是lucene,nutch据说是稳定性有待测试,所以没试.需要说明的是我要做的这个全文检索是搜索 ...
- 如何在基于Lucene的中文分词器中添加自定义词典(如Paoding、mmseg4j、IK Analyzer)...
如何在基于Lucene的中文分词器中添加自定义词典(如Paoding.mmseg4j.IK Analyzer) 2013-07-08 21:54:29| 分类: 计算机 |字号 订阅 1. 使用Pa ...
- Solr的学习使用之(三)IKAnalyzer中文分词器的配置
1.为什么要配置? 1.我们知道要使用Solr进行搜索,肯定要对词语进行分词,但是由于Solr的analysis包并没有带支持中文的包或者对中文的分词效果不好,需要自己添加中文分词器:目前呼声较高的是 ...
- NLP学习(二)中文分词技术
运行平台: Windows Python版本: Python3.x IDE: PyCharm 一. 前言 这篇内容主要是讲解的中文分词,词是一个完整语义的最小单位.分词技术是词性标注.命名实体识别.关 ...
- NLP学习(二)—中文分词技术
本次代码的环境: 运行平台: Windows Python版本: Python3.x IDE: PyCharm 一. 前言 这篇内容主要是讲解的中文分词,词是一个完整语义的最小单位.分词技术是词 ...
- 《自然语言处理实战入门》 第三章 :中文分词原理及相关组件简介 ---- 语言学与分词技术简介
文章大纲 0.内容梗概 1. 汉语语言学简介 1.1 汉语与汉字的起源 1.2 汉字的统一与演变 1.3 印欧语系与汉藏语系 1.4 语言区别对于NLP 的影响 2. 词汇与分词技术简介 2.1 汉语 ...
最新文章
- Spring的环绕通知
- 每日Linux命令(1)-date
- python调用api应用接口_Python接口测试之urllib2库应用
- 07 总结ProgressDialog 异步任务
- java linux root权限管理_Linux--开启root用户并允许管理员登录
- SVN安装语言包后无中文
- 如何在MAC上使用VOSviewer和Pajek
- 2023年计算机网络考研真题详解
- java 汉字按拼音排序_Java当中汉字按照拼音排序
- 记录deecamp2018之旅
- Android多分辨率适配框架(1)— 核心基础
- 唐宋边塞诗词中的古灵州
- 第9章 Linux的磁盘管理
- 内存条的逻辑BANK和RANK(物理BANK)概念
- ubuntu 安装软件 tar.gz deb
- 人工智能安全标准化白皮书(2019版)笔记
- 几个按照下载次数就可以赚钱的网盘介绍
- error C2065: “IDD_DIALOG”: 未声明的标识符
- VirtualBox虚拟机与主机互通,并且虚拟机又能上网配置
- 计算机网络发展史课程论文,计算机网络的发展史论文.doc